JP4489932B2 - 複数の通信を同期させるシステム及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、インターネットのように信頼性がなく、通信遅延が変化するようなネットワークで、複数の経路を用いて一連の通信データを転送したり、複数の関連付けられた通信データを転送し、受信側で一定の同期制御を必要とするような利用分野に適用可能な通信システム及び方法を提供するものである。
【０００２】
【従来の技術】
本明細書では、説明を具体的にするためにインターネットの方式を用いて記述するが本発明はインターネットに限定して適用するものではない。
【０００３】
関連特許（特願２０００−０１５５０４号、特願２０００−３８５１４号、特願２０００−０４９７７５号）において、インターネットのような信頼性がなく、通信遅延が変化するようなネットワークを用いてビデオデータのように定常的な流量を持つ通信データの転送を実現する方式を示した。関連特許の方式によれば、一連の通信データに関して送信者と受信者間の通信遅延を通信データの周期構造に基づく精度で一定に制御することが可能である。
【０００４】
図２２は、従来技術の実際の応用において生じる問題点を説明する図である。実際の応用においては、一連の通信データだけではなく、複数のお互いに関連付けられた通信データを転送する要求がある。具体的には、一連の通信データが非常に広い帯域を必要とするため、ネットワークの一つの経路を用いて転送できない時（図２２（ａ））に複数の通信データに分割して、それぞれの通信データを異なるネットワーク経路を用いて通信し、受信側で同期統合する場合（図２２（ｂ））、立体画像などマルチチャネル画像のように複数の映像ソースからの画像データを転送したい場合やネットワーク会議で複数の地点からの画像や音声を受信側で同期させたい場合（図２２（ｃ））などがある。
【０００５】
関連特許では送信側が一連の通信データ（Digital Videoデータ）にシーケンス番号やデータの特徴となる識別符号を付加して転送することで、受信側がこれを参照してデータを整列化したり、データの冗送や欠落を検出して適切な対応を行う方式を示した。しかし、この方式では、以下のような手段を提供していないため、実際の応用において問題が生じる。
Ａ）一連の通信データを異なる経路を通じて転送する方式。
Ｂ）複数の通信データを受信側で関連付けて同期させる方式。
【０００６】
なお、以下の説明では具体例としてDigital Video（ＤＶ）データを例とするが、本発明の適用範囲はＤＶに限定するものではない。なお、関連特許でいう「中継装置」の一般構造を図２３に示す。この中継装置は本来送受信の機能を持つことが可能であるが、本発明の説明では説明を明確化するために送信／受信を分けて記述している。
【０００７】
中継装置１０においては、ＤＶデータを送信側から受け取ると、これをIEEE1394アダプタ１１において受信し、回線を終端する。そして、受信したＤＶデータをＤＶ→ＤＶ／ＩＰ変換回路１２に入力し、ＤＶデータをインターネットに送出するために必要なデータフォーマットに変換して、インターネットアダプタ１４に入力する。インターネットアダプタは、変換されたＤＶデータをインターネットへ送出する。
【０００８】
逆に、インターネットからＤＶデータを収容するＩＰパケットをインターネットアダプタ１４において受信した場合には、ＤＶ／ＩＰ→ＤＶ変換回路１３に入力し、ＩＰパケットをＤＶデータに変換してIEEE1394アダプタ１１に入力する。このＤＶデータは、送信先である端末に送信され、ＤＶデータがその端末に表示される。
【０００９】
図２４は、従来技術の有する課題を説明する図である。
例えば、画像データを２チャネル分多重して、インターネットに送信し、受信側で、２チャネルの画像データを分離して各チャネルの画像データを見ると言う場合、ビデオチャネル１の送信者とビデオチャネル２の送信者からの画像データを送信者側の中継装置２０において、チャネル１とチャネル２の融合を行い、インターネットを介して、受信側中継装置２１に送信することが必要である。しかし、この場合、インターネットが２チャネル分の画像データを転送するためには、約７０〜８０Ｍｂｐｓの帯域が必要である。しかし、このような広帯域は、確保することが難しく、インターネットのプロトコルによれば、この２チャネル分の画像データは、自動的に複数に分割されてインターネット内を転送され、受信側中継装置２１において合成され、その後に、各チャネルへ分解されることになる。
【００１０】
【発明が解決しようとする課題】
上記関連特許の技術においては、以下のような課題が存在する。
Ａ）ネットワークの利用可能帯域にあわせて本来一個の通信を複数通信に分割し、独立の通信として異なる経路で転送する必要がある。
Ｂ）一個の送信者から複数の異なる通信遅延で転送されるデータを受信側で遅延調整し、同期させる必要がある。
Ｃ）複数の送信者から複数の異なる通信遅延で転送されるデータを受信側で遅延調整し、同期させる必要がある。
【００１１】
本発明の課題は、複数の通信を受信側で同期させて受信することの出来る通信システム及び方法を提供することである。
【００１２】
【課題を解決するための手段】
本発明のシステムは、通信遅延の異なる複数のネットワーク経路を用いて通信を行うシステムであって、前記複数のネットワーク経路を介して、分割通信用付加情報を付加した複数の分割通信データを送信する送信手段と、該付加情報を基に、複数の分割通信データを統合して同期させて受信する受信手段とを備えることを特徴とする。
【００１３】
本発明によれば、通信遅延が異なる複数のネットワーク経路を用いて、同期制御の必要な通信データを送信することが出来るので、動画や立体画像などの容量の大きい通信データを送信する際、単一のネットワーク経路では帯域が足りなくても、受信側に、このような通信データを同期を確保しながら受信させることが出来る。
【００１４】
【発明の実施の形態】
図１は、ＤＶの分割通信について説明する図である。
ここで分割通信とは、本来一個の通信データを複数の通信データとして送信し、受信側で一個の通信データにまとめることを言う。具体的に２チャネルの立体画像データ（それぞれのチャネルがＤＶデータ）を一個の中継装置で融合し、インターネット上を一個の通信データとして転送するためには、約７０〜８０Ｍｂｐｓの帯域が必要である。送信者と受信者の間に、このような通信を行うに十分な通信帯域があれば良いが、そうでない場合、通信できないことになる。
【００１５】
一般にネットワーク上の送信者と受信者を結ぶ経路は複数存在するが、これら複数の経路のそれぞれが持つ帯域の合計が必要とする通信帯域を上回っていれば、一個の通信を複数の通信に分割し、それぞれを異なる経路に振り分けて転送することで、通信を実現できる。
【００１６】
図２は、本発明の一実施形態の送信中継装置を示した図である。
上記関連特許では、識別子としてフレーム番号、シーケンス番号などを設け、受信側がこれらの識別子を用いることで通信データの認識処理を行っている。本発明の実施形態では、分割通信を実現するために、上記関連特許の付加情報として「チャネル番号」、「発信時刻」、「データ生成時刻」、「音声情報の有無」、「画像情報の有無」などデータを識別するための識別子を新たに付加する。受信側では、この識別子及び関連特許で示される識別子を用いてデータの同期統合を行う。
【００１７】
IEEE1394アダプタ１０１に入力されたチャネル１と２のＤＶデータは、合成されて、ＤＶ→ＤＶ／ＩＰ変換装置１０２において、ＤＶデータフォーマットからＩＰフォーマットにマッピングされる。そして、通信データ分割装置１０３において、ＤＶデータが以下に示すような方法によって分割され、それぞれが、インターネットアダプタ１０４−１、１０４−２を介してインターネットに送信される。
【００１８】
通信データ分割装置１０３では、通信データを複数の通信データに分割するとともに上記識別子を付加する処理を行う。通信データを分割する方法としては、例えば、Digital Videoデータの場合、以下のように様々な方式が考えられる。
Ａ）画像と音声を分割する
Ｂ）奇数フレームと偶数フレームなどフレーム番号で分割する
Ｃ）チャネル番号で分割する
Ｄ）シーケンス番号で分割する
Ｅ）発信時刻、データ生成時刻など時刻情報で分割する
以上のように、識別子によって識別できるものであれば任意の分割が可能である。
【００１９】
なお、送信側でそれぞれの分割通信に異なる経路を指定する方式としてはインターネットにおいてもソースルートを指定してパケットを送信する、受信者側をマルチホーム（複数のアドレスをつける）を割り当てるなどの公知技術がある。本発明の実施形態では、これらの技術を前提とする。
【００２０】
図３は、単一送信者の通信遅延調整処理を説明する受信中継装置の説明図である。
受信中継装置１１４においては、インターネットアダプタ１１０−１、１１０−２において、インターネットから分割通信されてきたデータを受け取ると、通信データ統合装置１１１において、分割された通信データを１つに統合し、ＤＶ／ＩＰ→ＤＶ変換装置１１２において、ＩＰフォーマットにマッピングされたＤＶデータからＤＶデータを抽出し、IEEE1394アダプタ１１３を介して、ＤＶデータ表示装置１１５−１、１１５−２に送信する。このとき、各チャネルは、それぞれ、ＤＶデータからＤＶデータ表示装置１１５−１、１１５−２が抽出する。
【００２１】
分割通信においては、単一送信者が一定の基準で任意に識別子を付加できるため、受信側でこれを参照して通信遅延を調整可能である。これは本質的に関連特許の構成に通信データ統合機能を有する通信データ統合装置１１１を付加することで実現できる。
【００２２】
通信データ統合装置１１１は、関連特許に示すフレームバッファのような単一待ち行列で、関連特許に示す方式に加えて本発明の実施形態で付加した識別子を利用して通信データの順序、欠落、冗送検査を行う。
【００２３】
図４は、複数送信者の通信遅延調整機能を説明する図である。
複数の送信者がそれぞれ通信データを作成して送信する場合であって、受信側でこれらの複数の通信データを統合する方法として、以下のような手段が考えられる。
Ａ）送信者間で一定の同期をとって単一送信者がデータを送る場合と同じように識別子を付加する。
【００２４】
例えば、図４においては、ビデオチャネル１の送信データを受け取る送信者１２０−１とビデオチャネル２の送信データを受け取る送信者１２０−２がそれぞれに同期情報を交換し、相互のデータ送信を同期させて送信させるものである。
【００２５】
送信者同士の同期手段としては関連特許や、本発明の実施形態で付加している識別子を互いに通知しあうことが考えられる。例えば、シーケンス番号を通知することによって、重複しないシーケンス番号を用いるようにすれば受信側では一意なシーケンス番号を得るので統合処理可能となる。
【００２６】
図５は、 シーケンス番号を用いて送信側で同期を取ってデータを送信する送信中継装置の構成を示す図である。それぞれ、独立にチャネル１と２のＤＶデータを受信した IEEE1394アダプタ１２５−１、１２５−２は、それぞれの送信中継装置においてＤＶ→ＤＶ／ＩＰ変換装置１２６−１、１２６−２において、ＤＶデー タをＩＰフォーマットにマッピングし、識別子付加部１２７−１、１２７−２において、シーケンス番号を付加する。このとき、同期装置１２８−１、 １２８−２が互いが使用するシーケンス番号を通知しあい、互いが同じシーケンス番号を使用しないようにする。このようにして、シーケンス番号が付加された データは、インターネットアダプタ１２９−１、１２９−２からインターネットに送信される。
【００２７】
図６は、受信側で、複数送信者の通信データを同期統合する装置を説明する図である。
受信側で複数の通信データを統合する他の方法としては、以下の方法がある。
Ｂ）送信者は全く独立に通信データを作成して送信し、単一の受信側で複数の通信データを統合する。
【００２８】
複数地点のビデオ会議では送信者が全く離れた場所にあって、送信者同士が同期をとる手段がない場合がありうる。このような場合は受信側のみで同期を取る必要がある。例えば、送信者が「データ発信時刻」や「データ生成時刻」を識別子に格納して送り、受信側で、この時刻を比較することで同期を取ることができる。ＧＰＳ（Global Positioning System）などで、複数の送信者の時計の時刻を合わせれば絶対時刻の比較で同期を取ることができる。また、絶対時刻が得られない場合でも送信者１と送信者２のそれぞれの時刻（ローカルタイム）の差は一定であるから、この差の時間を受信者に指定することで同期させることができる。
【００２９】
図７は、複数送信者からの複数通信データを受信側で同期統合する別の構成を説明する図である。
受信側で複数の通信データを統合する更に他の方法としては、以下の方法がある。
Ｃ）複数の受信者がある場合、送信者は全く独立に通信データを作成して送信し、複数の受信側で相互同期を取って統合する。
【００３０】
この場合、独立の受信者同士が処理している通信データの識別子を通知しあい同期を取る。例えば、音声データがない状態から音声データが発生した時点で同期を取ることができる。これは、画像の始まるタイミングが一般的に、この音声データがない状態から音声データが発生した状態に移ったときに一致するという経験的な法則を利用したものである。同様に、画像データがない状態から画像データ発生した時点で同期を取る、一定の画像／音声データパターンで同期を取るなどの変形も可能である。
【００３１】
図８は、複数送信者の場合の受信中継装置の構成を説明する図である。
インターネットからそれぞれのインターネットアダプタ１３０−１、１３０−２に入力された通信データは、同期部１３１−１、１３１−２において、受信中継装置間で同期が取られて、ＤＶ／ＩＰ→ＤＶ変換装置１３３−１、１３３−２において、ＩＰフォーマットからＤＶデータが抽出される。同期部１３１−１、１３１−２においては、同期装置１３２−１、１３２−２が、同期タイミングを通知しあい、同期部１３１−１、１３１−２において、同期を取る。同期が取られ、ＤＶデータに変換された通信データは、IEEE1394アダプタ１３４−１、１３４−２において、ＤＶデータとして、表示端末に送信される。
【００３２】
図９は、複数送信者、複数受信者の場合の同期構成を説明する図である。
受信側で複数の通信データを統合する更に他の方法としては、以下の方法がある。
Ｄ）複数の受信者がある場合、受信者の外部に通信データ同期機構を設け、これが複数の受信者それぞれを調整して同期を取る。
【００３３】
例えば、ビデオ表示を人間が観察し、それぞれの受信者に通信遅延を設定する方法により同期を取ることができる。関連特許によれば、通信遅延を設定すれば、その後その遅延が維持されるので、最初に複数の受信者に通信遅延を設定すれば、その後は同期が維持される。このような外部の同期装置を用いる手段は様々な変形が考えられる。
【００３４】
図１０は、同期装置を用いた時の受信中継装置の構成を説明する図である。
それぞれ、独立に、受信中継装置からＤＶデータを受信した表示装置１４０−１と１４０−２は、それぞれ、上記したような方法により、同期装置１４１を使って、同期操作を行い、その結果を受信中継装置の同期部におくり、独立なＤＶデータを同期させるようにする。
【００３５】
本発明の実施形態における分割通信は、広帯域通信を複数の経路に分割し、この複数の経路の帯域の合計が元々の広帯域通信が要求する帯域を上回るようにすることで安定した通信を実現する。しかしながら、経路の実効利用可能帯域は、経路を構成する通信リンクを共有する他の通信の影響を受けて動的に変化する。この結果、途中までは足りていたはずの帯域が急に不足したり、逆に帯域に余裕がなかった筈の経路がいつの間にか空いたりすることが起こる。
【００３６】
図１１、及び、図１２は、動的に実行利用帯域が変化することによる分割通信に対する影響を説明する図である。
例えば、図１１のような場合（初期状態）では経路Ａに経路Ｂより多くの分割データを流すべきだが、ネットワークの状態が変化して図１２になると逆に経路Ｂに経路Ａより多くの分割データを流すべきである。つまり、分割の割合をネットワークの状態（実効利用可能帯域）に合わせて変化させることが出来れば、安定した通信を実現できる。
【００３７】
ここで、データ通信を任意の割合に分割することはフレーム番号やシーケンス番号を利用して可能なので、後は経路毎の有効帯域を動的に把握できさえすればよい。一般に実効利用可能帯域を直接測定することは難しいが、ネットワーク情報収集装置を設けてネットワーク状態を監視して情報を集めれば推定を行うことができる。その結果、推定実効利用可能帯域の合計が必要な帯域未満であれば、分割数を増やして新たに別な経路も経由してデータ配送を行う。
【００３８】
図１３は、ネットワーク情報を利用して動的に分割方法を変更する送信中継装置を説明する図である。
２つのＤＶ表示装置から受け取ったチャネル１と２のＤＶデータは、IEEE1394アダプタ１５０によって受信され、１つのＤＶデータとなる。次に、ＤＶ→ＤＶ／ＩＰ変換装置１５１において、ＤＶデータをＩＰフォーマットにマッピングする。そして、ＩＰフォーマットにマッピングされたＤＶデータは、通信データ分割装置１５３に入力され、前述した付加情報を用いて分割される。このとき、ネットワーク情報収集装置１５２は、ネットワークの管理情報からネットワークの利用帯域情報を取得し、通信データ分割装置１５３に通知する。通信データ分割装置１５３においては、ネットワーク情報収集装置１５２から得た、帯域情報を元に、どのチャネルに多く帯域を振り分けるかを決定して、通信データを分割する。分割された通信データは、インターネットアダプタ１５４−１、１５４−２からインターネットに送出される。
【００３９】
帯域推定に使えるネットワーク情報としては、
Ａ）経路のパケットロス率
Ｂ）送信側のネットワークインターフェースを通過するパケットデータ量
など、様々な方式が考えられる。
Ａ）では、例えば、５０Ｍｂｐｓの（分割された）広帯域データを特定の１経路に流している状態でパケットロス率が２０％であれば、実効利用可能帯域は５０×（１−０．２）＝４０Ｍｂｐｓであると推定できる。パケットロス率を測定する方法としては、関連特許に示されているように受信者で同期データについたシーケンス番号を利用してパケットロス率を測定して送信側に情報をフィードバックする手段がある。
Ｂ）では、目的の（分割された）広帯域通信が送信側ネットワークインターフェースを通過するデータ量を調べてそれをそのまま実効利用可能帯域と見なす。この方法では、ネットワークインターフェース部がボトルネックもしくはオーバーフロー状態になっている場合には、正確に実効利用可能帯域を見積もれるが、それ以外の場合だと正確さではＡ）より劣る。しかし、インターネットではパケット落ちは送信ホストあるいは受信ホストに最も近いリンクで発生すると言われており、この方式でもほぼ正確な見積が得られることが期待できる。また、Ａ）では情報の取得に受信側と送信側との情報交換が必要なのに対し、Ｂ）では送信側の内部のみで情報を得られると言う効果がある。
【００４０】
上記動的分割通信においては、迅速に取得したネットワーク情報を分割方針に反映させるのが望ましいが、逆に大したネットワーク情報の変化がないのに、それを反映させると分割方針変更のオーバヘッドだけが増えて性能を劣化させる場合もある。
【００４１】
例えば、もともとの広帯域通信の要求帯域が１００Ｍｂｐｓで、データ通信を２つの経路に分割させた時の実効利用可能帯域（もしくはその推定値）が９９〜１０１Ｍｂｐｓの間で振動していたとする。このとき、実効利用可能帯域が９９Ｍｂｐｓになると帯域不足に陥り新しい別経路を探してそこを使ってデータを流すが、実効利用可能帯域が１０１Ｍｂｐｓになると３番目の経路を使うのを中止するということが発生し、頻繁に経路探索を行わないといけない。ネットワーク情報の小さな変化はデータ分割方針に反映させないようにすることで、この現象を回避できる。
【００４２】
図１４は、ネットワーク情報の小さな変化をデータ分割方針に反映させないようにするための送信中継装置の構成を説明する図である。
まず、一回前に取得したネットワーク情報を保存し、新たに取得したネットワーク情報との差異を数値化するネットワーク情報評価部１６５と、それが一定の閾値を超えているかを判断するネットワーク情報判断部１６６を設ける。そして、ネットワーク情報判断部１６６の出力結果によって、ネットワーク情報収集装置１６４から通信データ分割装置１６２への指示をマスクする。ネットワーク情報の数値化の方法としては、ネットワーク情報から取得した実効利用帯域の数値をそのまま利用する事が考えられる。そして、実効利用帯域の変化が閾値以上であった場合に、データの分割方式を変化させるようにする。このとき、実効利用帯域が必要とされる帯域よりも小さくなった場合には、敏感にデータの分割方式を変化させ、帯域が大きくなった場合のデータの分割方式の変化は鈍くすることも考えられる。すなわち、帯域が小さくなると、通信データを完全には送信することが出来なくなり、通信品質が劣化してしまうので、敏感にデータ分割の方式を変化させると共に、帯域が大きくなった場合には、通信品質が劣化しないので、データ分割方式の変化を鈍化させるものである。これは、ネットワーク情報判断部１６６の閾値を、帯域が増加した場合と減少した場合で変えることによって実現することが出来る。
【００４３】
また、インターネットのような信頼性のないネットワークでは、一瞬だけネットワークの状態が悪化して、その後すぐに安定状態に戻るということがある。つまり、ネットワーク情報収集装置１６４で、この一瞬のネットワーク状態変化を拾って、それに対応するのは性能悪化につながるため、ある程度長期にわたってネットワーク状態の変化があった時のみ分割方針を変更するという方法を行うようにしても良い。
【００４４】
これは、以下のように実現できる。まず、現在の通信データ分割方針を決める上での基準となったネットワーク情報を保存しておき、新たに取得したネットワーク情報との差異を数値化するネットワーク情報評価部１６５と、それが一定の閾値を超えているかを判断するネットワーク情報判断部１６６を設ける。そして、ネットワーク情報判断部１６６は、原則としてネットワーク情報収集装置１６４から通信データ分割装置への指示をマスクして伝わらないようにしておき、ネットワーク情報判断部１６６であらかじめ定められた複数回連続で閾値を超えた時だけ、そのマスクを解除する。そして、それと同時に基準となるネットワーク情報の更新を行うようにする。
【００４５】
図１５は、データ通信システムの詳細な構成を示す図である。
２つの中継装置３０、３２、は、IEEE1394アダプタ３５を備えており、このIEEE1394アダプタ３５を介してそれぞれ第１ネットワークあるいは第２ネットワークに接続されている。
【００４６】
また、中継装置３０、３２は、インターネットアダプタ３９を備えており、このインターネットアダプタ３５を介してインターネットに接続されている。
図１５に示したＤＶ／ＩＰ送信部３１は、IEEE1394アダプタ３５を介して受け取ったIEEE1394パケットを所定の方法でＩＰカプセル化するカプセル形成部３７と、カプセル形成部３７によってＩＰカプセル化されたパケットを受け取り、所定の方法で一部のパケットを重複させてインターネットアダプタ３９に送出するパケット冗送部３８とを備えている。
【００４７】
図１６に通信データ分割用ＤＶ／ＩＰ送信部３１の１分割通信データ用ブロックの詳細構成を示す。
図１６に示したカプセル形成部３１は、イーサネットパケット形式、ＩＰパケット形式及びＵＤＰパケット形式を利用して、IEEE1394パケットをカプセル化する機能を備えており、ヘッダ付加部５４は、図１７に示すように、付加情報作成部５３から受け取った付加情報をIEEE1394パケットに付加してＤＶ／ＩＰペイロードを形成し、更に、２０バイトのＩＰヘッダ、８バイトのＵＤＰヘッダ及び１４バイトのイーサフレームヘッダ（Etherframe header）からなるインターネットヘッダを付加する機能を備えている。
【００４８】
また、図１６に示したフレーム検出部５１は、１フレーム分の画像情報及び音声情報を表す一連のIEEE1394パケットの先頭を検出する機能を備えており、カウンタ５２は、このフレーム検出部５１による検出結果とIEEE1394パケットの入力に応じて係数動作を行う機能を備えている。
【００４９】
このカウンタ５２による計数値に基づいて、付加情報作成部５３は、IEEE1394パケットが属する画像フレームを示すフレーム番号及びそのフレームにおいて該当するIEEE1394パケットがしめる位置を示すブロック番号を含む付加情報（図１７参照）を作成する機能を備えている。
【００５０】
一方、図１６に示したパケット冗送部３８において、パケット抽出／保持部５６は、冗送制御部５７からの指示に応じて、上述したカプセル形成部３１によって形成された一部のパケットを重複して送信する。対象となるパケットを抽出し、パケット抽出／保持部５６に保持する機能を備えている。
【００５１】
また、図１６に示した冗送パケット挿入部５８は、冗送制御部５７からの指示に応じて、パケット抽出／保持部５６から冗送対象のパケットを所定の手順に従って読み出して、インターネットアダプタ３９に入力される一連のパケットに挿入する機能を備えている。
【００５２】
一方、図１５に示した中継装置３２において、インターネットアダプタ３９を介してＤＶ／ＩＰ受信部３６に入力されたパケットは、カプセル分解部４４によって上述した付加情報とIEEE1394パケットとに分解される。
【００５３】
このようにしてＤＶ／ＩＰパケットから分離された付加情報は、付加情報解析部４５によって解析され、この解析結果に応じて、書き込み制御部４３が動作することにより、各IEEE1394パケットに含まれるＤＩＦブロックそれぞれが、受信バッファ４２の該当する格納場所に書き込まれる。
【００５４】
また、図１５に示した完全性判定部４６は、カプセル分解部４４から付加情報を受け取り、この付加情報に基づいて、後述するようにして、各フレームに属するデジタルビデオデータの完全性を示す情報を収集し、また、収集した情報に基づいて、指定されたフレームについてその完全性を判定し、この判定結果をＤＶデータ復元部４８による復元処理に供している。
【００５５】
一方、図１５に示した遅延調整部４７は、ＤＶ送信制御部４９からの復元指示に応じて動作し、カプセル分解部４４から受け取った付加情報に基づいて、復元対象とすべきフレームを決定し、このフレームを指定する情報を完全性判定部４６及びＤＶデータ復元部４８に復元指示を送出する機能を備えている。
【００５６】
また、図１５に示したＤＶデータ復元部４８によって復元されたデジタルビデオデータは、IEEE1394アダプタ３５を介して、IEEE1394同期モードのパケットストリームとして第２ネットワークに送出され、デジタルビデオデッキ５０に入力される。
【００５７】
図１８は、通信データ統合用ＤＶ／ＩＰ受信部の１通信データ用ブロックの詳細構成を示す図である。
図１８に示すように、カプセル分解部４４によってＤＶ／ＩＰパケットを分解して得られた付加情報は、付加情報解析部４５に入力されており、一方、付加情報に対応するIEEE1394パケットに含まれている各ＤＩＦブロック（ＤＶデータ）は、書き込み制御部４３に入力されている。
【００５８】
この受信バッファ４２は、ｋフレーム分のデジタルビデオデータに相当する容量を備えており、各フレームに対応する格納領域は、それぞれIEEE1394パケットに含まれるＤＶデータに相当する容量を持ち、各ブロック番号に対応する２５０個の格納場所から構成されている。
【００５９】
また、書き込み制御部４３は、付加情報解析部４５からフレーム番号とブロック番号とを受け取り、これらの情報で示される格納場所を求める機能を備えており、この格納場所を示す情報は、ＤＶデータと共に受信バッファ４２に入力されている。
【００６０】
一方、図１８に示した完全性判定部４６は、カウンタ制御部７１とブロックカウンタ部７２と完全性評価部７３とを備えており、ブロックカウンタ部７２は、カウンタ制御部７１からの指示に応じて計数動作を行い、その計数結果は、完全性評価部７３の処理に供されている。
【００６１】
このカウンタ制御部７１は、付加情報解析部４５から、新規に受信したパケットの付加情報として含まれたデータタイプを示す符号を受け取り、この符号に基づいて、ブロックカウンタ部７２による計数動作を制御する機能を備えている。
【００６２】
このブロックカウンタ部７２は、例えば、ｋ個のフレームについて、受信したＤＶデータブロックの総数ＲＢＣｉ（ｉ＝０〜ｋ）、ヘッダブロックの数ＨＢＣｉ（ｉ＝０〜ｋ）、音声ブロックの数ＡＢＣｉ（ｉ＝０〜ｋ）及び映像ブロックの数ＶＢＣｉ（ｉ＝０〜ｋ）を格納する記憶領域をそれぞれ備えており、カウンタ制御部７１からの指示に応じて、該当する記憶領域の数値を操作する機能を備えている。
【００６３】
また、図１８において、ＤＶデータ復元部４８は、受信バッファ４２からＤＶデータを読み出すブロック読み出し部７７と、このブロック読み出し部７７によって読み出されたＤＶデータと後述する合成用データとを保持する合成用バッファ８０と、この合成用バッファ８０に保持されたデータを用いてＤＶデータを復元するＤＶデータ編成部７９と、合成制御部７８とを備えている。
【００６４】
この合成制御部７８には、図１５に示したＤＶ送信制御部４９からの復元指示と、上述した完全性評価部７３による評価結果と、後述するフレーム指示とが入力されており、これらの指示及び情報に基づいて、合成制御部７８は、ブロック読み出し部７７、合成用バッファ８０及びＤＶデータ編成部７９の動作を制御する機能を備えている。
【００６５】
また、図１８に示した遅延調整部４７は、付加情報解析部４５から受け取った解析結果に基づいて、最も新しく到達したＤＶデータを示す到達情報を更新する到達情報更新部７４と、伝送遅延量として適切な遅延フレーム数ＤＦを保持する遅延量保持部７６と、上述した到達情報及び遅延フレーム数ＤＦに基づいて、受信バッファ４２に保持されたＤＶデータで形成されるｋ個のフレームの中から、復元すべきフレームを選択するフレーム決定部７５とを備えている。
【００６６】
図１９、及び図２０は、データフォーマットを説明する図である。
デジタルビデオデータの基本要素である１フレームは、１フレーム分の画像データと音声データとを含んでおり、図１９（ａ）に続き番号を付して示すように、１０個のＤＩＦシーケンスから構成されている。
【００６７】
このＤＩＦシーケンスは、１５０個のＤＩＦブロックから構成されており、図１９（ｂ）に示すように、６個のフレームヘッダ情報（ｆ）に続いて、１個の音声情報（ａ）に１５個の画像情報（ｖ）が連なる規則的なパターンが繰り返される構造を持っている。
【００６８】
なお、各ＤＩＦブロックは、図１９（ｃ）に示すように、７７バイト分のデータに３バイトで表される識別情報を付加したものである。
また、図１９に示したデータ構造は、デジタルビデオデータの論理形式を表すものであり、実際にネットワークにおいて転送する場合には、ネットワークの特性に応じた形式が採用される。
【００６９】
例えば、デジタルビデオデータをIEEE1394規格に従うローカルバスを介して転送する場合は、図２０（ａ）に示すように、６個のＤＩＦブロックに所定のヘッダ（ＣＩＰ（Common Isochronous Packet）ヘッダ及び同期（ISO）ヘッダ）及びＣＲＣを付加してIEEE1394パケットを形成し、このIEEE1394パケットを転送単位として転送動作が行われる。
【００７０】
この場合に、各ＤＩＦシーケンスは、図１９（ｂ）において縦棒で区切って示すように、２５個のIEEE1394パケットに分割されるので、１フレームのデジタルビデオデータは、図２０（ｂ）に示すように、２５０個のIEEE1394パケットとして転送される。
【００７１】
従って、各IEEE1394パケットに含まれているＤＩＦブロックの組み合わせには、図２０（ｃ）に示すような規則性がある。
図２０（ｃ）に矢印を付して示した繰り返しパターンは、番号１から番号８で示した８個のIEEE1394パケットにおいて、音声情報を含むＤＩＦブロック（ａ）と画像情報を含むＤＩＦブロック（ｖ）との組み合わせの変化パターンを指しており、これらのIEEE1394パケットは、図１９（ｂ）において、斜線を付して示したＤＩＦシーケンスの一部に相当している。
【００７２】
上述したＤＩＦシーケンスにおけるＤＩＦブロックの並び方の規則性から明らかなように、同様の繰り返しパターンが、図２０において番号９〜番号１６で示すIEEE1394パケット及び番号１７から番号２４で示すIEEE1394パケットにおいて現れている。
【００７３】
また、IEEE1394規格においては、同期転送モードでは、毎秒８０００個のIEEE1394パケットを転送する旨が定められており、これにより、ローカルバスに接続されたディスプレイ装置やスピーカなどの映像音声機器を介して、毎秒３０フレームの画像及び音声情報の再生を可能としている。
【００７４】
したがって、IEEE1394規格に対応するローカルバスとインターネットなどの他の形式のネットワークとの双方に接続されたゲートウェイを利用することにより、IEEE1394規格に対応するローカルバスによって、それぞれ接続された第１のネットワークと同様の第２のネットワークとを、他の形式の第３のネットワークを介して接続し、上述したIEEE1394パケットを相互授受することが可能である。
【００７５】
図２１は、受信側で複数のデータを、付加情報から同期を取って受信するための構成を説明する図である。
図２１は、受信側中継装置２０２において、付加情報を用いて複数のデータ間の同期を取るための構成を抜き出したものである。送信者２００は、通信データを複数のデータに分割し、それぞれに付加情報を付加してインターネット２０１に送信する。これら分割されたデータは、インターネット２０１の複数のネットワーク経路を辿って受信側中継装置２０２に入力される。中継装置２０２では、受信したデータから付加情報を抽出し、付加情報が何であるかを解析する。そして、付加情報の内容によって書き込み制御部２０４にデータの受信バッファ２０５への書き込みを制御させる。例えば、付加情報が「チャネル番号」である場合には、チャネル毎にデータを別のバッファに振り分けるように制御する。付加情報が「発信時刻」、「データ生成時刻」である場合には、付加情報として設定されている時刻が等しいデータ同士を同じタイミングで受信バッファ２０５に入力させ、同じタイミングで受信バッファ２０５から出力させる。付加情報が「音声情報の有無」、「画像情報の有無」である場合には、音声情報あるいは画像情報の有無の情報が変化するデータパケットの受信バッファ２０５への入力タイミングあるいは受信バッファ２０５からの出力タイミングをそろえるように制御する。
【００７６】
（付記１）通信遅延の異なる複数のネットワーク経路を用いて通信を行うシステムであって、
前記複数のネットワーク経路を介して、分割通信用付加情報を付加した複数の分割通信データを送信する送信手段と、
該付加情報を基に、複数の分割通信データを統合して同期させて受信する受信手段と、
を備えることを特徴とするシステム
（付記２）前記ネットワークはインターネットであり、前記通信データは、画像データであることを特徴とする付記１に記載のシステム。
【００７７】
（付記３）前記送信手段は、複数の送信者がそれぞれ有し、
該送信者は、互いに前記付加情報に関する情報を交換して、各送信者が送信する通信データに、該複数の送信者全体にわたって統一された規則性を持つ付加情報を付加して送信することを特徴とする付記１に記載のシステム。
【００７８】
（付記４）前記送信手段は、複数の送信者がそれぞれ有し、
該送信者は、それぞれが独立に通信データを送信し、前記受信手段を有する複数の受信者が、互いに前記付加情報に関する情報を交換することによって、通信データを同期して受信することを特徴とする付記１に記載のシステム。
【００７９】
（付記５）前記送信手段は、複数の送信者がそれぞれ有し、
該送信者は、それぞれが独立に通信データを送信し、
前記受信手段を有する複数の受信者が、受信データの再生状態を観察することによって同期状態を調整する同期手段更にを備え、
該同期手段による調整を行うことによって、通信データの同期を確保することを特徴とする付記１に記載のシステム。
【００８０】
（付記６）前記付加情報は、通信データのチャネル番号、通信データの発信時刻、通信データの生成時刻のいずれかであることを特徴とする付記１に記載のシステム。
【００８１】
（付記７）前記付加情報は、音声や画像などの特定のデータの有無ないし特定のパターンを示す情報を用いることを特徴とする付記１に記載のシステム。
（付記８）前記送信手段は、通信データを複数の分割データに分割し、複数のネットワーク経路を用いて送信することを特徴とする付記１に記載のシステム。
【００８２】
（付記９）前記分割は、ネットワーク情報に基づいて動的に行うことを特徴とする付記８に記載のシステム。
（付記１０）前記ネットワーク情報を２回以上連続して収集し、該収集された少なくとも２つのネットワーク情報を比較することにより、分割方法を変化させるか否かを判断することを特徴とする付記９に記載のシステム。
【００８３】
（付記１１）前記ネットワーク情報の差異を数値化し、該数値が閾値以上の場合に、分割方法を変化させることを特徴とする付記１０に記載のシステム。
（付記１２）前記ネットワーク情報として、通信経路のパケットロス率、あるいは、各ネットワークインターフェースを通過するパケットデータ量を使用することを特徴とする付記９に記載のシステム。
【００８４】
（付記１３）通信遅延の異なる複数のネットワーク経路を用いて通信を行うシステムにおける送信装置であって、
前記複数のネットワーク経路を介して、分割通信用の、受信側で同期を取るために必要な情報を含む付加情報を付加した複数の分割通信データを送信する送信手段、
を備えることを特徴とする送信装置。
【００８５】
（付記１４）通信遅延の異なる複数のネットワーク経路を用いて通信を行うシステム受信装置であって、
送信側が同期を取るために必要な付加情報を基に、複数の分割通信データを統合して同期させて受信する受信手段、
を備えることを特徴とする受信装置。
【００８６】
（付記１５）通信遅延の異なる複数のネットワーク経路を用いて通信を行う方法であって、
前記複数のネットワーク経路を介して、分割通信用付加情報を付加した複数の分割通信データを送信する送信ステップと、
該付加情報を基に、複数の分割通信データを統合して同期させて受信する受信ステップと、
を備えることを特徴とする方法
（付記１６）前記ネットワークはインターネットであり、前記通信データは、画像データであることを特徴とする付記１５に記載の方法。
【００８７】
（付記１７）前記送信ステップは、複数の送信者がそれぞれ行い、
該送信者は、互いに前記付加情報に関する情報を交換して、各送信者が送信する通信データに、該複数の送信者全体にわたって統一された規則性を持つ付加情報を付加して送信することを特徴とする付記１５に記載の方法。
【００８８】
（付記１８）前記送信ステップは、複数の送信者がそれぞれ行い、
該送信者は、それぞれが独立に通信データを送信し、前記受信ステップを行う複数の受信者が、互いに前記付加情報に関する情報を交換することによって、通信データを同期して受信することを特徴とする付記１５に記載の方法。
【００８９】
（付記１９）前記送信ステップは、複数の送信者がそれぞれ行い、
該送信者は、それぞれが独立に通信データを送信し、
前記受信手段を有する複数の受信者が、受信データの再生状態を観察することによって同期状態を調整する同期ステップを更に備え、
該同期手段による調整を行うことによって、通信データの同期を確保することを特徴とする付記１５に記載の方法。
【００９０】
（付記２０）前記付加情報は、通信データのチャネル番号、通信データの発信時刻、通信データの生成時刻のいずれかであることを特徴とする付記１５に記載の方法。
【００９１】
（付記２１）前記付加情報は、音声や画像などの特定のデータの有無ないし特定のパターンを示す情報を用いることを特徴とする付記１５に記載の方法。
（付記２２）前記送信ステップでは、通信データを複数の分割データに分割し、複数のネットワーク経路を用いて送信することを特徴とする付記１５に記載の方法。
【００９２】
（付記２３）前記分割は、ネットワーク情報に基づいて動的に行うことを特徴とする付記２２に記載の方法。
（付記２４）前記ネットワーク情報を２回以上連続して収集し、該収集された少なくとも２つのネットワーク情報を比較することにより、分割方法を変化させるか否かを判断することを特徴とする付記２３に記載の方法。
【００９３】
（付記２５）前記ネットワーク情報の差異を数値化し、該数値が閾値以上の場合に、分割方法を変化させることを特徴とする付記２４に記載の方法。
（付記２６）前記ネットワーク情報として、通信経路のパケットロス率、あるいは、各ネットワークインターフェースを通過するパケットデータ量を使用することを特徴とする付記２３に記載の方法。
【００９４】
【発明の効果】
本発明によれば、ネットワークの１経路では、帯域が足りない場合に、通信データを分割して送信し、複数の経路を使って、受信側に送り、受信側で分割されて送られてきた通信データを合成して使用することが出来る。
【００９５】
特に、送信者が複数ある場合には、複数の送信者から送られてくる複数の通信データを受信側で同期を取って、正しく受信することが出来る。
【図面の簡単な説明】
【図１】ＤＶの分割通信について説明する図である。
【図２】本発明の一実施形態の送信中継装置を示した図である。
【図３】単一送信者の通信遅延調整処理を説明する受信中継装置の説明図である。
【図４】複数送信者の通信遅延調整機能を説明する図である。
【図５】シーケンス番号を用いて送信側で同期を取ってデータを送信する送信中継装置の構成を示す図である。
【図６】受信側で、複数送信者の通信データを同期統合する装置を説明する図である。
【図７】複数送信者からの複数通信データを受信側で同期統合する別の構成を説明する図である。
【図８】複数送信者の場合の受信中継装置の構成を説明する図である。
【図９】複数送信者、複数受信者の場合の同期構成を説明する図である。
【図１０】同期装置を用いた時の受信中継装置の構成を説明する図である。
【図１１】動的に実行利用帯域が変化することによる分割通信に対する影響を説明する図（その１）である。
【図１２】動的に実行利用帯域が変化することによる分割通信に対する影響を説明する図（その２）である。
【図１３】ネットワーク情報を利用して動的に分割方法を変更する送信中継装置を説明する図である。
【図１４】ネットワーク情報の小さな変化をデータ分割方針に反映させないようにするための送信中継装置の構成を説明する図である。
【図１５】データ通信システムの詳細な構成を示す図である。
【図１６】通信データ分割用ＤＶ／ＩＰ送信部３１の１分割通信データ用ブロックの詳細構成を示す図である。
【図１７】付加情報を説明する図である。
【図１８】通信データ統合用ＤＶ／ＩＰ受信部の１通信データ用ブロックの詳細構成を示す図である。
【図１９】データフォーマットを説明する図（その１）である。
【図２０】データフォーマットを説明する図（その２）である。
【図２１】受信側で複数のデータを、付加情報に基づいて同期を取って受信するための構成を説明する図である。
【図２２】従来技術の実際の応用において生じる問題点を説明する図である。
【図２３】中継装置の一般構造を説明する図である。
【図２４】従来技術の有する課題を説明する図である。
【符号の説明】
３０、３２ 中継装置
３１ ＤＶ／ＩＰ送信部
３３ ＤＶ／ＩＰ受信部
３４ デジタルビデオカメラ
３５ IEEE1394アダプタ
３６ ＤＶ／ＩＰ受信部
３７ カプセル形成部
３８ パケット冗送部
３９ インターネットアダプタ
４１ ＤＶ／ＩＰ送信部
４２ 受信バッファ
４３ 書き込み制御部
４４ カプセル分解部
４５ 付加情報解析部
４６ 完全性判定部
４７ 遅延調整部
４８ ＤＶデータ復元部
４９ ＤＶ送信制御部
５０ デジタルビデオデッキ
５１ フレーム検出部
５２ カウンタ
５３ 付加情報作成部
５４ ヘッダ付加部
５６ パケット抽出／保持部
５７ 冗送制御部
５８ 冗送パケット挿入部
６０ ＤＶ／ＩＰ送信部
７１ カウンタ制御部
７２ ブロックカウンタ部
７３ 完全性評価部
７４ 到達情報更新部
７５ フレーム決定部
７６ 遅延量保持部
７７ ブロック読み出し部
７８ 合成制御部
７９ ＤＶデータ編成部
８０ 合成用バッファ
１００ 送信中継装置
１０１ IEEE1394アダプタ
１０２ ＤＶ→ＤＶ／ＩＰ変換装置
１０３ 通信データ分割装置
１０４−１、１０４−２ インターネットアダプタ
１１０−１、１１０−２ インターネットアダプタ
１１１ 通信データ統合装置
１１２ ＤＶ／ＩＰ→ＤＶ変換装置
１１３ IEEE1394アダプタ
１１４ 受信中継装置
１２５−１、１２５−２ IEEE1394アダプタ
１２６−１、１２６−２ ＤＶ→ＤＶ／ＩＰ変換装置
１２７−１、１２７−２ 識別子付加部
１２８−１、１２８−２ 同期装置
１２９−１、１２９−２ インターネットアダプタ
１３０−１、１３０−２ インターネットアダプタ
１３１−１、１３１−２ 同期部
１３２−１、１３２−２ 同期装置
１３３−１、１３３−２ ＤＶ→ＤＶ／ＩＰ変換装置
１３４−１、１３４−２ IEEE1394アダプタ
１５０ IEEE1394アダプタ
１５１ ＤＶ→ＤＶ／ＩＰ変換装置
１５２ ネットワーク情報収集装置
１５３ 通信データ分割装置
１５４−１、１５４−２ インターネットアダプタ
１６２ 通信データ分割装置
１６４ ネットワーク情報収集装置
１６５ ネットワーク情報評価部
１６６ ネットワーク情報判断部
２００ 送信者
２０１ インターネット
２０２ 中継装置
２０３ 付加情報解析部
２０４ 書き込み制御部
２０５ 受信バッファ

Claims (18)

1. 通信遅延の異なる複数のネットワーク経路を用いて通信を行うシステムであって、
   前記複数のネットワーク経路を介して、複数の送信者それぞれが、一連の通信データに一連の付加情報を付加して送信する送信手段と、
   該付加情報を基に、複数の一連の通信データを統合して同期させて受信する受信手段と、
   を備え、
   前記送信手段は、該送信者が、互いに前記付加情報に関する情報を交換して、該交換した情報に基づき、該複数の送信者それぞれで重複しない一連の前記付加情報を用いることを特徴とするシステム。
2. 前記ネットワークはインターネットであり、前記通信データは、画像データであることを特徴とする請求項１に記載のシステム。
3. 該送信者は、それぞれが独立に通信データを送信し、前記受信手段を有する複数の受信者が、互いに前記付加情報に関する情報を交換することによって、通信データを同期して受信することを特徴とする請求項１に記載のシステム。
4. 該送信者は、それぞれが独立に通信データを送信し、前記受信手段を有する複数の受信者が、受信データの再生状態を観察することによって同期状態を調整する同期手段を更に備え、該同期手段による調整を行うことによって、通信データの同期を確保することを特徴とする請求項１に記載のシステム。
5. 前記付加情報は、通信データのチャネル番号、通信データの発信時刻、通信データの生成時刻のいずれかであることを特徴とする請求項１に記載のシステム。
6. 前記付加情報は、音声や画像などの特定のデータの有無ないし特定のパターンを示す情報を用いることを特徴とする請求項１に記載のシステム。
7. 前記送信手段は、通信データを複数の分割データに分割し、複数のネットワーク経路を用いて送信することを特徴とする請求項１に記載のシステム。
8. 前記分割は、ネットワーク情報に基づいて動的に行うことを特徴とする請求項７に記載のシステム。
9. 前記ネットワーク情報を２回以上連続して収集し、該収集された少なくとも２つのネットワーク情報を比較することにより、分割方法を変化させるか否かを判断することを特徴とする請求項８に記載のシステム。
10. 前記ネットワーク情報の差異を数値化し、該数値が閾値以上の場合に、分割方法を変化させることを特徴とする請求項９に記載のシステム。
11. 前記ネットワーク情報として、通信経路のパケットロス率、あるいは、各ネットワークインターフェースを通過するパケットデータ量を使用することを特徴とする請求項８に記載のシステム。
12. 複数の送信者が通信遅延の異なる複数のネットワーク経路を用いて通信を行うシステムにおける各送信者が有する送信装置であって、
    前記複数のネットワーク経路を介して、複数の送信者それぞれが、一連の通信データに一連の付加情報を付加して送信する送信手段、
    を備え、
    該送信者が、互いに前記付加情報に関する情報を交換して、該交換した情報に基づき、該複数の送信者それぞれで重複しない一連の前記付加情報を用いることを特徴とする送信装置。
13. 通信遅延の異なる複数のネットワーク経路を用いて通信を行うシステム受信装置であって、
    前記複数のネットワーク経路を介して、複数の送信者それぞれが、一連の通信データに付加する一連の付加情報を基に、複数の一連の通信データを統合して同期させて受信する受信手段、
    を備え、
    該送信者は、互いに前記付加情報に関する情報を交換して、該交換した情報に基づき、該複数の送信者それぞれで重複しない一連の前記付加情報を用いることを特徴とする受信装置。
14. 通信遅延の異なる複数のネットワーク経路を用いて通信を行う方法であって、
    前記複数のネットワーク経路を介して、複数の送信者それぞれが、一連の通信データに一連の付加情報を付加してを送信する送信ステップと、
    該付加情報を基に、複数の一連の通信データを統合して同期させて受信する受信ステップと、
    を備え、
    前記送信ステップでは、該送信者が、互いに前記付加情報に関する情報を交換して、該交換した情報に基づき、該複数の送信者それぞれで重複しない一連の前記付加情報を用いることを特徴とする方法。
15. 該送信者は、それぞれが独立に通信データを送信し、前記受信ステップを行う複数の受信者が、互いに前記付加情報に関する情報を交換することによって、通信データを同期して受信することを特徴とする請求項１４に記載の方法。
16. 該送信者は、それぞれが独立に通信データを送信し、前記受信手段を有する複数の受信者が、受信データの再生状態を観察することによって同期状態を調整する同期ステップを更に備え、該同期手段による調整を行うことによって、通信データの同期を確保することを特徴とする請求項１４に記載の方法。
17. 前記送信ステップは、通信データを複数の分割データに分割し、複数のネットワーク経路を用いて送信することを特徴とする請求項１４に記載の方法。
18. 前記分割は、ネットワーク情報に基づいて動的に行うことを特徴とする請求項１７に記載の方法。

Images