JP3964806B2

JP3964806B2 - 動画像伝送システム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体

Info

Publication number: JP3964806B2
Application number: JP2003050626A
Authority: JP
Inventors: 高弘山口; 竜也藤井; 大介白井; 哲郎藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2007-08-22
Anticipated expiration: 2023-02-27
Also published as: JP2004260668A

Description

【０００１】
【発明の属する技術分野】
本発明は、実時間再生を要求される動画像データをＩＰネットワーク上をＴＣＰを用いて安定的に伝送するシステム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体に関するものである。
【０００２】
【従来の技術】
ＴＣＰ（Transport Control Protocol）では、再送付き肯定確認応答プロトコルの改良版である可変ウィンドウサイズのスライディングウィンドウプロトコルを用いて信頼性のある効率的なデータ通信を実現している。
しかしながら、ＴＣＰによるデータ伝送では、ウィンドウサイズ分のデータを連続的に送信できるが、最初のパケットの確認応答が戻ってくるまでは、それ以上のデータを送信できない。
【０００３】
ＴＣＰコネクション一つあたりのスループットは、
【数１】
スループット（データ／秒）＝ウィンドウサイズ／往復遅延時間（式１）
となる。したがって、ネットワークの往復遅延時間ＲＴＴ（Round Trip Time）が大きくなると、必然とスループットがあがらなくなる。いわゆるLong Fat Pipeの問題である。
【０００４】
そうした場合の解決方法として特許文献１のようにデータ（ファイル形式）を分割し、複数のＴＣＰコネクションをはることで、より効率的にデータファイルの伝送を行う方法が提案されている。その方法を用いた場合の流れを図６に示す。
【０００５】
また、特許文献２では、さらにデータ受信中の誤り発生に基づくデータブロックの再送回数を複数のコネクション毎にモニタリングし、一定時間内の再送回数の増減に応じて該当するコネクションのウィンドウサイズを変化させたり、コネクションの使用停止し別のコネクションで送信を再開したりすることで効率的にデータファイルの伝送を行う方法が提案されている。
【０００６】
例えば、JPNIC Internet Week 99チュートリアルレクチャーノート櫻井智明「ストリーミング技術」（非特許文献１）で述べられているように、動画像をＩＰネットワーク上で伝送し実時間再生しようとする場合、一般的には、ＴＣＰよりもＵＤＰが用いられる。ＵＤＰを用いた動画像の伝送では、受信データに誤りが発生した場合であっても、再送によって古い画像フレームを正しく送るよりも、新しい画面を送ることが優先される場合に用いられる。
なお、先行公知文献には、下記の公開特許公報および非特許文献がある。
【０００７】
【特許文献１】
特開平８−３０５６４３号公報（ファイル転送方式）
【特許文献２】
特開２０００−１５６７０６号公報（データ送受信方法並びにデータ送信プログラムを記憶した媒体及びデータ受信プログラムを記憶した媒体）
【特許文献３】
特開２００１−１９５３２６号公報（ファイル転送方式）
【非特許文献１】
JPNIC Internet Week 99チュートリアルレクチャーノート、櫻井智明、「ストリーミング技術」、[online]、［平成１５年２月１７日検索］、インターネット＜http://www.nic.ad.jp/ja/materials/iw/1999/notes/C15.PDF＞
【０００８】
【発明が解決しようとする課題】
ＴＣＰがネットワークの状態に応じた輻輳制御を行うのに対して、ＵＤＰはそのような制御は行わない。そのためＴＣＰとＵＤＰが共存するＩＰネットワーク環境においてＵＤＰを用いて実時間動画像伝送を行うと、ＩＰネットワーク上で回線品質が低下するなどして輻輳が発生すると、ＵＤＰによるトラフィックが、他のＴＣＰコネクションの使用帯域を圧迫し、ネットワークの利用の公平性という観点からは好ましくない。
【０００９】
ＩＰネットワーク上をＴＣＰを用いて、ディジタルシネマのような大容量の動画像データを実時間で伝送し再生するような場合、途中で何度もデータの再送が生じると、１フレーム周期内に１フレーム分の画像データが受信装置側に到着しないというケースが考えられる。前記複数のＴＣＰコネクションによるデータ伝送方法を用いた場合であっても、コネクションの一部で回線品質が低下するなどして再送が何度も発生することは考えられる。特許文献１や特許文献２のようにＦＴＰ（File Transfer Protocol）によるファイル転送等、非実時間のデータ伝送にＴＣＰを用いる場合は問題ないが、実時間の映像情報伝送を考えると、“消失したデータの再送を要求する”といったＴＣＰの仕組みによる遅れが問題になってくる。
【００１０】
また、動画像データはＤＶＤＶｉｄｅｏのような蓄積メディア上では、ファイルの形式をとっている場合もあるが、ビデオカメラからのディジタル映像信号をファイルという形式を介さずに直接トランスポートストリームにのせて伝送するような場合も考えられる。そうした場合、特許文献１の図１の実施例（システム構成）にあるようなファイル分割・統合モジュールでのデータの分割はできない。
【００１１】
また、ＴＣＰコネクションの数が増えてくると、特許文献２のようにコネクション毎の再送回数のモニタリング自体による装置への負荷の増加が実時間での映像情報伝送の妨げとなることが考えられる。
【００１２】
また、単一または複数のＴＣＰコネクションにより１フレーム分の画像フレームデータを１フレーム周期内に伝送しようとする場合、フレーム周期の中の極一部を使ってバースト的にデータを伝送すると、ＩＰネットワーク上で瞬間的にデータレートが高くなり、ネットワーク上のスイッチ等でパケットロスが発生する確率が高くなる。したがって、ＴＣＰの仕組みに基づいてデータの再送が生じやすくなり、データの伝送効率が上がらなくなる。
【００１３】
本発明の目的は、通信経路の往復遅延時間（ＲＴＴ、Round Trip Time）が大きい場合も、必要とされるスループットを確保し、効率よく安定的に動画像データを伝送し、かつ実時間での動画像再生を安定的に行うための動画像伝送システム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するための一つ目の手段は、本発明の請求項１、２、３、４、５、６のように、手動または自動的に計測した送信装置・受信装置間等の１ＴＣＰコネクションあたりのスループット（実効速度）や伝送する動画像データの時間方向に平均をとったビットレートの値に応じた数（複数）のＴＣＰコネクションを送信装置・受信装置間または中継装置との間で張り、複数のＴＣＰコネクションを用いて画像フレームデータを分割して効率よく伝送し、さらにＴＣＰによる再送要求の発生による遅れで１フレーム周期間内に１フレーム分の画像データが到着しないといった事態に備え、あらかじめ受信装置側でｎ（複数）フレーム分の動画像データをバッファに蓄えてから、ｎフレーム期間遅らせて実時間での動画像再生開始することである。
【００１５】
二つ目の手段は、本発明の請求項７のように、分割フレームデータを複数のＴＣＰコネクションを使って伝送する場合に、複数のＴＣＰコネクション間のデータ送出タイミングをずらして、各ＴＣＰコネクション間のデータフローの重なりが少なくなるようにしたり、本発明の請求項８のように、伝送される動画像フレームデータ（１フレーム分）または分割フレームデータが１フレーム周期内で分散するようにシェーピングすることである。
【００１６】
三つ目の手段は、本発明の請求項９、１０、１１のように、受信装置のバッファ部の蓄積状況のみをモニタリングすることで蓄積画像フレーム数が減少したときのみ、全てのＴＣＰコネクションもしくは、伝送効率の下がったＴＣＰコネクションを自動的に特定して、その接続を切り、代わりの新たなＴＣＰコネクションを生成することである。
【００１７】
前述の一つ目の手段によれば、送信装置・受信装置間の１ＴＣＰコネクションあたりのスループット（実効速度）を伝送する動画像データの平均ビットレートの値に応じた数（複数）のＴＣＰコネクションをはることにより、Long Fat Pipeの問題を解決し、動画像データの伝送に必要とされるスループットが確保できるようになる。また１フレーム周期間内に１フレーム分の画像データが到着しないといった事態が発生した場合は、バッファに蓄積された動画像データを用いることで、安定的に動画像の実時間再生を維持することができるようになる。
【００１８】
前述の二つ目の手段によれば、複数ＴＣＰコネクションのトータルのデータレートが時間方向に平均化され、通信系路上で瞬間的にデータレートが上がることがなくなり、パケットロスが生じにくくなり、より安定的に実時間再生を要求される動画像データの伝送が実現できるようになる。
【００１９】
前述の三つ目の手段によれば、受信装置のバッファ部の蓄積状況のみのモニタリングとすることでモニタリングに対する負荷を軽減し、より安定的に実時間再生を要求される動画像データの伝送が実現できる。
【００２０】
また、本発明の動画像送信装置は、実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置を含む動画像伝送システムにおける動画像送信装置であって、動画像データを画像データ１フレーム分または複数フレーム分を単位とする個々の単位画像データをさらに分割するための単位画像データの分割数、およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定するパラメータ決定手段と、前記パラメータ決定手段により決定された分割数で前記個々の単位画像データを分割して分割画像データとする画像データ分割手段と、前記分割画像データを前記パラメータ決定手段により決定されたＴＣＰコネクションの数のＴＣＰコネクションにより送信する送信手段と、を有することを特徴とする。また、前記パラメータ決定手段は前記受信装置でバッファに蓄積するフレーム数を１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定することを特徴とする。
【００２１】
また、本発明の動画像中継装置は、実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置と、前記送信装置と前記受信装置の間にあって前記データを中継する中継装置を含む動画像伝送システムにおける動画像中継装置であって、動画像データを画像データ１フレーム分または複数フレーム分を単位として、個々の単位画像データを１つのＴＣＰコネクションにより送信する送信装置または前段の中継装置から１つのＴＣＰコネクションで個々の単位画像データを受信する手段と、前記個々の単位画像データをさらに分割するための単位画像データの分割数、およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定するパラメータ決定手段と、前記パラメータ決定手段により決定された分割数で前記個々の単位画像データを分割して分割画像データとする画像データ分割手段と、前記分割画像データを前記パラメータ決定手段により決定されたＴＣＰコネクションの数のＴＣＰコネクションにより送信する送信手段と、を有することを特徴とする。また、前記パラメータ決定手段は前記受信装置でバッファに蓄積するフレーム数を１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定することを特徴とする。また、前記動画像送信装置または前記動画像中継装置からのデータを中継する動画像中継装置であって、複数のＴＣＰコネクションにより分割画像データを受信する受信手段と、受信した分割画像データから元の単位画像データに戻す分割画像データ統合手段と、前記単位画像データを１つのＴＣＰコネクションで受信装置または次の中継装置に向けて送信する送信手段と、を有することを特徴とする。
【００２２】
また、本発明の動画像受信装置は、前記動画像送信装置または前記動画像中継装置からデータを受信する動画像受信装置であって、複数のＴＣＰコネクションにより分割画像データを受信する受信手段と、前記分割画像データから元の単位画像データに戻す処理を行う分割画像データ統合手段と、動画像データ複数フレーム分の蓄積を行うバッファ手段と、を有することを特徴とする。また、前記バッファ手段で蓄積するフレーム数は、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定されたフレーム数であることを特徴とする。
また、本発明のプログラムは、前記動画像送信装置、前記動画像中継装置、前記動画像受信装置のためのプログラム。
また、本発明の記録媒体は、前記プログラムを記録したコンピュータ読み取り可能な記憶媒体。
【００２３】
【発明の実施の形態】
［実施例１］
図１は請求項１の発明の実施例のシステムの構成を示している。図１において、動画像伝送システム１は送信装置２と受信装置３により構成される。送信装置２は、動画像データ入力ＩＦ（インタフェース）７、フレーム検出器８、画像データ分割処理部９、動画像データネットワーク出力ＩＦ１０、パラメータ収集部１１、パラメータ決定部１２、ＴＣＰコネクション数・ウィンドウサイズ制御部１３を備える。送信装置２の動画像データ入力ＩＦ７にはビデオカメラ４から直接またはエンコーダ５を経て非蓄積型動画像データが入力され、また蓄積メディア６から蓄積型動画像データが入力される。受信装置３は、動画像データネットワーク入力ＩＦ１６、分割画像データ統合処理部１７、画像データ蓄積部１８、動画像データ出力ＩＦ１９を備える。送信装置２と受信装置３はＩＰネットワーク１４で接続され、送信装置２の動画像データネットワーク出力ＩＦ１０と受信装置３の動画像データネットワーク入力ＩＦ１６間にはＴＣＰコネクション１５がはられる。受信装置３の動画像データ出力ＩＦ１９から出力された動画像データは、必要に応じてデコーダ２０によりデコードされ、プロジェクタ２１により上映される。
【００２４】
図２は、請求項１の発明の実施例の全体的な流れを示している。請求項１の発明の実施例について、図２の流れに沿って説明する。
第１の行程では、図１のパラメータ収集部１１で、通信経路の往復遅延時間や、送受信装置が接続されている間のスループット（実効的な回線速度）に関する情報、動画像データの平均ビットレートを自動的に収集する。パラメータ収集部１１での処理は、例えば自動的にpingコマンドを発し、そこから往復遅延時間を得たり、netperfなどのコマンドを使ってＴＣＰストリームを発生し、そこからＴＣＰストリームあたりのスループットを得たり、動画像データをいったんネットワーク上に一定時間流しtcpdump等でその間のパケット数をカウントすることにより動画像データの平均ビットレートを求めることができる。同パラメータは自動収集によらず、あらかじめ手動での実測等により得ておいてもよい。
【００２５】
第２の行程では、それら収集したパラメータを元に最適な画像データ分割数・ＴＣＰコネクション数・ウィンドウサイズ等のパラメータを図１のパラメータ決定部１２で決定する。パラメータ決定部１２では次のようにしてパラメータが決定される。
【００２６】
例えばＴＣＰ／ＩＰプロトコルの拡張となる６４［ｋＢ］以上のウィンドウサイズが扱える場合、ウィンドウサイズを６４［ｋＢ］から順次大きくしていき、その際のＴＣＰ１コネクションでのスループットＳ［Ｍｂｐｓ］をパラメータ収集部１１で計測（実測）し、その値が最大となるウィンドウサイズを最適ウィンドウサイズＷ［ｋＢ］として決定する。一方、拡張となる６４［ｋＢ］以上のウィンドウサイズが扱えない場合は、逆にウィンドウサイズを６４［ｋＢ］固定として、スループットＳをパラメータ収集部１１で計測する。なお、双方の場合においても、スループットＳの計測の代わりに、パラメータ収集部１１で計測された往復遅延時間を元に前記式１よりＴＣＰ１コネクションでのスループットＳ［Ｍｂｐｓ］を求めてもよいが、数式１で求められるスループットそのものを計測した方が実際に則しているという観点で望ましい。
【００２７】
そして、動画像データの平均ビットレートがＡ［Ｍｂｐｓ］であったとしたとき、
【数２】
Ｃ＝ＲＯＵＮＤＵＰ（Ａ／０．９Ｓ）（式２）
となる整数ＣをＴＣＰコネクション数とする（ＲＯＵＮＤＵＰ（Ａ／０．９Ｓ）はＡ／０．９Ｓを小数点以下切り上げた数、ＴＣＰストリームのオーバヘッドを１０％と仮定し実効的な回線速度は０．９Ｓであるとして計算）。画像分割数はＴＣＰコネクション数と等しくする。
【００２８】
また、受信装置３側の蓄積フレーム数ｎは、例えば、１秒間分のフレーム数ｆ（映画の場合２４フレーム分）と動画像データ平均ビットレートＡを実効的な回線速度０．９ＳとＴＣＰコネクション数Ｃの積で割った値より
【数３】
ｎ＝（１＋Ａ／０．９ＳＣ）ｆ（式３）
として決定し、受信装置３側に指示する。
以上は図２のうちの処理Ａにあたり、動画像データを実際に伝送する前の前処理となっている。
【００２９】
第３の行程で、パラメータ決定部１２で決定されたＣ本のＴＣＰコネクション１５を送信装置２側の動画像データネットワーク出力ＩＦ１０から受信装置３側の動画像データネットワーク入力ＩＦ１６に対してはる。
【００３０】
第４の行程では、送信装置２の動画像データ入力ＩＦ１６に、ビデオカメラ４等からのディジタル映像信号そのものや、エンコーダ５等を経て入ってくる非蓄積型動画像データ、またはハードディスクやＤＶＤ等の蓄積メディア６上の蓄積型動画像データを入力する。
【００３１】
そして、通常の映像信号／動画像データに含まれるフレーム毎の切れ目を示すデータをフレーム検出器８で検出し、第５の行程でフレーム毎に画像データ分割処理部９でＣ個に分割処理される。ＭＰＥＧのように複数のフレームがＧＯＰ（Group of Pictures）のような別の単位で取り扱われる場合には、それを検出し、それを単位として分割処理してもよい。
【００３２】
第６の行程で、送信装置２の動画像データネットワーク出力ＩＦ１０よりＩＰネットワーク１４上へ分割画像データを送出する。以上の行程は主に送信装置２側の処理となるが、第８の行程からは主に受信装置３側の処理へと移る。第７の行程で、Ｃ本のＴＣＰコネクション１５によりＣ分割された分割画像データをそれぞれ伝送することになる。
【００３３】
第８の行程では、ＩＰネットワーク１４上から分割画像データを受信装置３の動画像データネットワーク入力ＩＦ１６で受け取り、第９の行程で、受信した分割画像データを分割画像データ統合処理部１７で元の１つのフレーム画像データ（単位画像データ）に統合し、第１０の行程で受信装置３側のデータ蓄積部１８にｎフレーム分蓄積され、ｎ＋１フレーム目のデータがデータ蓄積部１８に渡されるときに、第１１の行程に移り１フレーム目のデータが動画像データ出力から出力される。ここで入力した動画像データがオンラインまたはオフラインでエンコードされたものであれば、デコーダ２０により実時間でデコードしながら、プロジェクタ２１等により動画像データを実時間上映を実現する。
すべての動画像データの入力がなくなり、動画像データをすべて受信し終わったら、全てのＴＣＰコネクション１５を切断し終了となる。
【００３４】
［実施例２］
図３は、請求項１、３、５による発明の実施形態のバリエーションを示す図である。図３の形態１は、請求項１の発明の実施形態を示す例である。図は、送信装置側から４つのＴＣＰコネクションで受信装置側へ分割画像データを伝送し、プロジェクタで実時間上映するときの構成である。図３の形態２は、請求項３の発明の実施形態を示す例である。図は、送信装置側からの１つのＴＣＰコネクションで中継装置まで単位画像データを運び、中継装置と受信装置との間で４つのＴＣＰコネクションを使って分割画像データを伝送する。前述の送信装置側での行程（１）、（２）、（３）および（５）、（６）の処理を中継装置で行うようにするものである。図３の形態３は、請求項５の発明の実施形態を示す例である。送信装置側から４個のＴＣＰコネクションで分割画像データを中継装置まで運び、行程（８）、（９）の処理を中継装置で行い、別途１つのＴＣＰコネクションを中継装置と受信装置の間にはり、それで単位画像データを受信装置に伝送するようにしたものである。請求項３と請求項５の発明の実施形態の中継装置を組み合わせて、図３の形態４のように送信装置で単位画像データを送信するＴＣＰコネクションおよび受信装置で単位画像データを受信するＴＣＰコネクションはともに１つとし、中継装置間の４個のＴＣＰコネクションで分割画像データを伝送するようにしてもよい。ただし、１つのＴＣＰコネクションで単位画像データを運ぶ場合の送信装置・中継装置間および中継装置・受信装置間は、４個のＴＣＰコネクションで分割画像データを運ぶ間より十分遅延時間が短く、１つのＴＣＰコネクションで実時間動画再生に耐えられるだけの速さで単位画像データを運ぶことができる必要がある。
【００３５】
［実施例３］
図４は、請求項７、８の発明の実施例を説明する図である。図４（ａ）は１つのＴＣＰコネクションでフレーム画像データ（単位画像データ）を伝送する場合の送信装置・受信装置間のトラフィック量の時間方向の変動の概観を示した図である。１フレーム周期で、その周期の一部を使ってバースト的にフレーム画像データが伝送される。請求項１の発明の実施例の動画像伝送システムを用いて、単に４つのＴＣＰコネクションで分割画像データを伝送すると、図４（ｂ）のようなトラフィックとなる。各ＴＣＰコネクションのトラフィック量は小さくなるが、ネットワーク上を流れるトラフィックの総量を求めると、（ａ）と同じようになってしまう。
【００３６】
図４（ｃ）は、請求項７の発明の実施例のトラフィックの様子を示している。請求項７の発明を実装し、４つのＴＣＰコネクションにおけるデータ送出のタイミングを上から準じ遅らせていくような形でずらしていくようにすることで、同じ１つのネットワーク上をこの４つのＴＣＰコネクションによるデータストリームが流れる場合、それぞれのコネクションによるデータの送出タイミングがずれていることによってネットワーク上の総トラフィック量の変動が時間的に平均化される。
【００３７】
図４（ｄ）は、請求項８の発明を実施例のトラフィックの様子を示している。請求項８の発明を実装し、各コネクションに対して平滑化プロセスによりトラフィックにシェーピングを効かせることで、データの送出がさらに分散しネットワーク上の総トラフィック量の変動が時間的にさらに平均化される。
【００３８】
図４（ｃ）（ｄ）のようなデータストリームは、請求項７、８の発明を実装しない場合に比べて、総トラフィック量の時間的な変動が小さくなり、パケットロスとなる率が下がり、安定的な実時間動画像伝送が実現できる。
【００３９】
［実施例４］
図５は、請求項９の発明の画像データの蓄積状態の監視処理の実施例を説明する図である。
蓄積画像データのフレーム数は、回線品質の低下にともない減少する。図の例１では、蓄積画像データのフレーム数が規定枚数以下になった場合に、各ＴＣＰコネクションによる分割データ到着を確認する。前記規定枚数とは、以下のＴＣＰコネクションの張り替え処理の間に、動画像データが一時的に途絶えたとしても、実時間上映が維持できる時間分以上のフレーム数とする。各ＴＣＰコネクションによる分割データ到着確認の際、スループットの低下等により、あるＴＣＰコネクションで分割データの未着があった場合、そのコネクションを不良コネクションとして確定し、いったんその接続を切断し、あらたに代わりの新規ＴＣＰコネクションを確立する。そうすることで、ＴＣＰコネクション数を変化させずにスループットを回線品質が低下する前と同じような状態に戻すことができる。
【００４０】
ＴＣＰコネクション数に余裕があって、不良コネクションの切断後も十分なスループットが得られる場合は、新規ＴＣＰコネクションは確立せずに、必要があれば単位画像データの分割数を減らして、実時間上映を維持する。
【００４１】
図の例２では蓄積画像データのフレーム数が規定枚数以下となった場合に、各コネクションのＲＴＴをチェックしたり、各コネクションの再送回数をチェックして、それらが規定値以内かどうか判断し、規定値を超えたものを不良コネクションとして確定し、いったんその切断、必要があれば新規コネクションを確立したり、単位画像データの分割数の見直しを行う。
【００４２】
なお、前記各装置はコンピュータ上で動作するプログラムとして作成することができ、また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記録することができる。
【００４３】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００４４】
【発明の効果】
以上のように、本発明では、通信経路の往復遅延時間（ＲＴＴ、Round Trip Time）が大きい場合も、必要とされるスループットを確保し効率よく安定的に動画像データを伝送し、かつ実時間での動画像再生を安定的に行うための伝送システムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施例のシステム構成を示す図である。
【図２】本発明の実施例の全体的な処理の流れを示す図である。
【図３】本発明の実施例のシステム構成のバリエーションを示す図である。
【図４】本発明の実施例のデータフローの様子を示す図である。
【図５】本発明の実施例の画像データ蓄積状態監視処理の例を示す図である。
【図６】従来技術の画像ファイル伝送の流れを示す図である。
【符号の説明】
１…動画像伝送システム、２…送信装置、３…受信装置、４…ビデオカメラ、５…エンコーダ、６…蓄積メディア、７…動画像データ入力ＩＦ、８…フレーム検出器、９…画像データ分割処理部、１０…動画像データネットワーク出力ＩＦ、１１…パラメータ収集部、１２…パラメータ決定部、１３…ＴＣＰコネクション数・ウィンドウサイズ制御部、１４…ＩＰネットワーク、１５…ＴＣＰコネクション、１６…動画像データネットワーク入力ＩＦ、１７…分割画像データ統合処理部、１８…画像データ蓄積部、１９…動画像データ出力ＩＦ、２０…デコーダ、２１…プロジェクタ

Claims

実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置を含む動画像伝送システムであって、
前記送信装置は、動画像データを画像データ１フレーム分または複数フレーム分を単位として、個々の単位画像データをさらに分割した分割画像データを、複数のＴＣＰコネクションにより送信する送信装置であって、
前記受信装置は、複数のＴＣＰコネクションにより受信した分割画像データから元の単位画像データに戻す処理と、前記動画像データ複数フレーム分の蓄積を行うバッファ部を有する受信装置であって、
前記単位画像データの分割数およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定し、
前記受信装置で蓄積するフレーム数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定する
ことを特徴とする動画像伝送システム。
前記送信装置は、動画像データ入力ＩＦおよびフレーム検出器を有し、
前記受信装置は、画像データ出力ＩＦを有する
ことを特徴とする請求項１に記載の動画像伝送システム。
実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置と、前記送信装置と前記受信装置の間にあって前記データを中継する中継装置を含む動画像伝送システムであって、
前記送信装置は、動画像データを画像データ１フレーム分または複数フレーム分を単位として、個々の単位画像データを１つのＴＣＰコネクションにより送信する送信装置であって、
初段の中継装置もしくは送信装置寄りの中継装置の１つが、前記送信装置または前段の中継装置から１つのＴＣＰコネクションで個々の単位画像データを受信し、受信した個々の単位画像データを分割して分割画像データとして、複数のＴＣＰコネクションにより送信する中継装置であって、
前記受信装置は、複数のＴＣＰコネクションにより受信した分割画像データから元の単位画像データに戻す処理と、前記動画像データ複数フレーム分の蓄積を行うバッファ部を有する受信装置であって、
前記単位画像データの分割数およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定し、
前記受信装置で蓄積するフレーム数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定する
ことを特徴とする動画像伝送システム。
前記送信装置は、動画像データ入力ＩＦを有し、
前記初段の中継装置もしくは送信装置寄りの中継装置の１つは、フレーム検出器を有し、
前記受信装置は、画像データ出力ＩＦを有する
ことを特徴とする請求項３に記載の動画像伝送システム。
実時間再生を要求される動画像をＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置と、前記送信装置と前記受信装置の間にあって前記データを中継する中継装置を含む動画像伝送システムであって、
前記送信装置は、動画像データを画像データ１フレーム分または複数フレーム分を単位として、個々の単位画像データをさらに分割した分割画像データを、複数のＴＣＰコネクションにより送信する送信装置であって、
最終段の中継装置もしくは受信装置寄りの中継装置の１つが、前記送信装置または前段の中継装置から複数のＴＣＰコネクションにより分割画像データを受信し、受信した分割画像データから元の単位画像データに戻し、前記単位画像データを１つのＴＣＰコネクションで受信装置または次の中継装置に向けて送信する中継装置であって、
前記受信装置は、１つのＴＣＰコネクションにより受信した前記動画像データ複数フレーム分の蓄積を行うバッファ部を有する受信装置であって、
前記単位画像データの分割数およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定し、
前記受信装置で蓄積するフレーム数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定する
ことを特徴とする動画像伝送システム。
前記送信装置は、動画像データ入力ＩＦおよびフレーム検出器を有し、
前記受信装置は、画像データ出力ＩＦを有する
ことを特徴とする請求項５に記載の動画像伝送システム。
前記複数のＴＣＰコネクションによる個々の分割画像データの送信時に各ＴＣＰコネクション毎のデータ送出タイミングをずらして、各ＴＣＰコネクション間のデータフローの重なりが少なくなるようにすることを特徴とする請求項１、２、３、４、５、または６記載の動画像伝送システム。
前記複数のＴＣＰコネクションによる個々の分割画像データの送信時、または、１つのＴＣＰコネクションによる単位画像データ送信時に、ＴＣＰコネクション毎にデータフローを時間軸方向に平滑化し、バースト性を取り除くことを特徴とする請求項１、２、３、４、５、６、または７記載の動画像伝送システム。
前記受信装置のバッファ部の蓄積状況をモニタリングし、バッファに蓄積されている動画像データのフレーム数が減少したら、全てのＴＣＰコネクションもしくは、伝送効率の下がった不良ＴＣＰコネクションを自動的に特定して、その接続を切断することを特徴とする請求項１、２、３、４、５、６、７、または８記載の動画像伝送システム。
不良ＴＣＰコネクションの切断により必要とするスループットが確保できなかった場合に、代わりの新たなＴＣＰコネクションを生成することを特徴とする請求項９記載の動画像伝送システム。
不良ＴＣＰコネクションの切断または新規ＴＣＰコネクションの確立によるＴＣＰコネクションの減または増にともない単位画像データの分割数を変化させることを特徴とする請求項９または１０記載の動画像伝送システム。
実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置を含む動画像伝送システムにおける動画像送信装置であって、
動画像データを画像データ１フレーム分または複数フレーム分を単位とする個々の単位画像データをさらに分割するための単位画像データの分割数、およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定するパラメータ決定手段と、
前記パラメータ決定手段により決定された分割数で前記個々の単位画像データを分割して分割画像データとする画像データ分割手段と、
前記分割画像データを前記パラメータ決定手段により決定されたＴＣＰコネクションの数のＴＣＰコネクションにより送信する送信手段と、
を有し、
前記パラメータ決定手段は前記受信装置でバッファに蓄積するフレーム数を１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定する
ことを特徴とする動画像送信装置。
動画像データ入力ＩＦおよびフレーム検出器を有することを特徴とする請求項１２に記載の動画像送信装置。
実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置と、前記送信装置と前記受信装置の間にあって前記データを中継する中継装置を含む動画像伝送システムにおける動画像中継装置であって、
動画像データを画像データ１フレーム分または複数フレーム分を単位として、個々の単位画像データを１つのＴＣＰコネクションにより送信する送信装置または前段の中継装置から１つのＴＣＰコネクションで個々の単位画像データを受信する手段と、
前記個々の単位画像データをさらに分割するための単位画像データの分割数、およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定するパラメータ決定手段と、
前記パラメータ決定手段により決定された分割数で前記個々の単位画像データを分割して分割画像データとする画像データ分割手段と、
前記分割画像データを前記パラメータ決定手段により決定されたＴＣＰコネクションの数のＴＣＰコネクションにより送信する送信手段と、
を有し、
前記パラメータ決定手段は前記受信装置でバッファに蓄積するフレーム数を１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定する
ことを特徴とする動画像中継装置。
フレーム検出器を有することを特徴とする請求項１４に記載の動画像中継装置。
請求項１２もしくは１３記載の動画像送信装置または請求項１４もしくは１５記載の動画像中継装置からのデータを中継する動画像中継装置であって、
複数のＴＣＰコネクションにより分割画像データを受信する受信手段と、
受信した分割画像データから元の単位画像データに戻す分割画像データ統合手段と、
前記単位画像データを１つのＴＣＰコネクションで受信装置または次の中継装置に向けて送信する送信手段と、
を有することを特徴とする動画像中継装置。
請求項１２もしくは１３記載の動画像送信装置または請求項１４もしくは１５記載の動画像中継装置からデータを受信する動画像受信装置であって、
複数のＴＣＰコネクションにより分割画像データを受信する受信手段と、
前記分割画像データから元の単位画像データに戻す処理を行う分割画像データ統合手段と、
動画像データ複数フレーム分の蓄積を行うバッファ手段と、
を有し、
前記バッファ手段で蓄積するフレーム数は、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定されたフレーム数である
ことを特徴とする動画像受信装置。
画像データ出力ＩＦを有することを特徴とする請求項１７に記載の動画像受信装置。
実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置を含む動画像伝送システムにおける動画像送信装置のためのプログラムであって、コンピュータを請求項１２記載の各手段として機能させるためのプログラム。
実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置と、前記送信装置と前記受信装置の間にあって前記データを中継する中継装置を含む動画像伝送システムにおける動画像中継装置のためのプログラムであって、コンピュータを請求項１４または１６記載の各手段として機能させるためのプログラム。
請求項１２もしくは１３記載の動画像送信装置または請求項１４もしくは１５記載の動画像中継装置からデータを受信する動画像受信装置のためのプログラムであって、コンピュータを請求項１７記載の各手段として機能させるためのプログラム。
請求項１９、２０、または２１記載のプログラムを記録したコンピュータ読み取り可能な記憶媒体。