JP3934073B2 - Real-time information transmission system, real-time information transmission device, real-time information transmission method and program - Google Patents

Real-time information transmission system, real-time information transmission device, real-time information transmission method and program Download PDF

Info

Publication number
JP3934073B2
JP3934073B2 JP2003078191A JP2003078191A JP3934073B2 JP 3934073 B2 JP3934073 B2 JP 3934073B2 JP 2003078191 A JP2003078191 A JP 2003078191A JP 2003078191 A JP2003078191 A JP 2003078191A JP 3934073 B2 JP3934073 B2 JP 3934073B2
Authority
JP
Japan
Prior art keywords
data
real
time information
packet
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003078191A
Other languages
Japanese (ja)
Other versions
JP2004289431A (en
Inventor
卓也 三輪
学 土井
ゆき 真子
忠和 前田
耕三 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Nippon Telegraph and Telephone West Corp
Original Assignee
Fujitsu Ltd
Nippon Telegraph and Telephone West Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Nippon Telegraph and Telephone West Corp filed Critical Fujitsu Ltd
Priority to JP2003078191A priority Critical patent/JP3934073B2/en
Publication of JP2004289431A publication Critical patent/JP2004289431A/en
Application granted granted Critical
Publication of JP3934073B2 publication Critical patent/JP3934073B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、映像や音声などのリアルタイム通信を、多層プロトコル構造を持つ高速パケット通信を利用して行う場合において、リアルタイム情報を高品質、低遅延かつ低コストで伝達することができる、リアルタイム情報の伝達システム、リアルタイム情報の送信装置、リアルタイム情報の伝達方法、及びプログラムに関するものである。
【０００２】
【従来の技術】
従来の映像伝送通信はその伝送情報量の大きさや、低ジッタの必要性などから、複雑な通信プロトコルスタックを避け、できる限り単純に電波や同軸ケーブルあるいは光ファイバなどの通信媒体に適合する様、信号変換を行い伝達する手法が採られてきた。
【０００３】
ところで、近年、インターネットの普及でＩＰネットワークなどパケットの通信技術が大きく進歩し、高速大容量化かつ低価格化してきている。また、映像信号処理の進歩により極めて効率の高い圧縮技術が確立してきており、情報量規模と通信速度としては、圧縮された映像伝送を上記パケット通信でリアルタイムに伝送することが可能であり、コスト的に有利な側面が出てきており、実際、これらを組み合わせて、高品位な映像伝送を実現することが模索され始めている。
【０００４】
しかし、上記のパケット通信を用いたネットワークはコンピュータ間の通信にその起源を持っており、リアルタイム伝送に対する考慮に欠け、映像などリアルタイム性の要求が高いアプリケーションとは親和性が低かった。これらの不適合性を解消するための方法が、検討、提案されているが、手法の複雑性や論理的な処理規模の大きさから、実現コストの増大や伝送の為の総合的遅延の増大、システム的安定度の欠如など、アプリケーションの利用者に不便を強いることとなっており、これらのパケット通信で安定した高品質の映像や音声の伝送などリアルタイム性の高いアプリケーションを合理的に伝送することは困難であった。
【０００５】
上述したように、多層プロトコルのパケット通信ではネットワークプロトコルが階層化され、複数のレイヤを積み上げて構成され、ここでは、アプリケーションに近い上位レイヤが、物理媒体に近い、下位レイヤの処理を考慮せずに実装することが理想とされ「下位レイヤの抽象化」と呼ばれ、専ら行われてきた。また、下位レイヤで発生したエラーに対しては、異常なデータを上位レイヤへ渡さないことを主眼に置いており、エラーを含んでいる可能性のある疑わしいパケットそのものすべてを破棄するという設計で、下位レイヤで起きたエラーが１ビットというような微細なものであっても、中間レイヤではパケット全体、上位レイヤでは該当データブロック全体の破棄となり、上位レイヤへ処理が渡されるに従い、データの損失量が増えて行くという特性を持っていた。
【０００６】
また、これらのパケット通信ネットワークが輻輳し伝送能力の不足が生じた場合、パケットそのものを意図的に破棄するという処理も当然の如く行われている。然るに、上記パケット通信では、パケット損失というバースト的な情報欠損が頻繁に発生しているということになる。
【０００７】
これに伴う情報損失は、上位レイヤでその対処を行わない場合、そのままアプリケーションに影響を及ぼし、例えば映像伝送などにおいては、画面上にノイズなどの乱れが発生したり、あるいは動きのある絵が一時停止してしまうなど、利用において実害を与え、これがパケット通信による映像などリアルタイム通信を困難なものにしていた。
【０００８】
対処策の最も簡単な例として、損失した情報を受信側の指示により再度送信側より送る再送という方法があり、本来のパケット通信の利用用途である、コンピュータ間の情報伝送で多用されている。しかし、これをリアルタイム通信に適用した場合、再送されるデータはパケット損失しなかったデータより、大幅に遅れて受信側へ到達する現象が発生する。これを処理するためにはパケット損失が発生していない平常時から、受信側に大きなバッファを持たせる必要があり、結果的に伝送にかかる時間遅延が極めて大きなものとならざるを得なかった。
【０００９】
また、再送を使わない解決手法としては、フォワードエラーコレクション（ＦＥＣ）がある。これは、送信側から送信する情報に数学的に冗長性を持たせ、途中のネットワークでのパケット損失により情報が損失した場合には、その前後の冗長データから損失した情報を復元する手法である。しかし、これを多層パケット通信に適用した場合、パケット損失での情報損失は極めて時間的集中性（バースト性）が高く、有効なＦＥＣ処理を実現するためには極めて大きな演算能力が必要となり、実現のためのコスト上昇や、あるいは演算時間に起因する伝送遅延が大きくなっていた（例：ＩＰベースでリードソロモンの適用例＝ブロック長が極めて長くなる）。
【００１０】
この時間的集中性を排除するものとして、インターリーブと呼ばれる手法がある。これは、ＦＥＣ処理の前あるいは後で、伝送対象となるデータを時間列で入れかえることで、バースト的損失を時間的に分散したランダム的損失に変換するものである。この手法は再送が使えない衛星通信などの映像情報伝送で用いられてきた（参照：郵政省電気通信技術審議会ＣＳディジタル放送技術基準）。
【００１１】
しかし、ＩＰネットワークなどパケット長が大きく、それに伴うバーストエラー長も大きいものにこれを適用し、有効な処理を施した場合、入れ替えを行うため参照時間が極めて大きいもの（ロングインターリーブと呼ばれる）となってしまい、結果的に伝送遅延の増大を起こしてしまう。また、入れ替えを行うためのバッファとその制御機能を実装する必要があり、映像情報など大容量の処理の場合、これらの容量、能力ともに極めて大きな物となり、実装コストの増大やシステム的安定度の低下の原因となっていた（例えば、特許文献１を参照）。
【００１２】
【特許文献１】
特開２０００−７８１９１号公報
【００１３】
【発明が解決しようとする課題】
本発明は、上述した課題を解決するためになされたものであり、本発明は、多層パケット通信において、映像や音声などのリアルタイム性の高いアプリケーション情報を高品質、低遅延かつ低コストで伝達することができ、利用者の利便性を確保することのできる、リアルタイム情報の伝達システム、リアルタイム情報の送信装置、リアルタイム情報の伝達方法、及びプログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明のリアルタイム情報の伝達システムは、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達システムであって、送信側には、パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手段と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段とを備え、受信側には、受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手段と、前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手段とを備えることを特徴とする。
これにより、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００１５】
また、本発明のリアルタイム情報の伝達システムは、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達システムであって、送信側には、パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手段と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段とを備え、受信側には、受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手段と、前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手段とを備えることを特徴とする。
これにより、複合的プロトコルスタック処理を伴うネットワークの場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００１６】
また、本発明のリアルタイム情報の伝達システムは、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達システムであって、送信側には、パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手段と、前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手段と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手段と、前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手段と、データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報を基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手段とを備え、受信側には、受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手段と、前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手段と、分割サイズとパケット損失の頻度との相関特性を測定し、該測定データを送信側に通知するパケット損失測定結果通知手段とを備えることを特徴とする。
これにより、ネットワーク構成の情報が全くない場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００１７】
また、本発明のリアルタイム情報の送信装置は、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置であって、パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手段と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段とを備えることを特徴とする。
これにより、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００１８】
また、本発明のリアルタイム情報の送信装置は、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置であって、パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手段と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段とを備えることを特徴とする。
これにより、複合的プロトコルスタック処理を伴うネットワークの場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００１９】
また、本発明のリアルタイム情報の送信装置は、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置であって、パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手段と、前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手段と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手段と、前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手段と、データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報を基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手段とを備えることを特徴とする。
これにより、ネットワーク構成の情報が全くない場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００２０】
また、本発明のリアルタイム情報の伝達方法は、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達方法であって、送信側により、パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手順と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順とが行われ、受信側により、受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手順と、前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手順とが行われることを特徴とする。
これにより、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００２１】
また、本発明のリアルタイム情報の伝達方法は、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達方法であって、送信側により、パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手順と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順とが行われ、受信側により、受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手順と、前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手順とが行われることを特徴とする。
これにより、複合的プロトコルスタック処理を伴うネットワークの場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００２２】
また、本発明のリアルタイム情報の伝達方法は、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達方法であって、送信側により、パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手順と、前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手順と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手順と、前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手順と、データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報を基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手順とが行われ、受信側により、受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手順と、前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手順と、分割サイズとパケット損失の頻度との相関特性を測定し、該測定データを送信側に通知するパケット損失測定結果通知手順とが行われることを特徴とする。
これにより、ネットワーク構成の情報が全くない場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００２３】
また、本発明のコンピュータプログラムは、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置内のコンピュータに、パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手順と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順とを実行させるためのプログラムである。
【００２４】
また、本発明のコンピュータプログラムは、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置内のコンピュータに、パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手順と、前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順とを実行させるためのプログラムである。
【００２５】
また、本発明のコンピュータプログラムは、映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置内のコンピュータに、パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手順と、前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手順と、前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手順と、前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手順と、データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報を基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手順とを実行させるためのプログラムである。
【００２６】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００２７】
図１は、本発明のリアルタイム情報の伝達システムの基本的な手段の構成例を示す図である。図１に示すように、本発明のリアルタイム情報の伝達システムは、送信装置１０と、受信装置２０と、多層プロトコル構造を持ったパケット処理により、通信を確立する多層プロトコルパケット通信手段（単に「通信手段」ともいう）１とで構成される。
【００２８】
また、送信側の送信装置１０には、映像音声などの伝送対象となる信号（リアルタイム情報）を取り入れる入力手段１１と、映像情報圧縮などアプリケーション処理を行う前処理手段１２と、これより出力されるアプリケーションデータを後続の多層プロトコルパケット通信手段１に適合するようにデータ分割を行うデータ分割手段１３と、分割された分割データに対してＦＥＣ符号を演算するＦＥＣ符号化手段１４と、生成されたＦＥＣ符号をネットワークプロトコルに定められたコーディングを行い送信する多層プロトコル送信手段１５とが設けられる。
【００２９】
また、受信装置２０には、受信した情報のプロトコルから、元の送信側で送られたＦＥＣ符号を抽出する多層プロトコル受信手段２１と、抽出されたＦＥＣ符号から、元データを復元するＦＥＣ復号化手段２２と、復号化されたデータのみを結合することで、元のアプリケーションデータを再現させるデータ結合手段２３、映像情報伸張などのアプリケーション処理を行う後処理手段２４と、伝送された情報を信号に戻し出力する出力手段２５が設けられる。
【００３０】
本発明は、図１に示すようなシステム構成による多層パケット通信において、パケット損失に伴う損失情報を低減するとともに、ＦＥＣ処理能力の高効率化を実現し、リアルタイム性の要求が高いアプリケーションを合理的に伝送するものである。
【００３１】
また、図２は、本発明の作用を説明するための図である。前処理手段１２で映像情報圧縮などアプリケーション処理され出力される情報は通常時間的連続性を持っておりデータに切れ目が無い。圧縮の形式（例えばＭＰＥＧ−ＴＳなど）によっては、付随データ伝送あるいは、データ同期確立のためのパケット的構造を持っているものがあるが、ここでは重要でない。
【００３２】
このデータを多層プロトコルのパケット通信で伝送するにあたって、通信プロトコル処理を行うのに先立ち、データ分割手段１３により、使用するネットワークのプロトコル仕様に適合するように、アプリケーションデータの分割を行う。具体的には、利用するパケット通信手段のうちのパケット損失を起こす部分のネットワークでのプロトコルのパケットサイズ単位の内に、後段のＦＥＣ処理を行った後の情報ブロックが収まる大きさ以下に、予めアプリケーションデータを分割する。図２の（１）にアプリケーションデータを、図２の（２）に分割データを示す。
【００３３】
次に、ＦＥＣ符号化手段１４により、分割された情報にＦＥＣエンコード処理を行うが、このＦＥＣの方法の選択においては、通常のＦＥＣ方法の検討でのデー夕損失の規模と特性に対する考慮に加えて、前述の分割によりパケット損失によるデータ損失がこの分割単位ごとに発生するという特性を利用することで、ＥＦＣ処理負荷や、処理遅延を低減することができる。そして、ＦＥＣ処理を施したデータは、そのままデータ単位ごとに多層プロトコル送信手段１５へ引き渡し、多層プロトコル送信手段１５はこれを結合することなく、パケット送信処理を行うよう構成される。
図２の（３）に、ＦＥＣ符号化処理により冗長ブロックＰが付加された「ＦＥＣ符号化データ」を示す。また、図２の（４）に示すｎ層通信パケット、（５）に示すｎ−１層通信パケットは、（３）に示す「ＦＥＣ符号化データ」に、それぞれのレイヤ層におけるヘッダ情報などが付加された通信パケットを示している。
【００３４】
パケット通信手段（通信ネットワーク）１においては、この情報にパケット損失が起き、情報欠損が生ずるが、この欠損は、最終的には上位レイヤから見たときに予め分割した分割データ単位で欠損することになる。
【００３５】
このような伝送を経由し、受信装置２０へ到着したパケットは、多層プロトコル受信手段２１によりパケット受信処理が行われる。さらにＦＥＣ復号化手段２２により、欠落分割データの復元を行うが、前述の通り、分割の効果で小さな演算負荷でかつ低遅延で処理が行える。復元されたデータは、データ結合手段２３及び後処理手段２４により元のアプリケーションデータヘと復元させることができる。
【００３６】
図２に示す例においては、（７）は、パケット損失の生じた「ＦＥＣ符号データ」を示しており、ＦＥＣ復号化処理により、（８）に示す「復旧分割データ」が得られる。そして、「復旧分割データ」を結合して、（９）に示すアプリケーションデータが復元される。
【００３７】
本発明では、上述したように、アプリケーションデータに対して、ＦＥＣエンコード処理を行う前に、利用する通信手段（通信ネットワーク）１におけるパケット長を意識した分割を行うものである。この処理により、パケット損失から波及するデータ損失を最小限に押さえるとともに、データ損失がこの分割単位ごとに発生する特性により、欠落情報の位置と長さを予め予測できることを利用し、ＦＥＣ処理の効率化がはかれる。つまりは、一定のエラー訂正能力をより軽いＦＥＣ処理で行えるものである。あるいは、同等の演算能力が必要なＦＥＣ処理で、より高いエラー訂正能力を与えることができるものである。
【００３８】
また、図３は、本発明のリアルタイム情報の伝達システムの第２の手段の構成例を示す図である。図１に示す例では、通信手段（通信ネットワーク）１のネットワーク構成情報が予め分かっており、それに対応してデータ分割を行う例であるが、図３に示す例は、ネットワーク構成の情報がない場合のシステム構成例を示すものである。
【００３９】
図３において、送信装置１０内の最大伝達単位確認手段１６は、パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出するための手段であり、エラー区間検出手段１７は、データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信装置２０側から取得し、その特性より実際のパケット損失が発生する個所のそのプロトコル層、あるいは付随する付加データなどの構造に基づく最大伝達単位を判断するための手段である。また、分割サイズ自動設定手段１８は、データ分割の大きさを、パケット損失が発生する個所のそのプロトコル層あるいは、付随する付加データの情報を基に、その最大伝達単位で伝送できるデータ長に収まる規模に自動的に変更するための手段である。
【００４０】
また、受信装置２０内のパケット損失測定結果通知手段２６は、受信したパケットのデータ分割サイズとパケット損失の頻度との相関特性を測定し、該測定データを送信装置１０に通知するための手段である。
【００４１】
なお、他の符号のものは図１に示す場合と同様であり、また、図３に示すシステムの詳細な動作については、後述する具体的な適用例の項で説明する。
【００４２】
以上、本発明のリアルタイム情報の伝達システムの手段（機能）の構成例について説明したが、次に、本発明のリアルタイム情報の伝達システムの具体的な適用例（実装例）について説明する。
【００４３】
［第１の適用例（ＲＴＰ／ＵＤＰ／ＩＰ／イーサネット（登録商標）への適用例）］
最も単純でかつ代表的な例として、ＲＴＰ／ＵＤＰ／ＩＰ／Ｅｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））を使った情報転送について説明する。図４に示すような、Ｅｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））ベースとした、ＩＰネットワークで、ＲＴＰプロトコルを用いた伝送を行う場合の例を示す。図４に示す例は、送信装置１０から送信されるパケットが、スイッチングハブ（ＨＵＢ）３１、ルータ３２、ルータ３３、スイッチングハブ（ＨＵＢ）３４を経由して、受信装置２０で受信される例であり、ルータ３３で輻輳によるパケット損失が生じる場合の例である。
【００４４】
まず、データ分割の方法を検討するにあたり、以下のパラメータを考慮する必要がある。

Figure 0003934073
【００４５】
例えば、上記ネットワークのうち、ルータでのエラーあるいは輻輳によるＩＰパケット損失のみ、データ伝達上の問題になっているのであれば、その部分に対してのみ訂正機能を実装することが合理的である。ルータはレイヤ３（ＩＰ層）での処理を行っているため、上記の要素のうちレイヤ３（ＩＰ層）にのみ注目し、ＩＰパケットを構成した際に、データが６５５３５オクテット以下になるように、アプリケーションデータを分割すれば良いこととなる。
【００４６】
つまりは、アプリケーションデータが受ける、ＦＣＳ処理で必要な冗長フラグ１オクテット、プロトコルスタック処理で必要となる、ＲＴＰヘッダ（１２オクテット）、ＵＤＰヘッダ（８オクテット）、ＩＰヘッダ（２０オクテット）を減すると、分割データ長は６５４９４オクテット以下にする必要がある。
【００４７】
なお、分割のサイズはエラー訂正が有効に効く範囲で、できるだけ大きなサイズとすることが望ましい。必要以上の分割を施してしまうと、パケットに占めるヘッダ情報などの増加あるいはルータでの処理能力の浪費することになり、ネットワーク側への負荷増大と輻輳を招き、逆にパケット損失そのものを増やす結果となる。
【００４８】
分割されたデータに対して、ＦＥＣ処理を行うことになるが、例えば、ＦＥＣの最も簡単な手法として、データブロックを縦方向にパリティ演算し、欠落した情報を復元する手法がある。図５に示すように、分割ブロック（１〜ｎ）を複数まとめてグループとして、縦方向にパリティ演算し、冗長データとしてパリティブロック（Ｐ）を生成し、これに送るデータがアプリケーションデータなのか、パリティなのかを識別する冗長フラグ（Ｆ（＝０）または、Ｔ（＝１））を付与し、その後、通信のプロトコルスタック処理を行い送信する。
【００４９】
上記の構成による動作の例を、図６及び図７に示す。この場合、図６の（１）に示すアプリケーションデータは、６５４９４オクテットを単位として、（２）に示す分割ブロックに分割される。また、（２）に示す分割ブロックを複数集めてグループ化し、縦方向にバリティ演算を行い、冗長パリティブロックＰを生成し、さらに当該ブロックがデータなのか、パリティなのかを識別する冗長フラグａ（１オクテット）を付与し、（３）に示すＦＥＣ符号データブロックを生成する。この時点でブロックサイズは６５４９５オクテットとなる。
【００５０】
（３）に示すブロックは分割したまま、ＲＴＰ、ＵＤＰ、ＩＰの通信プロトコルのためのパケタイズ処理が行われ、ＲＴＰ層のヘッダｂ（１２オクテット）、ＵＤＰ層でのヘッダｃ（８オクテット）、ＩＰ層のヘッダｄ（２０オクテット）が付加され、（６）に示すＩＰパケットになった場合は、その総パケット長は６５５３５のＩＰパケットの規定最大サイズとなる。このＩＰパケットが、Ｅｔｈｅｒｎｃｔ（イーサネット（登録商標））に流される際、そのＭＴＵの制限によりフラグメント処理がなされ、１５１８オクテットのサイズを持った、（７）に示すＥｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））フレームとして伝送される。
【００５１】
なお、この例では、ネットワークでのパケット廃棄はルータのみで発生しているとしているため、図７の（８）に示すレイヤ２（Ｍａｃ層）でのパケット損失は発生せず、Ｅｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））フレーム単位で破棄が起こることがない。ルータでは、図７の（９）に示すレイヤ３（ＩＰ層）でのルーティング処理を行うため、Ｅｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））フレームが集積され、ＩＰパケットが復元される。その場合、当該ルータで輻輳が発生し処理能力を超えていたり、到着したＩＰパケットに不完全性があると、そのパケットが廃棄される（（９）に示すＩＰ層のパケットの×印の部分にパケット損失が発生したとする）。
【００５２】
この様なネットワークを経由して、受信装置に到着した（１１）に示すＩＰパケットには、パケットの欠落や順序の入れ替わりなどが存在している。ただし、本例で前提としているプロトコルスタックにおいては、ＲＴＰプロトコルによりネットワーク上のパケット損失を検出でき、また、パケットの入れ替わりはＲＴＰの処理により、修正されアプリケーションに引き渡される。つまりは、ＦＥＣ処理としては、冗長符号を利用し、抜けたパケット分のブロックデータの復元のみを行えば良い。
【００５３】
ＩＰ／ＵＤＰ終端処理とともに、ＲＴＰ終端処理により、パケット順序整列ならびにパケット損失検出がなされた、（１２）に示すＦＥＣ符号データブロックは、送信側で分割したデータブロックを単位として、データ欠落が生じているため、その冗長パリティブロックＰから、欠落したブロックを復元再生することができる。ＦＥＣ復号と併せて、冗長フラグを削除し、もとの（１３）に示す分割データブロックを生成する。これを結合することで、もとの（１４）に示すアプリケーションデータ（リアルタイム情報）を復元することができる。
【００５４】
以上の処理によるとランダムエラーのみの訂正となるが、グループごとに１ブロックの復旧をパリティという極めて軽い演算のみで実現することができる。
【００５５】
（補足説明）
通常、単純なパリティ演算では、データのエラー検出のみが可能で訂正はできない。これに対し、上記の分割を行った場合には、下位レイヤでの符号誤りなどのエラーは各レイヤＦＣＳなどのパケット破棄処理で、誤りは欠落に変換される。結果的に、引き渡されるデー夕伝送には、バースト的欠落はあるが誤りが無いこと、またそのバースト的欠落の位置と長さ固定的である特性を利用し、簡易な分割データ番号の付与と、パリティ演算という極めて簡易な手法により、有効なエラー訂正能力を持たせることができるこの簡易な手法により、処理負荷の低減とともに、総合的に伝送上の低遅延を達成できる。
【００５６】
［第２の具体的な適用例（複合的プロトコルスタック処理を伴うネットワークヘの適用例）］
最近の通信ネットワークは、必要とするサービス機能の要求を満たすため、単純なプロトコルスタックではなく、トンネル化、カプセル化などと呼ばれる手法により、複合的なプロトコルスタックを構成することがある。プロトコル自体が複合化されないまでも、補助的な情報をヘッダに追加する場合がある。これらの具体的な例としては、ＭＰＬＳ、ＩＰ−ＳＥＣ、ＰＰＰｏＥ、ＰＰＰｏＡなどがある。
【００５７】
当該部分で、エラーやパケット損失生じる場合、前述の通常プロトコルに加えて、ヘッダ等、オーバヘッド増加の影響による伝達単位の短縮を意識した分割、ＦＥＣ処理が必要となる。
【００５８】
例えば、図８示す様な、経路ネットワーク上に１段のみのＭＰＬＳのネットワーク区間７１が存在し、その部分でのエラーやパケット損失がある場合には、Ｅｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））のＭＴＵサイズ１５００オクテットから、ＭＰＬＳ−ｓｈｉｍヘッダ分ビット（４オクテット）を減じた値を考慮した分割を行う必要がある。
【００５９】
前述したＦＥＣ方法と同じ方法を用いる場合には、図９に示すように、アプリケーションデータが受ける、ＦＣＳ処理で必要な冗長フラグａ（１オクテット）、プロトコルスタック処理で必要となる、ＲＴＰヘッダｂ（１２オクテット）、ＵＤＰヘッダｃ（８オクテット）、ＩＰヘッダｄ（２０オクテット）に加えて今回のＭＰＬＳ−ｓｈｉｍヘッダｅの分（４オクテット）を、ＭＴＵ１５００オクテットから減ずると、１４５５オクテットで分割し、ＦＥＣ処理を行うことになる。その場合のネットワーク上のパケット構造は、図９の（７）で示すようになる。
【００６０】
［第３の適用例（ネットワーク構造が明示されない場合）］
また、通信業者提供のネットワークサービスを利用する場合には、ネットワーク構造が 明示されない場合がある。その場合にも、限定的な情報から分割と、ＦＥＣの方法を決定することもできる。
【００６１】
例えば、図１０に示す、ＮＴＴグループが提供しているＢフレッツ（登録商標）と呼ばれるサービスは、ＰＰＰｏＥ（Point to Point Protocol over Ｅｔｈｅｒｎｅｔ（登録商標））のプロトコルを用い、Ｅｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））をベースにした「地域ＩＰ網」によりサービスが行われるベストエフォート公衆網であるため、実際にレイヤ２（Ｍａｃ層）でのパケット損失が発生する。前述の考え方であれば、Ｅｔｈｅｒｎｅｔ（登録商標）（イーサネット（登録商標））のデータリンクにおける伝達単位ＭＴＵサイズ（１５００オクテット）を意識し、分割を考慮すれば良いことになる。しかし、Ｂフレッツ（登録商標）ではＰＰＰｏＥを用いて伝送を行っており、ＰＰＰｏＥの制限として提供可能なＭＴＵサイズ（１４９２オクテット）を意識する必要がある。さらに、Ｂフレッツ（登録商標）では「提供ＭＴＵサイズは１４５４オクテット」と規定されており、これはネットワーク上の何処かで伝送単位が１４５４オクテットまでに制限される可能性があることを示しており、有効なエラー訂正のためには最終的にはパケットサイズがこれらのうち最も小さい値以下に収まるように、事前分割、ＦＥＣ処理をする必要がある。
【００６２】
前述したＦＥＣ方法と同じ方法を用いる場合には、図１１に示すように、アプリケーションデータが受ける、ＦＣＳ処理で必要な冗長フラグａ（１オクテット）、プロトコルスタック処理で必要となる、ＲＴＰヘッダｂ（１２オクテット）、ＵＤＰヘッダｃ（８オクテット）、ＩＰヘッダｄ（２０オクテット）を、ＭＴＵサイズ（１４５４オクテット）から減ずると、図１１の（１）に示すように、１４１３オクテットで分割し、ＦＥＣ処理を行うことになる。その場合のネットワーク上のパケット構造は、図１１の（８）に示すようになる。
【００６３】
以上の例は、レイヤ２（Ｍａｃ層）でのパケット損失について、ＭＴＵに対して考慮する例を示したが、レイヤ３（ＩＰプロトコル）によるトンネリングなどを行っている区間で、エラーパケット損失が発生する場合においては、レイヤ３（ＩＰ層）でのパケットサイズ制限に対する同様の考慮が必要となる。
【００６４】
また、実際に、Ｂフレッツ(登録商標)を利用し、今回の手法を用いて行ったエラー訂正能力の性能測定した結果を、図１２に示す。これは、アプリケーションデータを上記１４１３オクテット以下で分割し分割データブロックを生成した後、ＦＥＣ符号化として、１２ブロックをグループとして１つの冗長ブロックを縦方向の単純パリティで付与した後に伝送を行ったものである。データは３日間に渡り３時間ごとのパケット損失の総数、うち訂正できなかったパケット数を示しており、各時間のパケット損失の復旧率を計算している。
【００６５】
１２ブロックのデータに単純な縦方向パリティによる冗長１ブロックという、冗長度８．５％という極めて、簡単なＦＥＣ処理でありながら、パケット損失に対しては全損失パケットの９８．５％を回復できている。また、特筆すべきことに２日目０時からのネットワークが極めて輻輳していると思われる場合においても、その復旧率は悪化していない。
【００６６】
結果的にこの検証では、平常時に平均３３７秒（５．６分）に１回出ていた映像の乱れが、平均６２１００秒（１７時間）に１回に低減できている。また、２日目０時〜３時の輻輳と思われる時間帯に平均３．８秒に１回出ていた映像の乱れが、平均１９６秒（３．３分）に１回に低減でき、高い効果を得ていることがわかる。
【００６７】
「第４の適用例（ネットワーク構成の情報が全くない場合の、エラー区間の自動検出と分割自動設定の例）］
また、ネットワークの内部構造が全く解らない場合には、設計上この分割サイズを決定することができない。しかし、本発明によれば、この場合には以下のような方法により、最適な分割単位を決めることができる。
【００６８】
全く構造が解らないネットワークでレイヤ２（Ｍａｃ層）でのパケット損失が起きている例として、図１３を示す。このような、ＭＴＵの異なるネットワーク１２１乃至１２４が連鎖的に繋がって、そのうちＭＴＵ＝１５００オクテットの部分（符号１２３で示す部分）のレイヤ２（Ｍａｃ層）で輻輳によるパケット損失が発生しているとする。なお、実際には、このようなネットワークの構造は外部（送信装置１０及び受信装置２０）から見えないものとする。
【００６９】
まず、このネットワークにおけるデータが通過するパスの中で、最小のＭＴＵ（＝PathＭＴＵ／ＰＭＴＵという）サイズを既知の方法で検出することができる。（ＩＥＴＦ ＲＦＣ１１９１：ＩＰネットワークパスでのＩＰデータグラムの最大伝送長（ＰＭＴＵ）の取得方法（旧：ＲＦＣ１０６３）＝Path MTU Discovery＝ＰＭＴＵＤ）
【００７０】
ＰＭＴＵは、プロトコルのレイヤ２（Ｍａｃ層）における当該情報が伝達される経路上で最小になる情報伝送単位を示している。この連鎖するネットワークを通過するうち、伝送データはパケット的には、このＰＭＴＵ以上に細かくフラグメント化されることはないため、エラー訂正の観点でいえば、これに適合する大きさにデータを分割、ＦＥＣ処理を行い、伝送すれば有効な効力を発揮する。
【００７１】
しかし、実際にパケット損失がＰＭＴＵの要因となっている部分以外で生じている場合、このＰＭＴＵに合わせた分割は過剰な分割を行っていることとなり、分割によって生じる各レイヤのヘッダなど伝送情報オーバヘッドの増加や、総パケット数の増加を引き起こし、通過するネットワーク自体に不用な負荷をかけることとなる。またそのため、それ自身がパケット損失の要因となる可能性もある。つまりは、分割にあたっては、有効なエラー訂正効果を確保しながら、分割サイズは、できるだけ大きく採ることが求められる。
【００７２】
そこで、分割サイズの初期値を、上記ＰＭＴＵサイズとして、その大きさを変化させることで、最適な分割サイズを求める方法について述べる。
【００７３】
このネットワークにおけるＰＭＴＵは５７６オクテット（符号１２２で示すネットワーク）であり、ＰＭＴＵＤを実行した場合にも、その値が返されるとし、それに対して、実際のパケット損失が発生しているネットワーク（符号１２３で示すネットワーク）のＭＴＵは１５００オクテットであり、そのパケット損失率はｎ％とする。
【００７４】
このときパケット損失特性には、通常２つのモードが考えられる。
１つめは、パケット数に比例する形でパケット損失が生じるもの、つまりは、パケット損失率が一定の場合である。リンクを構成する媒体・デバイスの雑音的エラー、あるいはルータ、スイッチなどノードのパケット処理能力の不足、また、輻輳に起因する場合には、送ろうとするデータ量に比べて、極めて大きく十分な設計帯域幅を持っているネットワークが、多数のユーザで共用され、統計多重的に伝送帯城が不足している場合などはこれに相当する。
【００７５】
２つめは、伝送データ量に比例する形でパケット損失が増えるもの、時間あたりパケット数を変えてもパケット損失数は変わらず、これとは別に、送信するデータ総量を増やすとパケット損失が増える場合である。これは、ルータ、スイッチなどノードのデータバッファ量不足などや、また、輻輳などに起因する場合には、送ろうとするデータ量に比べて元々、それほど大きくなく、十分でない設計帯域幅で、自らのデータ伝送により、その自らスループットを圧迫している場合、あるいは、他のユーザに一定量の帯域を常に占有されてしまい、結果的に実効帯域不足になっている場合などがある。
【００７６】
第１の場合、分割サイズを変化させることによって、図１４に示すようなパケット損失率の変化が生じる
（１）ＰＭＴＵ（ここでは５７６オクテット）からパケット損失が発生しているＭＴＵ（ここでは１５００オクテット）までの間分割サイズを大きくしても、時間あたりの総パケット数、損失は増えるが、パケット損失率は変化しない。また、データについても破棄される情報のバースト性は高まるものの、全データに対する破棄データの比率は変化がない。
（２）さらに分割長を長くしていき、それがパケット損失を生じている部分のプロトコルの伝送単位に到達（ここでは１５００オクテット）すると、その部分でのフラグメントおよび再構築処理により、当該部分ではパケット総数が２倍になり、また、フラグメント化されたパケットは２つが両方そろって始めて上位レイヤに渡されるため、上位レイヤでのパケット損失率は２倍になる。なお、データの破棄比率も２倍になる。
（３）さらに、パケット長を伸ばした（ここでは１５００から３０００オクテット）場合、時間あたりのパケット総数は減るが、破棄率は変わらない。
（４）損失しているプロトコルの伝送単位の２倍（ここでは３０００オクテット）に到達した場合、（２）と同じ現象によりパケット損失率は３倍になる。以降、伝送単位の４倍、５倍に分割サイズが届くことに、パケット損失は５倍６倍と増えて行く。
【００７７】
次に第２の場合を検討する。この場合、分割サイズを変化させることによって、図１５に示すようなパケット損失率の変化が生じる。
（１）ＰＭＴＵ（ここでは５７６オクテット）からパケット損失が発生しているＭＴＵ（ここでは１５００オクテット）までの間で分割サイズを大きくすると、パケットヘッダなどプロトコルオーバヘッド情報がデータ情報に対して相対的に小さくなり、総データ量が若干低下しこれに併せてパケット損失率も低下し、当該区間のパケット損失率ｎ％に近づく。
（補足説明： 例えば、オーバーヘッドとして、伝送すべきアプリケーションデータが６．００Ｍｂｐｓの速度を持ち、ＩＰ・ＵＤＰ・ＲＴＰヘッダ合計４０オクテットとすると、ネットワーク上へ出力する伝送速度は、ＰＭＴＵ＝５７６オクテットを考慮し細かく分割を行った場合６．４５Ｍｂｐｓ、パケット損失発生区間のＭＴＵ＝１５００オクテットを考慮し、大きく分割した場合は６．１６Ｍｂｐｓとなり、所要帯域が大きく異なる。当該ネットワークの場合、この伝送速度により、パケット損失率が変化することとなる。）
（２）さらに分割長を長くしていき、それがパケット損失を生じている部分のプロトコルの伝送単位に到達（ここではＭＴＵ＝１５００オクテット）すると、その部分でのフラグメントおよび再構築処理により、当該部分ではパケット総数が２倍になり、そのパケットに与えられるパケットヘッダなどオーバヘッドの増加で、パケット損失が若干増大する。
（３）さらに、分割サイズを大きくすると、（１）と同じ現象が発生し、パケット損失率も低下していく。分割サイズがＭＴＵの倍に近づくにつれ、パケット損失発生区間のパケット損失率ｎ％に近づく。
（４）分割サイズが伝送単位の２倍に到達（ここでは３０００オクテット）すると、（２）と同じく、パケット総数が３倍になり、そのパケットに与えられるパケットヘッダなどオーバヘッドの増加で、パケット損失が若干増大する。このときの増加は相対的データ増加の比率に相当するため、（２）の時の現象に比べて３分の２程度になる。
【００７８】
以上の様な特性を考慮すると、分割データの順次大きくしていった場合に、パケット損失率が急激に増大することを観察することで、パケット損失が起こっている部分のプロトコルにおける情報転送単位を把握することができ、その値に分割データのサイズを設定することで、オーバヘッドの増加を低減しながら、有効なエラー訂正に効果的なデータ分割の最適サイズを与えることができる。
【００７９】
ただし、第２の場合は、利用するネットワークの設計帯域幅やノードの性能が基本的に不足しているわけであるから、この部分の強化を行うか、元々のアプリケーションに必要な伝送レートを下げるべきである。また、このような状況下では、この方法による分割の効果は薄いため、この方法を利用せず、オーバヘッド削減の意味からできるだけ大きな情報単位で伝送した方が良い場合もある。
【００８０】
なお、この例では、レイヤ２（Ｍａｃ層）におけるＭＴＵにのみ着目したが、ルータなどレイヤ３（ＩＰ層）でのパケット損失についても、同じ手法を用いることができ、その場合にもＰＭＴＵから順次大きなパケットに変更して行き、最終的にはレイヤ３（ＩＰ層）での情報伝達単位に落ち着くことになる。
【００８１】
また、この検出には、映像伝送に使っているデータの分割サイズを大きくしていく方法と、映像伝送に使っている情報とは別のダミーの情報により、検出する方法とがある。
【００８２】
なお、図１６に、上述した分割データを決定するための手順の概要を整理して示し、簡単に説明しておく。
最初に、送信装置１０は通信手段（通信ネットワーク）１における最小のＭＴＵを検出する（ステップＳ１）。次に、検出した最小のＭＴＵを初期値として（ステップＳ２）、アプリケーションデータ（リアルタイム情報）を分割する（ステップＳ３）。そして、分割データにＦＥＣ符号化処理を施し（ステップＳ４）、パケットを送信する（ステップＳ５）。受信装置２０は、パケットを受信し（ステップＳ６）、分割データ長とパケット損失率のデータを測定し（ステップＳ７）、測定結果を送信装置１０に通知する（ステップＳ８）。
【００８３】
送信装置１０では、受信装置２０から、分割データ長に対するパケット損失率の測定結果を受信し（ステップＳ９）、パケット損失率の急激な増大があったかどうかを判断する（ステップＳ１０）。パケット損失率の増大がない場合は、分割データ長を増加させて（ステップＳ１１）、ステップＳ３からの処理を繰り返す。
【００８４】
パケット損失率の急激な増大が確認された場合は、これを基に、パケット損失が生じている部分のプロトコルにおける情報転送単位を把握し、分割データ長のサイズを設定する（ステップＳ１２）。
【００８５】
以上、本発明の実施の形態について説明した、図１に示す送信装置１０内の各手段１１乃至１５、受信装置２０内の各手段２１乃至２５、図３に示す送信装置１０内の各手段１１乃至１８、及び受信装置２０内の各手段２１乃至２６は、専用のハードウエアにより実現されるものであってもよく、またメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、これらの手段の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００８６】
また、図１に示す送信装置１０内の各手段１１乃至１５、受信装置２０内の各手段２１乃至２５、図３に示す送信装置１０内の各手段１１乃至１８、及び受信装置２０内の各手段２１乃至２６の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、図１に示す送信装置１０内の各手段１１乃至１５、受信装置２０内の各手段２１乃至２５、図３に示す送信装置１０内の各手段１１乃至１８、及び受信装置２０内の各手段２１乃至２６に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８７】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８８】
以上、本発明の実施の形態について説明したが、本発明のリアルタイム情報の伝達システムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００８９】
【発明の効果】
本発明は上記課題を解決するためになされたものであり、本発明のリアルタイム情報の伝達システムにおいては、送信側は、パケット損失が発生するプロトコル層を想定し、伝達するパケットのデータ長が当該プロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割する。そして、分割したデータブロックにＦＥＣ符号化処理を施しネットワークに送信する。受信側は、ＦＥＣ復号化処理により、損失したパケットの復元を行い、分割データを結合し、元のリアルタイム情報のデータを復元する。
これにより、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９０】
また、本発明のリアルタイム情報の伝達システムにおいては、送信側は、パケット損失が発生する箇所のプロトコル層と、付随する付加データの情報を基に、当該プロトコル層の最大伝達単位で伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割する。そして、分割したデータブロックにＦＥＣ符号化処理を施しネットワークに送信する。また、受信側は、ＦＥＣ復号化処理により損失したパケットの復元を行い、分割データを結合し、元のリアルタイム情報のデータを復元する。
これにより、複合的プロトコルスタック処理を伴うネットワークの場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９１】
また、本発明のリアルタイム情報の伝達システムにおいては、送信側は、最初に、通過するネットワークのうち最も小さい最大伝達単位のネットワークを検出し、最も小さい最大伝達単位で伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割し、ＦＥＣ符号化処理を施しネットワークへ送信する。次に、データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果を受信側から取得し、その特性より実際のパケット損失が発生する個所のそのプロトコル層、あるいは付随する付加データなどの構造に基づく最大伝達単位を判断する。そして、データ分割の大きさを、パケット損失が発生する個所のプロトコル層の最大伝達単位で伝送できるデータ長に収まる規模に変更する。受信側は、損失したパケットの復元を行い、分割データを結合し、元のリアルタイム情報のデータを復元する。
これにより、ネットワーク構成の情報が全くない場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９２】
また、本発明のリアルタイム情報の送信装置においては、パケット損失が発生するプロトコル層を想定し、伝達するパケットのデータ長が当該プロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割する。そして、分割したデータブロックにＦＥＣ符号化処理を施しネットワークに送信する。
これにより、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９３】
また、本発明のリアルタイム情報の送信装置においては、パケット損失が発生する箇所のプロトコル層と、付随する付加データの情報を基に、当該プロトコル層の最大伝達単位で伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割する。そして、分割したデータブロックにＦＥＣ符号化処理を施しネットワークに送信する。
これにより、複合的プロトコルスタック処理を伴うネットワークの場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９４】
また、本発明のリアルタイム情報の送信装置においては、最初に、通過するネットワークのうち最も小さい最大伝達単位のネットワークを検出し、最も小さい最大伝達単位で伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割し、ＦＥＣ符号化処理を施しネットワークに送信する。次に、データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果を受信側から取得し、その特性より実際の当該パケット損失が発生する個所のそのプロトコル層、あるいは付随する付加データなどの構造に基づく最大伝達単位を判断する。そして、データ分割の大きさを、パケット損失が発生する個所のプロトコル層の最大伝達単位で伝送できるデータ長に収まる規模に変更する。
これにより、ネットワーク構成の情報が全くない場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９５】
また、本発明のリアルタイム情報の伝達方法においては、送信側は、パケット損失が発生するプロトコル層を想定し、伝達するパケットのデータ長が当該プロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割する。そして、分割したデータブロックにＦＥＣ符号化処理を施しネットワークに送信する。受信側は、ＦＥＣ復号化処理により、損失したパケットの復元を行い、分割データを結合し、元のリアルタイム情報のデータを復元する。
これにより、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９６】
また、本発明のリアルタイム情報の伝達方法においては、送信側は、パケット損失が発生する箇所のプロトコル層と、付随する付加データの情報を基に、当該プロトコル層の最大伝達単位で伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割する。そして、分割したデータブロックにＦＥＣ符号化処理を施しネットワークに送信する。また、受信側は、ＦＥＣ復号化処理により損失したパケットの復元を行い、分割データを結合し、元のリアルタイム情報のデータを復元する。
これにより、複合的プロトコルスタック処理を伴うネットワークの場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【００９７】
また、本発明のリアルタイム情報の伝達方法においては、送信側は、最初に、通過するネットワークのうち最も小さい最大伝達単位のネットワークを検出し、最も小さい最大伝達単位で伝送できるデータ長に収まる規模に、リアルタイム情報のデータを分割し、ＦＥＣ符号化処理を施しネットワークへ送信する。次に、データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果を受信側から取得し、その特性より実際のパケット損失が発生する個所のそのプロトコル層、あるいは付随する付加データなどの構造に基づく最大伝達単位を判断する。そして、データ分割の大きさを、パケット損失が発生する個所のプロトコル層の最大伝達単位で伝送できるデータ長に収まる規模に変更する。受信側は、損失したパケットの復元を行い、分割データを結合し、元のリアルタイム情報のデータを復元する。
これにより、ネットワーク構成の情報が全くない場合でも、パケット損失を起こしているプロトコルを考慮したデータ分割をすることができ、ＦＥＣ処理の効率化を計り、映像や音声などリアルタイム通信について伝達情報の保全性を向上させることができる。
【図面の簡単な説明】
【図１】 本発明のリアルタイム情報の伝達システムの手段の構成例を示す図である。
【図２】 本発明の作用を説明するための図である。
【図３】 本発明のリアルタイム情報の伝達システムの第２の手段の構成例を示す図である。
【図４】 ＲＴＰ／ＵＤＰ／ＩＰ／イーサネット（登録商標）への適用例を示す図である。
【図５】 ＦＥＣ符号化処理について説明するための図である。
【図６】 図４に示す適用例の動作を説明するための図その１である。
【図７】 図４に示す適用例の動作を説明するための図その２である。
【図８】 複合的プロトコルスタック処理を伴うネットワークヘの適用例を示す図である。
【図９】 図８に示す適用例におけるネットワーク上のパケット構造について説明するための図である。
【図１０】 ネットワーク構造が明示されない場合の適用例を示す図である。
【図１１】 図１０に示す適用例におけるネットワーク上のパケット構造について説明するための図である。
【図１２】 エラー訂正能力の測定結果の例を示す図である。
【図１３】 ネットワーク構成の情報が全くない場合の適用例を示す図である。
【図１４】 パケット損失率の変化を示す図その１である。
【図１５】 パケット損失率の変化を示す図その２である。
【図１６】 分割データを決定するための手順の概要を示す図である。
【符号の説明】
１ パケット通信手段（通信ネットワーク）
１０ 送信装置
１１ 入力手段
１２ 前処理手段
１３ データ分割手段
１４ ＦＥＣ符号化手段
１５ 多層プロトコル送信手段
１６ 最大伝達単位確認手段
１７ エラー区間検出手段
１８ 分割サイズ自動設定手段
２０ 受信装置
２１ 多層プロトコル受信手段
２２ ＦＥＣ復号化手段
２３ データ結合手段
２４ 後処理手段
２５ 出力手段
２６ パケット損失測定結果通知手段[0001]
BACKGROUND OF THE INVENTION
The present invention enables real-time information to be transmitted with high quality, low delay, and low cost when real-time communication such as video and audio is performed using high-speed packet communication having a multilayer protocol structure. The present invention relates to a transmission system, a real-time information transmission apparatus, a real-time information transmission method, and a program.
[0002]
[Prior art]
Conventional video transmission communication avoids complicated communication protocol stacks due to its large amount of transmission information and the need for low jitter, so that it can be adapted to communication media such as radio waves, coaxial cables or optical fibers as simply as possible. Techniques for performing signal conversion and transmission have been employed.
[0003]
By the way, in recent years, with the spread of the Internet, packet communication technology such as an IP network has greatly advanced, and high-speed, large-capacity and low-cost have been achieved. In addition, with the advancement of video signal processing, extremely efficient compression technology has been established. As for the amount of information and the communication speed, it is possible to transmit compressed video transmission in real time with the above packet communication, and cost Advantageous aspects have emerged, and in fact, it has begun to seek to realize high-quality video transmission by combining these.
[0004]
However, the network using the packet communication has its origin in communication between computers, lacks consideration for real-time transmission, and has low affinity with applications that require high real-time characteristics such as video. Methods for resolving these incompatibilities have been studied and proposed, but due to the complexity of the method and the size of the logical processing scale, the realization cost increases and the overall delay for transmission increases. It is inconvenient for application users, such as lack of system stability, and rational transmission of high-quality applications such as stable high-quality video and audio transmission through these packet communications. Was difficult.
[0005]
As described above, in the packet communication of the multi-layer protocol, the network protocol is hierarchized and configured by stacking a plurality of layers. Here, the upper layer close to the application does not consider the processing of the lower layer close to the physical medium. It is ideally implemented as a "lower layer abstraction" and has been done exclusively. In addition, for errors that occur in lower layers, the focus is on not passing abnormal data to higher layers, and it is designed to discard all suspicious packets that may contain errors, Even if the error that occurs in the lower layer is as small as 1 bit, the entire packet is discarded in the intermediate layer, the entire corresponding data block is discarded in the upper layer, and the amount of data loss increases as processing is passed to the upper layer. Had the characteristic of increasing.
[0006]
Further, when these packet communication networks are congested and transmission capability is insufficient, a process of intentionally discarding the packet itself is naturally performed. However, in the packet communication described above, bursty information loss such as packet loss frequently occurs.
[0007]
If the information loss associated with this is not dealt with in the upper layer, it will affect the application as it is. For example, in video transmission, disturbance such as noise occurs on the screen or a moving picture is temporarily displayed. This has caused a real harm in use such as stopping, and this has made real-time communication such as video by packet communication difficult.
[0008]
As the simplest example of the countermeasure, there is a method of retransmitting lost information from the transmission side again in response to an instruction from the reception side, which is frequently used for information transmission between computers, which is the original use of packet communication. However, when this is applied to real-time communication, there occurs a phenomenon in which data to be retransmitted reaches the receiving side significantly later than data for which no packet loss has occurred. In order to handle this, it is necessary to provide a large buffer on the receiving side from the normal time when no packet loss occurs, and as a result, the time delay required for transmission must be extremely large.
[0009]
As a solution method that does not use retransmission, there is forward error correction (FEC). This is a method of mathematically providing redundancy to the information transmitted from the transmission side, and when the information is lost due to packet loss in the middle network, the lost information is restored from the redundant data before and after that. . However, when this is applied to multi-layer packet communication, information loss due to packet loss is extremely time-intensive (burst property), and extremely large computing power is required to realize effective FEC processing. For example, the transmission delay due to the cost increase or the calculation time is increased (example: Reed-Solomon application example on an IP basis = the block length becomes extremely long).
[0010]
There is a method called interleaving to eliminate this time concentration. In this method, before or after the FEC processing, data to be transmitted is replaced by a time sequence, thereby converting burst loss into random loss dispersed in time. This method has been used in video information transmission such as satellite communications where re-transmission is not possible (see: CS Digital Broadcasting Technical Standards, Ministry of Posts and Telecommunications Telecommunications Technology Council).
[0011]
However, if this is applied to a packet with a large packet length and a corresponding burst error length, such as an IP network, and effective processing is performed, the reference time is extremely long because of replacement (called long interleaving). As a result, transmission delay is increased. In addition, it is necessary to implement a buffer for switching and its control function. In the case of large-capacity processing such as video information, these capacities and capacities become extremely large, increasing the mounting cost and system stability. This was the cause of the decrease (see, for example, Patent Document 1).
[0012]
[Patent Document 1]
JP 2000-78191 A
[0013]
[Problems to be solved by the invention]
The present invention has been made to solve the above-mentioned problems, and the present invention transmits high-quality, low-delay and low-cost application information such as video and audio in multi-layer packet communication. An object of the present invention is to provide a real-time information transmission system, a real-time information transmission apparatus, a real-time information transmission method, and a program that can secure user convenience.
[0014]
[Means for Solving the Problems]
The present invention has been made to solve the above problems, and the real-time information transmission system of the present invention performs real-time information transmission such as video and audio using packet communication having a multilayer protocol structure. Protocol layer where packet loss occurs on the sending side Information is preset The data length of the packet to be transmitted Set A data dividing means for dividing the data of the real-time information into a size that can be accommodated in a data length that can be transmitted with the maximum packet size of the protocol layer; and an FEC encoding means for performing an FEC encoding process on the divided data block; Transmitting means for transmitting the FEC-encoded data to the network, and the receiving side performs FEC decoding processing of the received packet and FEC decoding means for recovering the lost packet; And a data combining means for combining the divided data and restoring the original real-time information data.
This makes it possible to divide the data in consideration of the protocol causing the packet loss, improve the efficiency of the FEC processing, and improve the integrity of the transmission information for real-time communication such as video and audio.
[0015]
The real-time information transmission system according to the present invention is a real-time information transmission system that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure. Protocol layer where the error occurs Information When, Used for communication processing used at the location Additional data information When Based on the data length that can be transmitted in the maximum transmission unit of the protocol layer The calculated data length that can be transmitted A data dividing means for dividing the data of the real-time information, an FEC encoding means for performing an FEC encoding process on the divided data block, and the FEC encoded data on the network. Transmitting means for transmitting, and the receiving side performs FEC decoding processing of the received packet, and combines the divided data with the FEC decoding means for recovering the lost packet, And a data combining means for restoring real-time information data.
As a result, even in the case of a network with complex protocol stack processing, it is possible to divide data in consideration of the protocol causing the packet loss, improve the efficiency of FEC processing, and transmit information about real-time communication such as video and audio. Maintainability can be improved.
[0016]
The real-time information transmission system according to the present invention is a real-time information transmission system that performs transmission of real-time information such as video and audio using packet communication having a multi-layer protocol structure. The maximum transmission unit confirmation means for detecting the network of the smallest maximum transmission unit among the passing networks, and the data length that can be transmitted in the smallest maximum transmission unit as an initial value, Said The data of the real-time information is divided into a size that can be accommodated in the initial value, and the data dividing means that allows the size of the division to be freely changed, and FEC encoding that performs FEC encoding processing on the divided data block The processing unit and the data division size are changed for transmission, and information on the measurement result of the correlation characteristic between the division size and the packet loss frequency is obtained from the receiving side, and actual packet loss occurs due to the characteristic. Point Its protocol layer, or Used for communication processing used at the location Packet loss occurs due to error interval detection means that determines the maximum transmission unit based on the structure of additional data and the size of data division Point Its protocol layer, or Used for communication processing used at the location A division size automatic setting means for changing the data size to a size that can be transmitted in the maximum transmission unit based on the information of the additional data, and performing a FEC decoding process on the received packet on the receiving side and a loss FEC decoding means for reconstructing the received packet, data combining means for reconstructing the original real-time information data by combining the divided data, and measuring the correlation characteristics between the division size and the frequency of packet loss And packet loss measurement result notification means for notifying the transmission side of the measurement data.
As a result, even when there is no network configuration information, data can be divided in consideration of the protocol causing the packet loss, FEC processing efficiency is improved, and transmission information is preserved for real-time communication such as video and audio. Can be improved.
[0017]
The real-time information transmitting apparatus according to the present invention is a real-time information transmitting apparatus for transmitting real-time information such as video and audio using packet communication having a multi-layer protocol structure, and a protocol layer in which packet loss occurs. Information is preset The data length of the packet to be transmitted Set A data dividing means for dividing the data of the real-time information into a size that can be accommodated in a data length that can be transmitted with the maximum packet size of the protocol layer; and an FEC encoding means for performing an FEC encoding process on the divided data block; Transmission means for transmitting the FEC-encoded data to a network.
This makes it possible to divide the data in consideration of the protocol causing the packet loss, improve the efficiency of the FEC processing, and improve the integrity of the transmission information for real-time communication such as video and audio.
[0018]
The real-time information transmitting apparatus according to the present invention is a real-time information transmitting apparatus that performs transmission of real-time information such as video and audio by using packet communication having a multilayer protocol structure. Protocol layer Information When, Used for communication processing used at the location Additional data information When Based on the data length that can be transmitted in the maximum transmission unit of the protocol layer The calculated data length that can be transmitted A data dividing means for dividing the real-time information data, an FEC coding processing means for performing an FEC coding process on the divided data block, and the FEC coded data in a network And a transmission means for transmitting to.
As a result, even in the case of a network with complex protocol stack processing, it is possible to divide data in consideration of the protocol causing the packet loss, improve the efficiency of FEC processing, and transmit information about real-time communication such as video and audio. Maintainability can be improved.
[0019]
The real-time information transmitting apparatus according to the present invention is a real-time information transmitting apparatus that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure. Maximum transmission unit confirmation means for detecting the network of the smallest maximum transmission unit, and the data length that can be transmitted in the smallest maximum transmission unit as an initial value, Said The data of the real-time information is divided into a size that can be accommodated in the initial value, and the data dividing means that allows the size of the division to be freely changed, and FEC encoding that performs FEC encoding processing on the divided data block The processing unit and the data division size are changed for transmission, and information on the measurement result of the correlation characteristic between the division size and the packet loss frequency is obtained from the receiving side, and actual packet loss occurs due to the characteristic. Point Its protocol layer, or Used for communication processing used at the location Packet loss occurs due to error interval detection means that determines the maximum transmission unit based on the structure of additional data and the size of data division Point Its protocol layer, or Used for communication processing used at the location A division size automatic setting means for changing to a scale that fits within the data length that can be transmitted in the maximum transmission unit based on the information of the additional data is provided.
As a result, even when there is no network configuration information, data can be divided in consideration of the protocol causing the packet loss, FEC processing efficiency is improved, and transmission information is preserved for real-time communication such as video and audio. Can be improved.
[0020]
In addition, the real-time information transmission method of the present invention is a real-time information transmission method in which real-time information such as video and audio is transmitted using packet communication having a multilayer protocol structure. Generated protocol layer Information is preset The data length of the packet to be transmitted Set A data division procedure for dividing the data of the real-time information into a data size that can be transmitted with the maximum packet size of the protocol layer, and an FEC encoding procedure for performing FEC encoding processing on the divided data block; A transmission procedure for transmitting the FEC-encoded data to the network, and an FEC decoding procedure for performing an FEC decoding process on the received packet and restoring a lost packet by the receiving side; A data combining procedure for combining the divided data and restoring the original real-time information data is performed.
This makes it possible to divide the data in consideration of the protocol causing the packet loss, improve the efficiency of the FEC processing, and improve the integrity of the transmission information for real-time communication such as video and audio.
[0021]
In addition, the real-time information transmission method of the present invention is a real-time information transmission method in which real-time information such as video and audio is transmitted using packet communication having a multilayer protocol structure. Protocol layer where it occurs Information When, Used for communication processing used at the location Additional data information When Based on the data length that can be transmitted in the maximum transmission unit of the protocol layer The calculated data length that can be transmitted A data dividing procedure for dividing the data of the real-time information, an FEC encoding procedure for performing an FEC encoding process on the divided data block, and the FEC encoded data on the network A transmission procedure for transmission is performed, and the FEC decoding process for the received packet is performed by the reception side, and the FEC decoding procedure for restoring the lost packet is combined with the divided data, A data combining procedure for restoring data of real-time information is performed.
As a result, even in the case of a network with complex protocol stack processing, it is possible to divide data in consideration of the protocol causing the packet loss, improve the efficiency of FEC processing, and transmit information about real-time communication such as video and audio. Maintainability can be improved.
[0022]
In addition, the real-time information transmission method of the present invention is a real-time information transmission method in which real-time information such as video and audio is transmitted using packet communication having a multi-layer protocol structure. A maximum transmission unit confirmation procedure for detecting a network having the smallest maximum transmission unit among the networks to be transmitted, and a data length that can be transmitted in the smallest maximum transmission unit as an initial value, Said A data division procedure for dividing the data of the real-time information into a size that fits the initial value and allowing the size of the division to be freely changed, and FEC coding for performing FEC coding processing on the divided data block Transmission is performed by changing the processing procedure and the data division size, and information on the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and actual packet loss occurs due to the characteristic. Point Its protocol layer, or Used for communication processing used at the location Packet loss occurs in the error interval detection procedure that determines the maximum transmission unit based on the structure of additional data and the size of the data division Point Its protocol layer, or Used for communication processing used at the location Based on the information of the additional data, a division size automatic setting procedure for changing the data size to fit within the maximum transmission unit is performed, and the receiving side performs FEC decoding processing of the received packet and performs loss. The correlation characteristics between the FEC decoding procedure for restoring the recovered packet, the data combining procedure for combining the divided data and restoring the original real-time information data, and the division size and the frequency of packet loss. A packet loss measurement result notification procedure for notifying the transmission side of the measurement data is performed.
As a result, even when there is no network configuration information, data can be divided in consideration of the protocol causing the packet loss, FEC processing efficiency is improved, and transmission information is preserved for real-time communication such as video and audio. Can be improved.
[0023]
Further, the computer program of the present invention is a protocol layer in which packet loss occurs in a computer in a real-time information transmission apparatus that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure. Information is preset The data length of the packet to be transmitted Set A data division procedure for dividing the data of the real-time information into a data size that can be transmitted with the maximum packet size of the protocol layer, and an FEC encoding procedure for performing FEC encoding processing on the divided data block; And a transmission procedure for transmitting the FEC-encoded data to a network.
[0024]
Further, the computer program of the present invention provides a protocol layer at a location where packet loss occurs in a computer in a real-time information transmission apparatus that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure. Information When, Used for communication processing used at the location Additional data information When Based on the data length that can be transmitted in the maximum transmission unit of the protocol layer The calculated data length that can be transmitted A data dividing procedure for dividing the data of the real-time information, a FEC encoding processing procedure for performing FEC encoding processing on the divided data blocks, and the FEC encoded processing data in a network This is a program for executing a transmission procedure to be transmitted to.
[0025]
Further, the computer program of the present invention is the most in the network through which a packet passes to a computer in a real-time information transmission apparatus that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure. The maximum transmission unit confirmation procedure for detecting a network with a small maximum transmission unit, and the data length that can be transmitted with the smallest maximum transmission unit as an initial value, Said A data division procedure for dividing the data of the real-time information into a size that fits the initial value and allowing the size of the division to be freely changed, and FEC coding for performing FEC coding processing on the divided data block Transmission is performed by changing the processing procedure and the data division size, and information on the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and actual packet loss occurs due to the characteristic. Point Its protocol layer, or Used for communication processing used at the location Packet loss occurs in the error interval detection procedure that determines the maximum transmission unit based on the structure of additional data and the size of the data division Point Its protocol layer, or Used for communication processing used at the location This is a program for executing a division size automatic setting procedure for changing to a scale that fits the data length that can be transmitted in the maximum transmission unit based on the information of the additional data.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0027]
FIG. 1 is a diagram showing a configuration example of basic means of a real-time information transmission system according to the present invention. As shown in FIG. 1, the transmission system for real-time information according to the present invention includes a transmission device 10, a reception device 20, and a multilayer protocol packet communication means (simply referred to as "communication") that establishes communication by packet processing having a multilayer protocol structure. (Also called “means”).
[0028]
Further, the transmission device 10 on the transmission side outputs the input means 11 for taking in a signal (real-time information) to be transmitted such as video and audio, the preprocessing means 12 for performing application processing such as video information compression, and the like. Data dividing means 13 for dividing the application data so as to be compatible with the subsequent multilayer protocol packet communication means 1, FEC encoding means 14 for calculating FEC codes for the divided divided data, and generated FEC Multi-layer protocol transmission means 15 is provided for performing coding according to the network protocol and transmitting the code.
[0029]
Further, the receiving device 20 includes a multilayer protocol receiving means 21 for extracting the FEC code sent on the original transmission side from the received information protocol, and FEC decoding for restoring the original data from the extracted FEC code. By combining only the decrypted data, the data combining means 23 for reproducing the original application data, post-processing means 24 for performing application processing such as video information decompression, and the transmitted information as signals Output means 25 for returning the output is provided.
[0030]
In the multi-layer packet communication with the system configuration as shown in FIG. 1, the present invention reduces loss information due to packet loss, realizes high efficiency of FEC processing capacity, and rationalizes applications with high real-time requirements. Is to be transmitted.
[0031]
Moreover, FIG. 2 is a figure for demonstrating the effect | action of this invention. Information output by application processing such as video information compression in the preprocessing means 12 usually has temporal continuity, and the data is unbroken. Some compression formats (for example, MPEG-TS) have a packet structure for accompanying data transmission or data synchronization establishment, but this is not important here.
[0032]
When this data is transmitted by packet communication of the multilayer protocol, the application data is divided by the data dividing means 13 so as to conform to the protocol specification of the network to be used before performing the communication protocol processing. Specifically, the packet communication unit to be used is not larger than the size of the information packet after the subsequent FEC processing is accommodated within the packet size unit of the protocol in the part of the network that causes packet loss. Divide application data. FIG. 2 (1) shows application data, and FIG. 2 (2) shows divided data.
[0033]
Next, FEC encoding processing is performed on the divided information by the FEC encoding means 14. In selecting this FEC method, in addition to the consideration of the scale and characteristics of the data loss in the examination of the normal FEC method. By utilizing the characteristic that data loss due to packet loss occurs for each division unit due to the above-described division, the EFC processing load and the processing delay can be reduced. The data subjected to the FEC processing is directly transferred to the multilayer protocol transmission means 15 for each data unit, and the multilayer protocol transmission means 15 is configured to perform packet transmission processing without combining them.
(3) of FIG. 2 shows “FEC encoded data” to which the redundant block P is added by the FEC encoding process. In addition, the n-layer communication packet shown in (4) of FIG. 2 and the n-1 layer communication packet shown in (5) include the header information in each layer layer in the “FEC encoded data” shown in (3). The added communication packet is shown.
[0034]
In the packet communication means (communication network) 1, packet loss occurs in this information and information loss occurs, but this loss is ultimately lost in divided data units divided in advance when viewed from the upper layer. become.
[0035]
Packets that have arrived at the receiving device 20 via such transmission are subjected to packet reception processing by the multilayer protocol receiving means 21. Further, the FEC decoding means 22 restores the missing divided data. As described above, the processing can be performed with a small calculation load and low delay due to the division effect. The restored data can be restored to the original application data by the data combining means 23 and the post-processing means 24.
[0036]
In the example illustrated in FIG. 2, (7) indicates “FEC code data” in which packet loss has occurred, and “restoration division data” illustrated in (8) is obtained by FEC decoding processing. Then, the “recovery divided data” is combined to restore the application data shown in (9).
[0037]
In the present invention, as described above, the application data is divided in consideration of the packet length in the communication means (communication network) 1 to be used before performing the FEC encoding process. This process minimizes data loss caused by packet loss, and uses the fact that the position and length of missing information can be predicted in advance based on the characteristics that data loss occurs for each division unit. Can be realized. That is, a certain error correction capability can be achieved by a lighter FEC process. Alternatively, higher error correction capability can be provided by FEC processing that requires equivalent calculation capability.
[0038]
FIG. 3 is a diagram showing a configuration example of the second means of the real-time information transmission system of the present invention. In the example shown in FIG. 1, the network configuration information of the communication means (communication network) 1 is known in advance, and data division is performed correspondingly, but the example shown in FIG. 3 has no network configuration information. An example of the system configuration in this case is shown.
[0039]
In FIG. 3, a maximum transmission unit confirmation unit 16 in the transmission apparatus 10 is a unit for detecting a network having the smallest maximum transmission unit among the networks through which a packet passes, and an error interval detection unit 17 is a data division unit. And the information of the measurement result of the correlation characteristic between the division size and the packet loss frequency is obtained from the receiving device 20 side, and the protocol layer where the actual packet loss occurs from the characteristic, Or it is a means for judging the maximum transmission unit based on structures, such as additional data attached. Further, the division size automatic setting means 18 keeps the size of the data division within the data length that can be transmitted in the maximum transmission unit based on the protocol layer where the packet loss occurs or the information of the accompanying additional data. It is a means for automatically changing the scale.
[0040]
The packet loss measurement result notifying means 26 in the receiving apparatus 20 is a means for measuring the correlation characteristic between the data division size of the received packet and the frequency of packet loss and notifying the transmitting apparatus 10 of the measured data. is there.
[0041]
The other reference numerals are the same as those shown in FIG. 1, and the detailed operation of the system shown in FIG. 3 will be described in the section of a specific application example to be described later.
[0042]
The configuration example of the means (function) of the real-time information transmission system of the present invention has been described above. Next, a specific application example (implementation example) of the real-time information transmission system of the present invention will be described.
[0043]
[First application example (application example to RTP / UDP / IP / Ethernet (registered trademark))]
As the simplest and typical example, information transfer using RTP / UDP / IP / Ethernet (registered trademark) (Ethernet (registered trademark)) will be described. An example in the case of performing transmission using the RTP protocol in an IP network based on Ethernet (registered trademark) as shown in FIG. The example illustrated in FIG. 4 is an example in which a packet transmitted from the transmission device 10 is received by the reception device 20 via the switching hub (HUB) 31, the router 32, the router 33, and the switching hub (HUB) 34. This is an example where packet loss due to congestion occurs in the router 33.
[0044]
First, the following parameters need to be taken into consideration when examining the data division method.
Figure 0003934073
[0045]
For example, in the above network, if only IP packet loss due to an error in the router or congestion is a problem in data transmission, it is reasonable to implement a correction function only for that portion. Since the router performs processing in layer 3 (IP layer), pay attention only to layer 3 (IP layer) among the above elements, and when configuring an IP packet, the data should be 65535 octets or less. The application data may be divided.
[0046]
That is, if the redundancy flag 1 octet necessary for FCS processing received by application data, the RTP header (12 octets), the UDP header (8 octets), and the IP header (20 octets) required for protocol stack processing are reduced, The divided data length needs to be 65494 octets or less.
[0047]
It should be noted that the size of the division is desirably as large as possible within a range where error correction is effective. If division is performed more than necessary, the header information in the packet will increase or the processing capacity of the router will be wasted, resulting in increased load and congestion on the network side, and conversely increasing the packet loss itself. It becomes.
[0048]
FEC processing is performed on the divided data. For example, as the simplest technique of FEC, there is a technique of performing parity operation on a data block in the vertical direction and restoring missing information. As shown in FIG. 5, a plurality of divided blocks (1 to n) are grouped as a group, a parity operation is performed in the vertical direction, a parity block (P) is generated as redundant data, and whether data to be transmitted is application data, A redundancy flag (F (= 0) or T (= 1)) for identifying whether it is a parity is given, and thereafter, communication protocol stack processing is performed and transmitted.
[0049]
An example of the operation according to the above configuration is shown in FIGS. In this case, the application data shown in (1) of FIG. 6 is divided into divided blocks shown in (2) in units of 65494 octets. Also, a plurality of the divided blocks shown in (2) are collected and grouped, a parity operation is performed in the vertical direction, a redundant parity block P is generated, and a redundancy flag a (which identifies whether the block is data or parity) 1 octet) is assigned, and the FEC code data block shown in (3) is generated. At this point, the block size is 65495 octets.
[0050]
While the block shown in (3) is divided, packetization processing is performed for the RTP, UDP, and IP communication protocols, and the header b (12 octets) of the RTP layer, the header c (8 octets) of the UDP layer, and IP When the layer header d (20 octets) is added to the IP packet shown in (6), the total packet length becomes the specified maximum size of 65535 IP packets. When this IP packet is sent to Ethernet (Ethernet (registered trademark)), fragment processing is performed due to the restriction of the MTU, and the Ethernet (registered trademark) (Ethernet (registered trademark) shown in (7) has a size of 1518 octets. Trademark)) frame.
[0051]
In this example, since packet discarding in the network occurs only in the router, packet loss does not occur in layer 2 (Mac layer) shown in (8) of FIG. 7, and Ethernet (registered trademark) ) (Ethernet (registered trademark)) Discard does not occur in units of frames. In the router, since routing processing is performed in the layer 3 (IP layer) shown in (9) of FIG. 7, Ethernet (registered trademark) (Ethernet (registered trademark)) frames are integrated and IP packets are restored. In that case, if congestion occurs in the router and the processing capacity is exceeded, or if the arrived IP packet is incomplete, the packet is discarded (the portion marked with an X in the IP layer packet shown in (9)) Packet loss).
[0052]
The IP packet shown in (11) that has arrived at the receiving apparatus via such a network has a packet loss or a change of order. However, in the protocol stack assumed in this example, the packet loss on the network can be detected by the RTP protocol, and the replacement of the packet is corrected by the RTP process and delivered to the application. That is, as FEC processing, it is only necessary to use a redundant code and restore only the block data for the missing packets.
[0053]
The FEC code data block shown in (12), in which the packet order is aligned and the packet loss is detected by the RTP termination process together with the IP / UDP termination process, the data loss occurs in units of the data block divided on the transmission side. Therefore, the missing block can be restored and reproduced from the redundant parity block P. Along with the FEC decoding, the redundant flag is deleted, and the divided data block shown in the original (13) is generated. By combining these, the application data (real-time information) shown in the original (14) can be restored.
[0054]
According to the above processing, only a random error is corrected, but recovery of one block for each group can be realized only by an extremely light operation called parity.
[0055]
(Supplementary explanation)
In general, simple parity operations can only detect data errors and cannot correct them. On the other hand, when the above division is performed, errors such as code errors in the lower layer are converted to missing by packet discard processing such as each layer FCS. As a result, in the data transmission that is delivered, there is a bursty omission but no error, and the characteristics of the position and length of the bursty omission are fixed, and a simple divided data number is assigned. By this simple technique that can provide an effective error correction capability by a very simple technique called a parity operation, it is possible to achieve a low transmission delay as well as a reduction in processing load.
[0056]
[Second specific application example (application example to network with complex protocol stack processing)]
In recent communication networks, a complex protocol stack may be configured by a technique called tunneling or encapsulation instead of a simple protocol stack in order to satisfy a required service function. Even if the protocol itself is not decrypted, auxiliary information may be added to the header. Specific examples of these include MPLS, IP-SEC, PPPoE, and PPPoA.
[0057]
If an error or packet loss occurs in this part, in addition to the above-mentioned normal protocol, division and FEC processing in consideration of shortening of the transmission unit due to the influence of an overhead increase such as a header is required.
[0058]
For example, when there is an MPLS network section 71 having only one stage on the route network as shown in FIG. 8 and there is an error or packet loss in that section, Ethernet (registered trademark) (Ethernet (registered trademark)) It is necessary to perform division in consideration of a value obtained by subtracting the MPLS-shim header bits (4 octets) from the MTU size 1500 octets).
[0059]
In the case of using the same method as the FEC method described above, as shown in FIG. 9, the redundancy flag a (1 octet) required for the FCS process received by the application data, and the RTP header b ( 12 octets), UDP header c (8 octets), IP header d (20 octets) plus MPLS-shim header e (4 octets) are subtracted from MTU 1500 octets and divided by 1455 octets, FEC Processing will be performed. In this case, the packet structure on the network is as shown in (7) of FIG.
[0060]
[Third application example (when the network structure is not specified)]
In addition, when using network services provided by carriers, the network structure may not be specified. In this case, the division and FEC method can be determined from limited information.
[0061]
For example, a service called B FLETS (registered trademark) provided by the NTT group shown in FIG. 10 uses a protocol of PPPoE (Point to Point Protocol over Ethernet (registered trademark)) and uses Ethernet (registered trademark) (Ethernet). Since it is a best-effort public network that is serviced by a “Regional IP Network” based on (registered trademark), packet loss actually occurs in layer 2 (Mac layer). In the above-described way of thinking, division should be considered in consideration of the transmission unit MTU size (1500 octets) in the Ethernet (registered trademark) (Ethernet (registered trademark)) data link. However, in B FLET'S (registered trademark), transmission is performed using PPPoE, and it is necessary to be aware of the MTU size (1492 octets) that can be provided as a limitation of PPPoE. Furthermore, B FLET'S (registered trademark) stipulates that “the provided MTU size is 1454 octets”, which indicates that the transmission unit may be limited to 1454 octets anywhere on the network. For effective error correction, it is necessary to perform pre-division and FEC processing so that the packet size finally falls within the smallest value of these.
[0062]
When the same method as the FEC method described above is used, as shown in FIG. 11, the redundancy flag a (1 octet) required for the FCS process received by the application data and the RTP header b ( 12 octets), UDP header c (8 octets), and IP header d (20 octets) are subtracted from the MTU size (1454 octets) and divided into 1413 octets as shown in (1) of FIG. Will do. In this case, the packet structure on the network is as shown in (8) of FIG.
[0063]
In the above example, MTU is considered for packet loss at layer 2 (Mac layer), but error packet loss occurs in the section where tunneling by layer 3 (IP protocol) is performed. In such a case, the same consideration for the packet size limitation in the layer 3 (IP layer) is necessary.
[0064]
In addition, FIG. 12 shows the result of measuring the performance of error correction capability actually performed using the present method using B FLET'S (registered trademark). In this method, application data is divided into 1413 octets or less to generate divided data blocks, and then FEC encoding is performed after 12 blocks are grouped and one redundant block is assigned with simple parity in the vertical direction. It is. The data indicates the total number of packet losses every 3 hours over 3 days, of which the number of packets that could not be corrected, and the recovery rate of packet loss for each time is calculated.
[0065]
Even though it is an extremely simple FEC process with a redundancy of 8.5%, which is a redundant 1 block with simple vertical parity for 12 blocks of data, 98.5% of all lost packets can be recovered against packet loss. ing. Also, it should be noted that even when the network from 0:00 on the second day seems to be extremely congested, the recovery rate has not deteriorated.
[0066]
As a result, in this verification, the disturbance of the video that appeared once in an average of 337 seconds (5.6 minutes) can be reduced to once in an average of 62100 seconds (17 hours). In addition, the disturbance of the video that appeared once in an average of 3.8 seconds in the time zone considered to be congestion from 0:00 to 3:00 on the second day can be reduced to once in an average of 196 seconds (3.3 minutes) It turns out that the high effect is acquired.
[0067]
“Fourth application example (example of automatic detection of error section and automatic setting of division when there is no network configuration information)”
In addition, when the internal structure of the network is not understood at all, this division size cannot be determined by design. However, according to the present invention, in this case, the optimum division unit can be determined by the following method.
[0068]
FIG. 13 shows an example in which packet loss at Layer 2 (Mac layer) occurs in a network whose structure is not completely understood. Such networks 121 to 124 having different MTUs are connected in a chain, and packet loss due to congestion occurs in layer 2 (Mac layer) of the MTU = 1500 octet portion (the portion indicated by reference numeral 123). To do. Actually, it is assumed that such a network structure cannot be seen from the outside (transmitting device 10 and receiving device 20).
[0069]
First, a minimum MTU (= Path MTU / PMTU) size can be detected by a known method in a path through which data passes in this network. (IETF RFC 1191: Method for obtaining maximum transmission length (PMTU) of IP datagram in IP network path (old: RFC1063) = Path MTU Discovery = PMTUD)
[0070]
PMTU indicates an information transmission unit that is minimized on a route through which the information is transmitted in the protocol layer 2 (Mac layer). Since the transmission data is not fragmented more finely than this PMTU while passing through this chained network, from the viewpoint of error correction, the data is divided into sizes suitable for this, If FEC processing is performed and transmitted, effective effect is exhibited.
[0071]
However, when packet loss actually occurs in a portion other than the factor causing the PMTU, the division according to the PMTU is an excessive division, and the transmission information overhead such as the header of each layer caused by the division is generated. And an increase in the total number of packets, and an unnecessary load is applied to the passing network itself. As a result, the packet loss itself may be a cause of packet loss. In other words, in the division, it is required to make the division size as large as possible while ensuring an effective error correction effect.
[0072]
Therefore, a method for obtaining an optimum division size by changing the initial value of the division size as the PMTU size will be described.
[0073]
The PMTU in this network is 576 octets (a network indicated by reference numeral 122), and when PMTUD is executed, the value is also returned. On the other hand, the network in which actual packet loss occurs (reference numeral 123) The MTU of the network shown is 1500 octets, and the packet loss rate is n%.
[0074]
At this time, there are usually two modes of packet loss characteristics.
The first is a case where packet loss occurs in a form proportional to the number of packets, that is, a case where the packet loss rate is constant. The design bandwidth is extremely large compared to the amount of data to be sent if it is caused by noise errors of media / devices constituting the link, or by insufficient packet processing capability of nodes such as routers and switches, and congestion. This is the case, for example, when a wide network is shared by many users and there is a shortage of transmission bandwidth statistically multiplexed.
[0075]
Secondly, packet loss increases in proportion to the amount of transmitted data. If the number of packets per hour changes, the number of packet losses does not change. Separately, if the total amount of data to be transmitted increases, packet loss increases. It is. This is due to the lack of data buffer capacity of nodes such as routers and switches, and due to congestion, etc. There are cases where the data transmission imposes pressure on its own throughput, or a certain amount of bandwidth is always occupied by other users, resulting in a lack of effective bandwidth.
[0076]
In the first case, the packet loss rate changes as shown in FIG. 14 by changing the division size.
(1) Even if the division size is increased from the PMTU (here, 576 octets) to the MTU where the packet loss occurs (here, 1500 octets), the total number of packets per hour and the loss increase, but the packet loss The rate does not change. Further, although the burst property of the information to be discarded also increases for the data, the ratio of the discarded data to all the data does not change.
(2) The division length is further increased, and when it reaches the transmission unit (in this case, 1500 octets) of the protocol where the packet loss has occurred, the fragment and reconstruction processing in that part The total number of packets is doubled, and since two fragmented packets are only delivered together to the upper layer, the packet loss rate at the upper layer is doubled. Note that the data discard ratio also doubles.
(3) Further, when the packet length is increased (here, 1500 to 3000 octets), the total number of packets per time decreases, but the discard rate does not change.
(4) When the transmission unit of the lost protocol reaches twice (here, 3000 octets), the packet loss rate is tripled due to the same phenomenon as (2). Thereafter, the packet loss increases 5 to 6 times as the division size reaches 4 times and 5 times the transmission unit.
[0077]
Next, consider the second case. In this case, the packet loss rate changes as shown in FIG. 15 by changing the division size.
(1) When the division size is increased between the PMTU (here, 576 octets) and the MTU where packet loss occurs (here, 1500 octets), the protocol overhead information such as the packet header becomes relatively relative to the data information. The total data amount slightly decreases, and the packet loss rate also decreases accordingly, approaching the packet loss rate n% of the section.
(Supplementary explanation: For example, if the application data to be transmitted has a speed of 6.00 Mbps as the overhead and the IP / UDP / RTP header is 40 octets in total, the transmission speed to be output on the network considers PMTU = 576 octets. Considering the subdivided 6.45 Mbps and MTU = 1500 octets in the packet loss occurrence section, the divided bandwidth is 6.16 Mbps, and the required bandwidth is greatly different. (The packet loss rate will change.)
(2) Further increase the division length, and when it reaches the transmission unit of the protocol where the packet loss occurs (here, MTU = 1500 octets), the fragment and reassembly processing in that portion In this portion, the total number of packets doubles, and packet loss slightly increases due to an increase in overhead such as a packet header given to the packet.
(3) Further, when the division size is increased, the same phenomenon as in (1) occurs, and the packet loss rate also decreases. As the division size approaches twice the MTU, it approaches the packet loss rate n% in the packet loss occurrence section.
(4) When the division size reaches twice the transmission unit (in this case, 3000 octets), the total number of packets becomes three times as in (2), and packet loss is caused by an increase in overhead such as the packet header given to the packet. Slightly increases. Since the increase at this time corresponds to the ratio of relative data increase, it is about two-thirds compared to the phenomenon at (2).
[0078]
Considering the characteristics as described above, by observing that the packet loss rate increases rapidly when the divided data is sequentially increased, the information transfer unit in the protocol where the packet loss occurs is determined. By setting the size of the divided data as the value, it is possible to give an optimum data division size effective for effective error correction while reducing an increase in overhead.
[0079]
However, in the second case, the design bandwidth of the network to be used and the performance of the node are basically insufficient, so this part should be strengthened or the transmission rate required for the original application should be lowered. Should. In such a situation, since the effect of division by this method is small, there is a case where it is better not to use this method and to transmit in as large an information unit as possible in terms of overhead reduction.
[0080]
In this example, attention is paid only to the MTU in the layer 2 (Mac layer). However, the same method can be used for packet loss in the layer 3 (IP layer) such as a router. The packet is changed to a large packet, and finally, the information transmission unit in the layer 3 (IP layer) is settled.
[0081]
This detection includes a method of increasing the division size of data used for video transmission and a method of detection using dummy information different from information used for video transmission.
[0082]
Note that FIG. 16 shows an outline of the procedure for determining the above-described divided data, which will be briefly described.
First, the transmission apparatus 10 detects the minimum MTU in the communication means (communication network) 1 (step S1). Next, the detected minimum MTU is set as an initial value (step S2), and application data (real-time information) is divided (step S3). Then, FEC encoding processing is performed on the divided data (step S4), and the packet is transmitted (step S5). The reception device 20 receives the packet (step S6), measures the data of the divided data length and the packet loss rate (step S7), and notifies the measurement result to the transmission device 10 (step S8).
[0083]
The transmitting device 10 receives the measurement result of the packet loss rate with respect to the divided data length from the receiving device 20 (step S9), and determines whether or not there is a rapid increase in the packet loss rate (step S10). If there is no increase in the packet loss rate, the divided data length is increased (step S11), and the processing from step S3 is repeated.
[0084]
When a rapid increase in the packet loss rate is confirmed, based on this, the information transfer unit in the protocol where the packet loss occurs is grasped, and the size of the divided data length is set (step S12).
[0085]
The means 11 to 15 in the transmission apparatus 10 shown in FIG. 1, the means 21 to 25 in the reception apparatus 20, and the means 11 in the transmission apparatus 10 shown in FIG. 18 to 18 and each means 21 to 26 in the receiving device 20 may be realized by dedicated hardware, and are configured by a general-purpose information processing device such as a memory and a CPU (central processing unit). These functions may be realized by loading a program (not shown) for realizing the functions of these means into a memory and executing the program.
[0086]
Further, each means 11 to 15 in the transmission apparatus 10 shown in FIG. 1, each means 21 to 25 in the reception apparatus 20, each means 11 to 18 in the transmission apparatus 10 shown in FIG. A program for realizing the functions of means 21 to 26 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed, whereby the transmission apparatus shown in FIG. 10, each means 11 to 15 in the receiving apparatus 20, each means 21 to 25 in the receiving apparatus 20, each means 11 to 18 in the transmitting apparatus 10 shown in FIG. 3, and each process 21 to 26 in the receiving apparatus 20 May be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
[0087]
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system.
Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, it is intended to include those that hold a program for a certain period of time, such as a volatile memory inside a computer system that becomes a server or a client in that case (transmission medium or transmission wave).
The program may be for realizing a part of the functions described above, and further, a program that can realize the functions described above in combination with a program already recorded in a computer system, a so-called difference file (difference). Program).
[0088]
Although the embodiment of the present invention has been described above, the real-time information transmission system of the present invention is not limited to the above-described illustrated examples, and various modifications can be made without departing from the scope of the present invention. Of course you get.
[0089]
【The invention's effect】
The present invention has been made to solve the above problems. In the real-time information transmission system of the present invention, the transmission side assumes a protocol layer in which packet loss occurs, and the data length of the packet to be transmitted is Real-time information data is divided into a size that fits the data length that can be transmitted with the maximum packet size of the protocol layer. Then, the divided data block is subjected to FEC encoding processing and transmitted to the network. The receiving side restores lost packets by FEC decoding processing, combines the divided data, and restores the original real-time information data.
This makes it possible to divide the data in consideration of the protocol causing the packet loss, improve the efficiency of the FEC processing, and improve the integrity of the transmission information for real-time communication such as video and audio.
[0090]
In the real-time information transmission system of the present invention, the transmission side can transmit data in the maximum transmission unit of the protocol layer based on the protocol layer where the packet loss occurs and the information of the additional data attached. The real-time information data is divided into scales that fit in Then, the divided data block is subjected to FEC encoding processing and transmitted to the network. Further, the receiving side restores the packet lost by the FEC decoding process, combines the divided data, and restores the original real-time information data.
As a result, even in the case of a network with complex protocol stack processing, it is possible to divide data in consideration of the protocol causing the packet loss, improve the efficiency of FEC processing, and transmit information about real-time communication such as video and audio. Maintainability can be improved.
[0091]
Also, in the real-time information transmission system of the present invention, the transmitting side first detects the network with the smallest maximum transmission unit among the passing networks, and is on a scale that fits within the data length that can be transmitted with the smallest maximum transmission unit. The real-time information data is divided, subjected to FEC encoding processing, and transmitted to the network. Next, the transmission is performed by changing the size of the data division, the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and the protocol layer where the actual packet loss occurs from the characteristic is obtained. Or the maximum transmission unit based on the structure of accompanying additional data or the like. Then, the size of the data division is changed to a size that fits within the data length that can be transmitted in the maximum transmission unit of the protocol layer where packet loss occurs. The receiving side restores the lost packet, combines the divided data, and restores the original real-time information data.
As a result, even when there is no network configuration information, data can be divided in consideration of the protocol causing the packet loss, FEC processing efficiency is improved, and transmission information is preserved for real-time communication such as video and audio. Can be improved.
[0092]
Further, in the real-time information transmitting apparatus of the present invention, assuming a protocol layer in which packet loss occurs, the real-time information has a scale that allows the data length of a packet to be transmitted to be within a data length that can be transmitted with the maximum packet size of the protocol layer To divide the data. Then, the divided data block is subjected to FEC encoding processing and transmitted to the network.
This makes it possible to divide the data in consideration of the protocol causing the packet loss, improve the efficiency of the FEC processing, and improve the integrity of the transmission information for real-time communication such as video and audio.
[0093]
Further, in the real-time information transmitting apparatus of the present invention, on the basis of the protocol layer where the packet loss occurs and the accompanying additional data information, the data length can be accommodated within the maximum transmission unit of the protocol layer. Split real-time information data. Then, the divided data block is subjected to FEC encoding processing and transmitted to the network.
As a result, even in the case of a network with complex protocol stack processing, it is possible to divide data in consideration of the protocol causing the packet loss, improve the efficiency of FEC processing, and transmit information about real-time communication such as video and audio. Maintainability can be improved.
[0094]
In the real-time information transmitting apparatus of the present invention, first, the network with the smallest maximum transmission unit among the passing networks is detected, and the real-time information is transmitted to a scale that can be accommodated in a data length that can be transmitted with the smallest maximum transmission unit. The data is divided, subjected to FEC encoding processing, and transmitted to the network. Next, transmission is performed by changing the size of the data division, and the measurement result of the correlation characteristics between the division size and the frequency of packet loss is obtained from the receiving side, and the protocol at the location where the actual packet loss occurs from the characteristics. The maximum transmission unit based on the structure of the layer or the accompanying additional data is determined. Then, the size of the data division is changed to a size that fits within the data length that can be transmitted in the maximum transmission unit of the protocol layer where packet loss occurs.
As a result, even when there is no network configuration information, data can be divided in consideration of the protocol causing the packet loss, FEC processing efficiency is improved, and transmission information is preserved for real-time communication such as video and audio. Can be improved.
[0095]
In the real-time information transmission method of the present invention, the transmitting side assumes a protocol layer in which packet loss occurs, and the data length of the packet to be transmitted is within a data length that can be transmitted with the maximum packet size of the protocol layer. Then, the real-time information data is divided. Then, the divided data block is subjected to FEC encoding processing and transmitted to the network. The receiving side restores lost packets by FEC decoding processing, combines the divided data, and restores the original real-time information data.
This makes it possible to divide the data in consideration of the protocol causing the packet loss, improve the efficiency of the FEC processing, and improve the integrity of the transmission information for real-time communication such as video and audio.
[0096]
In the real-time information transmission method of the present invention, the transmission side can transmit data in the maximum transmission unit of the protocol layer based on the protocol layer where the packet loss occurs and the information of the additional data attached. The real-time information data is divided into scales that fit in Then, the divided data block is subjected to FEC encoding processing and transmitted to the network. Further, the receiving side restores the packet lost by the FEC decoding process, combines the divided data, and restores the original real-time information data.
As a result, even in the case of a network with complex protocol stack processing, it is possible to divide data in consideration of the protocol causing the packet loss, improve the efficiency of FEC processing, and transmit information about real-time communication such as video and audio. Maintainability can be improved.
[0097]
In the real-time information transmission method of the present invention, the transmitting side first detects the network with the smallest maximum transmission unit among the passing networks, and is on a scale that fits within the data length that can be transmitted with the smallest maximum transmission unit. The real-time information data is divided, subjected to FEC encoding processing, and transmitted to the network. Next, the transmission is performed by changing the size of the data division, the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and the protocol layer where the actual packet loss occurs from the characteristic is obtained. Or the maximum transmission unit based on the structure of accompanying additional data or the like. Then, the size of the data division is changed to a size that fits within the data length that can be transmitted in the maximum transmission unit of the protocol layer where packet loss occurs. The receiving side restores the lost packet, combines the divided data, and restores the original real-time information data.
As a result, even when there is no network configuration information, data can be divided in consideration of the protocol causing the packet loss, FEC processing efficiency is improved, and transmission information is preserved for real-time communication such as video and audio. Can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of means of a real-time information transmission system according to the present invention.
FIG. 2 is a diagram for explaining the operation of the present invention.
FIG. 3 is a diagram showing a configuration example of second means of the real-time information transmission system of the present invention.
FIG. 4 is a diagram illustrating an application example to RTP / UDP / IP / Ethernet (registered trademark).
FIG. 5 is a diagram for describing FEC encoding processing;
6 is a first diagram for explaining the operation of the application example shown in FIG. 4; FIG.
7 is a second diagram for explaining the operation of the application example illustrated in FIG. 4; FIG.
FIG. 8 is a diagram showing an example of application to a network with complex protocol stack processing.
FIG. 9 is a diagram for explaining a packet structure on a network in the application example shown in FIG. 8;
FIG. 10 is a diagram illustrating an application example when the network structure is not clearly shown.
11 is a diagram for describing a packet structure on a network in the application example illustrated in FIG. 10; FIG.
FIG. 12 is a diagram illustrating an example of measurement results of error correction capability.
FIG. 13 is a diagram illustrating an application example when there is no network configuration information;
FIG. 14 is a first diagram illustrating changes in packet loss rate;
FIG. 15 is a second diagram illustrating a change in the packet loss rate;
FIG. 16 is a diagram showing an outline of a procedure for determining divided data.
[Explanation of symbols]
1 Packet communication means (communication network)
10 Transmitter
11 Input means
12 Pre-processing means
13 Data division means
14 FEC encoding means
15 Multilayer protocol transmission means
16 Maximum transmission unit confirmation means
17 Error interval detection means
18 Division size automatic setting means
20 Receiver
21 Multilayer protocol receiving means
22 FEC decoding means
23 Data combination means
24 Post-processing means
25 Output means
26 Packet loss measurement result notification means

Claims (12)

映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達システムであって、
送信側には、
パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手段と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段と
を備え、
受信側には、
受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手段と、
前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手段と
を備えることを特徴とするリアルタイム情報の伝達システム。A real-time information transmission system that uses packet communication with a multilayer protocol structure to transmit real-time information such as video and audio.
On the sender side,
Data for dividing the data of the real-time information so that the protocol layer information in which packet loss occurs is set in advance and the data length of the packet to be transmitted is within the data length that can be transmitted with the maximum packet size of the set protocol layer. Dividing means;
FEC encoding means for performing FEC encoding processing on the divided data block;
Transmission means for transmitting the FEC-encoded data to a network,
On the receiving side,
FEC decoding means for performing FEC decoding processing of received packets and restoring lost packets;
A real-time information transmission system comprising: a data combination means for combining the divided data and restoring the original real-time information data. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達システムであって、
送信側には、
パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手段と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段
とを備え、
受信側には、
受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手段と、
前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手段と
を備えることを特徴とするリアルタイム情報の伝達システム。A real-time information transmission system that uses packet communication with a multilayer protocol structure to transmit real-time information such as video and audio.
On the sender side,
Information point protocol layer packet loss occurs, and the information of the additional data used in the communication process that is used in the relevant section based to calculate the data length that can be transmitted at the maximum transmission unit of the protocol layer, Data dividing means for dividing the data of the real-time information into a scale that fits within the calculated transmittable data length ;
FEC encoding means for performing FEC encoding processing on the divided data block;
Transmitting means for transmitting the FEC-encoded data to a network;
On the receiving side,
FEC decoding means for performing FEC decoding processing of received packets and restoring lost packets;
A real-time information transmission system comprising: a data combination means for combining the divided data and restoring the original real-time information data. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達システムであって、
送信側には、
パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手段と、
前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手段と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手段と、
前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手段と、
データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報とを基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手段と
を備え、
受信側には、
受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手段と、
前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手段 と、
分割サイズとパケット損失の頻度との相関特性を測定し、該測定データを送信側に通知するパケット損失測定結果通知手段と
を備えることを特徴とするリアルタイム情報の伝達システム。A real-time information transmission system that uses packet communication with a multilayer protocol structure to transmit real-time information such as video and audio.
On the sender side,
A maximum transmission unit confirmation means for detecting a network having the smallest maximum transmission unit among the networks through which the packet passes;
The data length can be transmitted by the smallest maximum transmission unit as the initial value, with dividing the data of the real-time information on the size that fits to the initial value, a data dividing means to freely change the size of the division,
FEC encoding processing means for performing FEC encoding processing on the divided data block;
The transmission is performed by changing the size of the data division, and information on the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and the protocol layer where the actual packet loss occurs from the characteristic. Or an error interval detecting means for determining a maximum transmission unit based on a structure such as additional data used for communication processing used in the location ;
The size of the data division, the protocol layer of the portion where a packet loss occurs, or on the basis of the information of the additional data used in the communication process that is used in relevant section, to the data length that can be transmitted at the maximum transmission unit And a split size automatic setting means to change the scale to fit,
On the receiving side,
FEC decoding means for performing FEC decoding processing of received packets and restoring lost packets;
A data combining means for combining the divided data and restoring the original real-time information data;
A real-time information transmission system comprising: a packet loss measurement result notifying unit that measures a correlation characteristic between the division size and the frequency of packet loss and notifies the measurement data to the transmission side. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置であって、
パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手段と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段と
を備えることを特徴とするリアルタイム情報の送信装置。A real-time information transmission device that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure,
Data for dividing the data of the real-time information so that the protocol layer information in which packet loss occurs is set in advance and the data length of the packet to be transmitted is within the data length that can be transmitted with the maximum packet size of the set protocol layer. Dividing means;
FEC encoding means for performing FEC encoding processing on the divided data block;
Transmitting means for transmitting the FEC encoded data to a network. Real-time information transmitting apparatus. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置であって、
パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手段と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手段と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手段と
を備えることを特徴とするリアルタイム情報の送信装置。A real-time information transmission device that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure,
Information point protocol layer packet loss occurs, and the information of the additional data used in the communication process that is used in the relevant section based to calculate the data length that can be transmitted at the maximum transmission unit of the protocol layer, Data dividing means for dividing the data of the real-time information into a scale that fits within the calculated transmittable data length ;
FEC encoding processing means for performing FEC encoding processing on the divided data block;
Transmitting means for transmitting the FEC encoded data to a network. Real-time information transmitting apparatus. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置であって、
パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手段と、
前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手段と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手段と、
前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手段と、
データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報とを基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手段と
を備えることを特徴とするリアルタイム情報の送信装置。A real-time information transmission device that performs transmission of real-time information such as video and audio using packet communication having a multilayer protocol structure,
A maximum transmission unit confirmation means for detecting a network having the smallest maximum transmission unit among the networks through which the packet passes;
The data length can be transmitted by the smallest maximum transmission unit as the initial value, with dividing the data of the real-time information on the size that fits to the initial value, a data dividing means to freely change the size of the division,
FEC encoding processing means for performing FEC encoding processing on the divided data block;
The transmission is performed by changing the size of the data division, and information on the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and the protocol layer where the actual packet loss occurs from the characteristic. Or an error interval detecting means for determining a maximum transmission unit based on a structure such as additional data used for communication processing used in the location ;
The size of the data division, the protocol layer of the portion where a packet loss occurs, or on the basis of the information of the additional data used in the communication process that is used in relevant section, to the data length that can be transmitted at the maximum transmission unit An apparatus for transmitting real-time information, comprising: a division size automatic setting means for changing to a size that can be accommodated. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達方法であって、
送信側により、
パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手順と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順と
が行われ、
受信側により、
受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手順と、
前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手順と
が行われることを特徴とするリアルタイム情報の伝達方法。Real-time information transmission method that uses packet communication with multilayer protocol structure to transmit real-time information such as video and audio,
Depending on the sender
Data for dividing the data of the real-time information so that the protocol layer information in which packet loss occurs is set in advance and the data length of the packet to be transmitted is within the data length that can be transmitted with the maximum packet size of the set protocol layer. Splitting procedure;
FEC encoding procedure for performing FEC encoding processing on the divided data block;
A transmission procedure for transmitting the FEC-encoded data to a network;
Depending on the receiver
An FEC decoding procedure for performing an FEC decoding process on a received packet and restoring a lost packet;
A data combination procedure for combining the divided data and restoring data of the original real-time information is performed. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達方法であって、
送信側により、
パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手順と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順
とが行われ、
受信側により、
受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手順と、
前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手順と
が行われることを特徴とするリアルタイム情報の伝達方法。Real-time information transmission method that uses packet communication with multilayer protocol structure to transmit real-time information such as video and audio,
Depending on the sender
Information point protocol layer packet loss occurs, and the information of the additional data used in the communication process that is used in the relevant section based to calculate the data length that can be transmitted at the maximum transmission unit of the protocol layer, A data division procedure for dividing the data of the real-time information into a scale that fits within the calculated transmittable data length ;
FEC encoding procedure for performing FEC encoding processing on the divided data block;
A transmission procedure for transmitting the FEC-encoded data to a network;
Depending on the receiver
An FEC decoding procedure for performing an FEC decoding process on a received packet and restoring a lost packet;
A data combination procedure for combining the divided data and restoring data of the original real-time information is performed. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の伝達方法であって、
送信側により、
パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手順と、
前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手順と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手順と、
前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手順と、
データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報とを基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手順と
が行われ、
受信側により、
受信したパケットのＦＥＣ復号化処理を行うとともに、損失したパケットの復元を行うためのＦＥＣ復号化手順と、
前記分割データの結合を行い、元のリアルタイム情報のデータを復元するデータ結合手順と、
分割サイズとパケット損失の頻度との相関特性を測定し、該測定データを送信側に通知するパケット損失測定結果通知手順と
が行われることを特徴とするリアルタイム情報の伝達方法。Real-time information transmission method that uses packet communication with multilayer protocol structure to transmit real-time information such as video and audio,
Depending on the sender
A maximum transmission unit confirmation procedure for detecting a network having the smallest maximum transmission unit among the networks through which the packet passes;
The data length can be transmitted by the smallest maximum transmission unit as the initial value, with dividing the data of the real-time information on the size that fits to the initial value, the data division procedure to freely change the size of the division,
FEC encoding processing procedure for performing FEC encoding processing on the divided data block;
The transmission is performed by changing the size of the data division, and information on the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and the protocol layer where the actual packet loss occurs from the characteristic. Or an error interval detection procedure for determining a maximum transmission unit based on a structure such as additional data used for communication processing used in the location ;
The size of the data division, the protocol layer of the portion where a packet loss occurs, or on the basis of the information of the additional data used in the communication process that is used in relevant section, to the data length that can be transmitted at the maximum transmission unit The division size automatic setting procedure to change the scale to fit is performed, and
Depending on the receiver
An FEC decoding procedure for performing an FEC decoding process on a received packet and restoring a lost packet;
A data combining procedure for combining the divided data and restoring the original real-time information data;
A packet loss measurement result notification procedure for measuring a correlation characteristic between the division size and the frequency of packet loss and notifying the transmission side of the measurement data is performed. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置内のコンピュータに、
パケット損失が発生するプロトコル層の情報が予め設定され、伝達するパケットのデータ長が当該設定されたプロトコル層の最大パケットサイズで伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化手順と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順と
を実行させるためのプログラム。Real-time information such as video and audio is transmitted to the computer in the real-time information transmission device using packet communication with a multilayer protocol structure.
Data for dividing the data of the real-time information so that the protocol layer information in which packet loss occurs is set in advance and the data length of the packet to be transmitted is within the data length that can be transmitted with the maximum packet size of the set protocol layer. Splitting procedure;
FEC encoding procedure for performing FEC encoding processing on the divided data block;
A transmission procedure for transmitting the FEC encoded data to a network. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置内のコンピュータに、
パケット損失が発生する箇所のプロトコル層の情報と、該箇所で利用されている通信処理に用いられる付加データの情報とを基に、当該プロトコル層の最大伝達単位で伝送できるデータ長を算出し、該算出した伝送できるデータ長に収まる規模に、前記リアルタイム情報のデータを分割するデータ分割手順と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手順と、
前記ＦＥＣ符号化処理されたデータをネットワークに送信する送信手順と
を実行させるためのプログラム。Real-time information such as video and audio is transmitted to the computer in the real-time information transmission device using packet communication with a multilayer protocol structure.
Information point protocol layer packet loss occurs, and the information of the additional data used in the communication process that is used in the relevant section based to calculate the data length that can be transmitted at the maximum transmission unit of the protocol layer, A data division procedure for dividing the data of the real-time information into a scale that fits within the calculated transmittable data length ;
FEC encoding processing procedure for performing FEC encoding processing on the divided data block;
A transmission procedure for transmitting the FEC encoded data to a network. 映像や音声などリアルタイム情報の伝達を、多層プロトコル構造を持つパケット通信を利用して行うリアルタイム情報の送信装置内のコンピュータに、
パケットが通過するネットワークのうちの最も小さい最大伝達単位のネットワークを検出する最大伝達単位確認手順と、
前記最も小さい最大伝達単位で伝送できるデータ長を初期値とし、前記初期値に収まる規模に前記リアルタイム情報のデータを分割するとともに、当該分割のサイズを自由に変更可能とするデータ分割手順と、
前記分割したデータブロックに対して、ＦＥＣ符号化処理を施すＦＥＣ符号化処手順と、
前記データ分割のサイズを変えて送信を行い、分割サイズとパケット損失の頻度との相関特性の測定結果の情報を受信側から取得し、その特性より実際のパケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データなどの構造に基づく最大伝達単位を判断するエラー区間検出手順と、
データ分割の大きさを、パケット損失が発生する箇所のそのプロトコル層、あるいは該箇所で利用されている通信処理に用いられる付加データの情報とを基に、その最大伝達単位で伝送できるデータ長に収まる規模に変更する分割サイズ自動設定手順と
を実行させるためのプログラム。Real-time information such as video and audio is transmitted to the computer in the real-time information transmission device using packet communication with a multilayer protocol structure.
A maximum transmission unit confirmation procedure for detecting a network having the smallest maximum transmission unit among the networks through which the packet passes;
The data length can be transmitted by the smallest maximum transmission unit as the initial value, with dividing the data of the real-time information on the size that fits to the initial value, the data division procedure to freely change the size of the division,
FEC encoding processing procedure for performing FEC encoding processing on the divided data block;
The transmission is performed by changing the size of the data division, and information on the measurement result of the correlation characteristic between the division size and the frequency of packet loss is obtained from the receiving side, and the protocol layer where the actual packet loss occurs from the characteristic. Or an error interval detection procedure for determining a maximum transmission unit based on a structure such as additional data used for communication processing used in the location ;
The size of the data division, the protocol layer of the portion where a packet loss occurs, or on the basis of the information of the additional data used in the communication process that is used in relevant section, to the data length that can be transmitted at the maximum transmission unit A program for executing the division size automatic setting procedure to change the scale to fit.
JP2003078191A 2003-03-20 2003-03-20 Real-time information transmission system, real-time information transmission device, real-time information transmission method and program Expired - Fee Related JP3934073B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003078191A JP3934073B2 (en) 2003-03-20 2003-03-20 Real-time information transmission system, real-time information transmission device, real-time information transmission method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003078191A JP3934073B2 (en) 2003-03-20 2003-03-20 Real-time information transmission system, real-time information transmission device, real-time information transmission method and program

Publications (2)

Publication Number Publication Date
JP2004289431A JP2004289431A (en) 2004-10-14
JP3934073B2 true JP3934073B2 (en) 2007-06-20

Family

ID=33292740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003078191A Expired - Fee Related JP3934073B2 (en) 2003-03-20 2003-03-20 Real-time information transmission system, real-time information transmission device, real-time information transmission method and program

Country Status (1)

Country Link
JP (1) JP3934073B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252263A (en) * 2007-03-29 2008-10-16 Nippon Telegraph & Telephone West Corp TRANSMISSION/RECEPTION SYSTEM OF Ethernet FRAME AND ITS TRANSMISSION/RECEPTION CONVERTER
JP5229054B2 (en) * 2009-03-30 2013-07-03 日本電気株式会社 Packet transmission / reception system
JP5212319B2 (en) * 2009-09-08 2013-06-19 ブラザー工業株式会社 Encoding apparatus, encoding method, and encoding program
EP2627059A4 (en) 2010-10-04 2014-03-05 Empire Technology Dev Llc Information processing device and program
JP2013026836A (en) * 2011-07-21 2013-02-04 Sharp Corp Relay device, relay method, and program
JP2013026917A (en) * 2011-07-22 2013-02-04 Sharp Corp Content distribution device, receiving device, repeating device, content distribution system, and content distribution method and program
CN102523024B (en) * 2011-12-09 2014-01-15 上海交通大学 High fault tolerance real-time signal acquisition system based on Bluetooth communication
JP6514570B2 (en) * 2015-05-29 2019-05-15 アンリツネットワークス株式会社 Packet transfer system, relay apparatus, packet transfer method and program
CN111953979A (en) * 2020-07-16 2020-11-17 西安万像电子科技有限公司 Image processing method and device
CN114745292B (en) * 2022-03-14 2023-09-05 优刻得科技股份有限公司 Edge container cloud detection method, device, equipment and storage medium

Also Published As

Publication number Publication date
JP2004289431A (en) 2004-10-14

Similar Documents

Publication Publication Date Title
EP3940974B1 (en) Transmission method and device for data stream
US20210112148A1 (en) System and method for achieving accelerated throughput
JP5164123B2 (en) System and method for improving throughput
US6574218B1 (en) Method and system for spatially disjoint joint source and channel coding for high-quality real-time multimedia streaming over connection-less networks via circuit-switched interface links
US8315238B2 (en) Network processing node and method for manipulating packets
US8004963B2 (en) Apparatus and method for packet redundancy and recovery
KR20020079796A (en) Wireless network system and method
WO1996034463A1 (en) High integrity transport for time critical multimedia networking applications
JP4211282B2 (en) Data storage method, data storage system, data recording control device, data recording command device, data receiving device, and information processing terminal
JP3934073B2 (en) Real-time information transmission system, real-time information transmission device, real-time information transmission method and program
EP1710942B1 (en) Method and devices for digital data transfer
Sengupta et al. Exploiting MAC flexibility in WiMAX for media streaming
KR100763184B1 (en) Method and apparatus for transmitting and receiving in the wireless network controlling encoding and transmitting mechanism using video data s importance and network circumstance
Samaraweera Return link optimization for internet service provision using DVB-S networks
US7342938B1 (en) Spectrally efficient approach to protection of key elements in a non-homogenous data stream
JP2011199647A (en) Error correction coder and error correction encoding method and program, and error correction decoder and error correction decoding method and program
KR102657709B1 (en) Transmission methods and devices for data streams
JP2014135724A (en) Network quality as service
Korhonen Adaptive multimedia streaming for heterogeneous networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070314

R150 Certificate of patent or registration of utility model

Ref document number: 3934073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees