JP6613742B2 - Data communication control method for performing highly reliable communication on LFN transmission line with load fluctuation and packet transmission loss - Google Patents
Data communication control method for performing highly reliable communication on LFN transmission line with load fluctuation and packet transmission loss Download PDFInfo
- Publication number
- JP6613742B2 JP6613742B2 JP2015179510A JP2015179510A JP6613742B2 JP 6613742 B2 JP6613742 B2 JP 6613742B2 JP 2015179510 A JP2015179510 A JP 2015179510A JP 2015179510 A JP2015179510 A JP 2015179510A JP 6613742 B2 JP6613742 B2 JP 6613742B2
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- packet
- rate
- lfn
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 271
- 238000004891 communication Methods 0.000 title claims description 153
- 238000000034 method Methods 0.000 title claims description 62
- 230000004044 response Effects 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 229920006395 saturated elastomer Polymers 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 41
- 238000012546 transfer Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 101000587455 Homo sapiens Single-stranded DNA-binding protein, mitochondrial Proteins 0.000 description 4
- 102100029719 Single-stranded DNA-binding protein, mitochondrial Human genes 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000010014 Mentat Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009616 inductively coupled plasma Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 235000010384 tocopherol Nutrition 0.000 description 1
- 235000019731 tricalcium phosphate Nutrition 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Description
本発明は、時間的に変動する伝送量の高信頼パケット通信を行う際のデータ通信制御方法で、負荷変動およびパケット伝送損失があるＬＦＮ（長距離広帯域ネットワーク）伝送路で高信頼通信を行うためのデータ通信制御方法に関する。 The present invention is a data communication control method for performing highly reliable packet communication with a transmission amount that varies with time, in order to perform highly reliable communication on an LFN (Long Distance Broadband Network) transmission line having a load variation and packet transmission loss. The present invention relates to a data communication control method.
近年、ビッグデータの活用、災害対策経路の確保、災害に備えたデータ複製、高精細映像データの送受信、クラウド計算機リソース活用やＤＲ（Disaster Recovery）型の分散ストレージシステムなど、ビジネス分野や防災分野をはじめとするさまざまな分野で信頼性の高い大規模データ通信の高速化ニーズが高まりつつある。対災害分野やストレージ分野などは、データ伝送の高速性だけではなく、データの信頼性が求められる分野である。動画像伝送が属するのは信頼性が確保されないＵＤＰ通信等による高速データ伝送が有効に活用されている分野であったが、最近の４Ｋ／８Ｋ画像伝送では、ノイズ等による画質劣化が問題になっており、映像伝送分野でも信頼性の高い高速データ通信が希求されつつある。これに伴い、単線のＷＡＮ（Wide Area Network）の実態的な通信帯域は１０Ｇｂｐｓから、４０Ｇｂｐｓ、１００Ｇｂｐｓ、近い将来の４００Ｇｂｐｓまたは１Ｔｂｐｓへと急速に増速されてきている。一般に、１０Ｇｂｐｓ以上のＷＡＮである長距離伝送路をＬＦＮ（Long Fat Network）またはＬＦＰ（Long Fat Pipe）と呼ぶ。だが、ＬＦＮの実用化が進展しつつあるものの実態的な伝送路で高い信頼性を有するデータ通信プロトコルまたはアプリケーションはまだ少ない。 In recent years, business and disaster prevention fields such as utilization of big data, securing disaster countermeasure routes, data replication in preparation for disaster, transmission and reception of high-definition video data, utilization of cloud computer resources and DR (Disaster Recovery) type distributed storage systems There is a growing need for high-speed reliable large-scale data communication in various fields including the beginning. The disaster prevention field and the storage field are fields that require not only high-speed data transmission but also data reliability. The moving image transmission belongs to a field where high-speed data transmission by UDP communication or the like whose reliability is not ensured is effectively utilized, but in the recent 4K / 8K image transmission, image quality deterioration due to noise or the like becomes a problem. In the video transmission field, high-speed data communication with high reliability is being demanded. Accordingly, the actual communication bandwidth of a single-wire WAN (Wide Area Network) has been rapidly increased from 10 Gbps to 40 Gbps, 100 Gbps, 400 Gbps in the near future, or 1 Mbps. In general, a long-distance transmission line that is a WAN of 10 Gbps or more is called an LFN (Long Fat Network) or an LFP (Long Fat Pipe). However, although the practical application of LFN is progressing, there are still few data communication protocols or applications having high reliability on actual transmission paths.
トランスポート層における高速データ通信制御方式（一般には通信プロトコルと呼ばれる）では、ＴＣＰ（Transmission Control Protocol）が最も標準的で汎用的なデータ通信制御方式である。ＴＣＰは、パーソナルＰＣのほとんどすべてのＯＳ（Operating System）に標準実装されており、利便性の点からは最も有利である。ＴＣＰは、ＨＴＴＰ（Hypertext Transfer Protocol）やＦＴＰ（File Transfer Protocol）、ＮＦＳなど汎用性の高いアプリケーション層のデータ伝送方式の多くで採用されており、ＬＡＮ（Local Area Network）等でパケットロスや遅延が少ない理想的な通信路においては、比較的高い通信性能を示すことが知られている。 TCP (Transmission Control Protocol) is the most standard and general-purpose data communication control method in the high-speed data communication control method (generally called communication protocol) in the transport layer. TCP is standardly installed in almost all operating systems (OS) of personal PCs, and is most advantageous from the viewpoint of convenience. TCP is adopted in many general-purpose application layer data transmission methods such as HTTP (Hypertext Transfer Protocol), FTP (File Transfer Protocol), and NFS, and causes packet loss and delay in LAN (Local Area Network) and the like. It is known that relatively few communication channels exhibit relatively high communication performance.
しかし、実態的な通信路においては伝送遅延やパケットロスは不可避であり、これらは特にＬＦＮのような長距離伝送路においてはＴＣＰ通信に深刻な影響を与える。また、ＬＦＮを実用的に利用する場合には、その伝送路上には複数データ通信が共存するため、通信端末間での輻輳や公平性の問題を無視することができない。これらの問題を解決するため、ＴＣＰ Ｗｅｓｔｗｏｏｄ、ＴＣＰ Ｒｅｎｏ、ＴＣＰ Ｎｅｗｒｅｎｏ、ＴＣＰ Ｖｅｇａｓ、ＨＳＴＣＰ（High Speed TCP）、ＦａｓｔＴＣＰ、ＳｃａｌａｂｌｅＴＣＰなど、標準的なＴＣＰの輻輳制御機能などを改良した発展的なＴＣＰ制御手順（Advanced TCP）がさまざまに提案されてきた。しかし、ＲＦＣ１３２３のＷｉｎｄｏｗ ＳｃａｌｅやＲＦＣ２０１８のＳＡＣＫ（Selective Acknowledgement）などのＴＣＰ拡張ではＬＦＮにおける現実的なパケットロスや遅延環境では通信性能を十分に達成することはできない。 However, transmission delay and packet loss are unavoidable in a practical communication path, and these have a serious influence on TCP communication particularly in a long distance transmission path such as LFN. Further, when LFN is practically used, a plurality of data communications coexist on the transmission path, so that congestion and fairness problems between communication terminals cannot be ignored. In order to solve these problems, an advanced TCP control procedure that improves standard TCP congestion control functions such as TCP Westwood, TCP Reno, TCP Newreno, TCP Vegas, HSTCP (High Speed TCP), FastTCP, and ScalableTCP. (Advanced TCP) has been proposed in various ways. However, TCP extensions such as RFC 1323 Window Scale and RFC 2018 SACK (Selective Acknowledgment) cannot sufficiently achieve communication performance in a realistic packet loss or delay environment in LFN.
そこで近年、ＬＦＮで十分な高速通信を実現するためにＴＣＰをベースとした様々な工夫がなされている。たとえばクレアリンクテクノロジー社のｘＴＣＰは送受信サーバ間において独自パケット制御を行うことで高速化を試みるインターセプト型（通信介入型）のＰＥＰ（Performance Enhancement Proxy）のように動作する大規模ストレージ間の高速データ伝送（インターネットＶＰＮなどベストエフォート型共有網を利用することを含む）や国際インターネットＶＰＮの高速化、および、通信品質の安定化などの実利用分野で実績があるが、通信性能としては１０Ｇｂｐｓを超える性能を達成していない。他の手法による取り組みとして、送受信間でＴＣＰコネクションを複数（大量）に張ることで高速化を目指す手法が提案されている。クレアリンクテクノロジー社のｍＴＣＰはその一つであり、ｘＴＣＰ同様のＰＥＰ構成を取りながら、複数のＴＣＰコネクションを自由に複数経路に張る機構を備えるなど多機能化により用途や環境を特定したＴＣＰ完全互換、および、公平性を維持した通信高速化を目指している。ＬＦＮにおける性能としては数Ｇｂｐｓ程度である。また、国立情報学研究所のＭＭＣＦＴＰ（非特許文献１）はデータを小さな（２５６ＫＢ）サイズに分割し、約１Ｇｂｐｓの狭帯域コネクションを数１００本から数１０００本以上張ることで、ＬＦＮで１０Ｇｂｐｓを超える実効通信性能を達成している。ただし、大量のコネクションを制御することは容易ではなくシステム規模、および、負荷も大きく、通信回線やシステム動作等の輻輳状態での公平性やインターネット上のファイアウォール（Firewall）やルータにおける負荷等の実用性の問題は今後の課題である。ＧｒｉｄＦＴＰはグリッドコンピューティングを背景に高速ファイル転送用に開発されたアプリケーションであるが、ＴＣＰをベースとした標準的なファイル伝送制御方式であるＦＴＰをもとにしており、ＴＣＰが本質的に不利であるパケットロスや遅延への対応についてはＦＴＰセッションを複数張ることで解決を試みており、ＬＦＮでの成果については報告されていない。また、東京大学では１０Ｇｂｐｓや１００Ｇｂｐｓのネットワークカードにオフロードエンジンを搭載するハードウェア依存型の高速伝送ＴＣＰを開発しており、１０Ｇｂｐｓを超える長距離データ伝送実験に成功しているが、ＦＰＧＡによる１００Ｇｂｐｓデータ伝送に取り組んでいる段階である。なお、この手法はハードウェアに依存しているため、特定の環境でしか動作できないという制約がある。 Therefore, in recent years, various devices based on TCP have been made in order to realize sufficient high-speed communication with LFN. For example, ClareLink Technology's xTCP is a high-speed data transmission between large-scale storage that operates like an intercept-type (communication intervention-type) PEP (Performance Enhancement Proxy) that tries to speed up by performing original packet control between the sending and receiving servers. (Including using best effort shared networks such as Internet VPN) and international Internet VPN speedup and communication quality stabilization, etc., but the communication performance exceeds 10Gbps Not achieved. As an approach by other methods, a method has been proposed which aims to increase the speed by extending a plurality (large amount) of TCP connections between transmission and reception. Claire Link Technology's mTCP is one of them, and it has a PEP configuration similar to xTCP, and has a mechanism that allows multiple TCP connections to be freely routed to multiple paths, etc., and is fully compatible with TCP by specifying its use and environment through multiple functions. It aims to speed up communications while maintaining fairness. The performance in LFN is about several Gbps. The National Institute of Informatics MMCFTP (Non-Patent Document 1) divides the data into small (256KB) sizes and extends about 1 Gbps of narrowband connections from several hundred to several thousand, so that 10 Gbps is achieved with LFN. Has achieved an effective communication performance exceeding. However, it is not easy to control a large number of connections, and the system scale and load are also large. Fairness in congestion such as communication lines and system operation, and load on firewalls and routers on the Internet, etc. The issue of sex is an issue for the future. GridFTP is an application developed for high-speed file transfer against the background of grid computing, but is based on FTP, which is a standard file transmission control method based on TCP, and TCP is inherently disadvantageous. A response to a certain packet loss or delay is attempted by establishing a plurality of FTP sessions, and the results of LFN have not been reported. In addition, the University of Tokyo has developed a hardware-dependent high-speed transmission TCP equipped with an offload engine on a network card of 10 Gbps or 100 Gbps, and has succeeded in a long-distance data transmission experiment exceeding 10 Gbps, but it is 100 Gbps by FPGA. At this stage, we are working on data transmission. Since this method depends on hardware, there is a restriction that it can operate only in a specific environment.
一方、ＬＦＮにおける高速伝送への異なる取り組みとして、ＵＤＰ（User Datagram Protocol）等による独自の高速データ通信制御方式の開発が挙げられる。ＵＤＰ自身は信頼性が確保されないパケット通信制御方式であるため、これをもとにした高信頼データ通信制御方式が開発されてきた。ＵＤＰ Ｌｉｔｅを改良したＵＤＰ Ｌｉｔｅｒは信頼性の点で本議論の対象外である。ＴＢＳテレビ社のＳＴＯＲＭ（登録商標）（特許文献１）はＵＤＰに再送制御・レート制御・バケツリレー配送などを搭載した大容量ファイルの多拠点効率配信アプリケーションである。その主な特徴は以下の点にある。まず、全二重で帯域が上下対称となっている通信回線を利用し、転送・制御ともにＵＤＰによる単一ポートで行うことで、通信回線の容量を最大限に使用する。最適な転送速度は、受信側が一定時間にどれだけのパケットを受信できたかにより算出する。転送したファイルが正しくサーバに届いたか、ファイルの整合性チェックを、ハッシュ値計算によるファイル検査で行なう。このファイル検査は、ＣＲＣやＳＨＡ検査で行い、検査なしの設定も可能である。また、通信回線の容量より速い速度でパケットを送信する。また、最大転送速度の設定や、帯域使用率の設定機能を有する。ＵＤＰの上位層に独自のフローコントロールを導入したという特徴もある。また、Ｓｋｅｅｄ社のＳＳＢＰ（SkeedSilverBullet Protocol）（特許文献２）は、ＵＤＰに再送制御・レート制御・セキュリティ機能などを搭載した高信頼データ通信制御方式である。このＳＳＢＰは、クライアント・サーバー型で動作するファイル転送ソフトで、遅延時間が大きい遠距離での通信を高速化するために開発されたものである。遅延時間の影響を受けずに通信できるようにするため、パケットの送出方法を工夫している。具体的には、受信側からのＡＣＫを待たずに、送信側が独自に判断したペースでパケットを送信する。さらに、輻輳を起こさない程度に転送レートを自動調整する。この輻輳は、パケットロス率ではなくＲＴＴ（Round-Trip Time）の変動によって判断する。 On the other hand, as a different approach to high-speed transmission in LFN, development of a unique high-speed data communication control method using UDP (User Datagram Protocol) or the like can be mentioned. Since UDP itself is a packet communication control method in which reliability is not ensured, a highly reliable data communication control method based on this has been developed. The UDP Lite improved from the UDP Lite is out of the scope of this discussion in terms of reliability. STORM (registered trademark) of TBS TV is a multi-site efficient distribution application for large-capacity files in which retransmission control, rate control, bucket relay delivery, etc. are installed in UDP. The main features are as follows. First, a communication line that is full-duplex and whose bandwidth is vertically symmetrical is used, and the capacity of the communication line is maximized by performing transfer and control with a single port using UDP. The optimum transfer rate is calculated according to how many packets the receiving side has received in a certain time. Whether the transferred file has arrived correctly on the server is checked by checking the file integrity by hash value calculation. This file inspection is performed by CRC or SHA inspection, and can be set without inspection. Also, packets are transmitted at a speed faster than the capacity of the communication line. It also has functions for setting the maximum transfer rate and setting the bandwidth usage rate. Another feature is that it has introduced its own flow control in the upper layer of UDP. Also, Sked's SSBP (SkeedSilverBullet Protocol) (Patent Document 2) is a highly reliable data communication control system in which retransmission control, rate control, security functions, and the like are mounted on UDP. This SSBP is file transfer software that operates in a client-server type, and was developed to speed up communication over a long distance with a long delay time. In order to enable communication without being affected by the delay time, a packet transmission method has been devised. Specifically, the packet is transmitted at a pace independently determined by the transmission side without waiting for ACK from the reception side. Furthermore, the transfer rate is automatically adjusted to the extent that congestion does not occur. This congestion is determined not by the packet loss rate but by fluctuations in RTT (Round-Trip Time).
ＳＴＯＲＭやＳＳＢＰは高遅延環境でのＴＣＰとの性能比較においての優位性が公開されているが、1Gを超えるようなＬＦＮでの高速伝送やパケットロス環境に関する報告はない。
Ａｓｐｅｒａ社のＦＡＳＰ（特許文献３）は、ＬＦＮでの１０Ｇ超での高速伝送を目指すファイル伝送用の高信頼データ通信制御方式である。このＦＡＳＰは、通信や回線の空き容量を予測し、データを通信回線の空き容量と回線速度に見合う量に自動調整してからデータ送出を行なうことで、回線遅延やパケットロスなどの影響を避けて利用可能な帯域幅を最大限に活用するものである。また、ファイル伝送用のバルク通信技術であり、リアルタイム通信用ではない。
Although STORM and SSBP have published advantages in performance comparison with TCP in a high-delay environment, there is no report on high-speed transmission or packet loss environment with LFN exceeding 1G.
Aspera's FASP (Patent Document 3) is a highly reliable data communication control method for file transmission aiming at high-speed transmission over 10G with LFN. This FASP predicts the free capacity of the communication and the line, and automatically adjusts the data to an amount suitable for the free capacity and the line speed of the communication line, thereby avoiding the influence of line delay and packet loss. To maximize the available bandwidth. Also, it is a bulk communication technology for file transmission, not for real-time communication.
ＵＤＴ（UDP-based Data Transfer）（非特許文献２）プロトコルは、米国イリノイ大学が開発したＵＤＰベースのトランスポート層の高信頼データ通信制御方式である。このＵＤＴは、定期的に受信側が利用できる帯域幅を検出し、この結果によるウインドウ・サイズを送信側に伝える。送信側では、そのウインドウ・サイズの分だけパケットを送信するという特徴がある。後述の通り、ＵＤＴのソースコードの解析・分析等調査を行ったところ、２．５Ｇｂｐｓを超える帯域ではＬＦＮ通信に適さない設計および実装が含まれていることが分かっている。 The UDT (UDP-based Data Transfer) (non-patent document 2) protocol is a UDP-based transport layer high-reliability data communication control system developed by the University of Illinois, USA. This UDT periodically detects the bandwidth available to the receiving side and informs the transmitting side of the resulting window size. The transmission side has a feature that packets are transmitted by the window size. As will be described later, when the UDT source code is analyzed and analyzed, it has been found that the band exceeding 2.5 Gbps includes designs and implementations that are not suitable for LFN communication.
上に挙げた高信頼データ通信制御方式の多くはＴＣＰ／ＩＰのアプリケーション層のツールとして提供されており、そのほとんどがデータファイルを対象とした伝送ツールである。これは、ＬＦＮの利活用においてはクラウドストレージに代表されるファイル伝送が最も求められているアプリケーションであることに起因している。言い換えると、改良型ＴＣＰおよびＵＤＰを除くと、ＴＣＰのように使用できるソケットライブラリとして提供されるトランスポート層における高信頼性の高速データ通信制御方式は存在しない。また、上記で紹介したデータ通信制御方式にはハードウェアに依存したものやＰＥＰ（Performance Enhancing Proxy）のような中継機器を前提としたものも含まれている。したがって、これまでにはＬＦＮでの高速伝送に適したユーザランドで動作する高信頼データ通信制御方式はまだ提供されていない。 Many of the high-reliable data communication control methods listed above are provided as TCP / IP application layer tools, most of which are transmission tools for data files. This is due to the fact that file transmission represented by cloud storage is the most demanded application in utilizing LFN. In other words, except for improved TCP and UDP, there is no reliable high-speed data communication control method in the transport layer provided as a socket library that can be used like TCP. In addition, the data communication control methods introduced above include those depending on hardware and those based on relay devices such as PEP (Performance Enhancing Proxy). Therefore, a highly reliable data communication control system that operates in a user land suitable for high-speed transmission with LFN has not yet been provided.
現在、ビッグデータ時代を背景として、ＬＦＮにおける様々な高信頼・高速通信アプリケーションやシステムがファイル伝送以外の用途でも期待されている。例えば、信頼性の高い映像伝送システムやストリーム型のデータ伝送システムなどである。このような自由な用途のデータ通信アプリケーションを実装するには、ＬＦＮに適したトランスポート層の高信頼データ通信制御方式が必要である。 Currently, against the background of the big data era, various high-reliability and high-speed communication applications and systems in LFN are also expected for uses other than file transmission. For example, a highly reliable video transmission system or stream type data transmission system. In order to implement such a free-use data communication application, a highly reliable data communication control system in the transport layer suitable for LFN is required.
近年、高信頼性・高速通信を目的として、ＴＣＰおよびＵＤＰをベースとした多数のトランスポート層におけるデータ通信制御方式が実装提供されている。これらのデータ通信制御方式の位置関係の概略を図７に示す。
ソフトウェアレベルのＴＣＰベースの実装例としては、標準化ＨＳＴＣＰ（RFC3649）、標準化ＳＣＴＰ（RFC4960）、米メンタット社ＸＴＰ（SkyX）、クレアリンクテクノロジー社ｘＴＣＰなどがあるが、これらは１０Ｇｂｐｓを超える実装例とはなっていない。ＴＣＰをベースとした１０Ｇｂｐｓを超える高速伝送アプリケーション例としては情報学研究所のＭＭＣＦＴＰがあるが、ＯＳのユーザランド（ユーザ空間と同じ）で利用できるソケットタイプのライブラリではなく、また帯域保証を高精度に行うことはできない。
In recent years, for the purpose of high-reliability and high-speed communication, data communication control systems in a number of transport layers based on TCP and UDP have been implemented and provided. An outline of the positional relationship of these data communication control systems is shown in FIG.
Software-based TCP-based implementation examples include standardized HSTCP (RFC3649), standardized SCTP (RFC4960), US Mentat XTP (SkyX), Clarelink Technology xTCP, etc., but these are examples of implementations exceeding 10 Gbps. is not. An example of high-speed transmission over 10 Gbps based on TCP is MMCFTP of the Institute of Informatics, but it is not a socket-type library that can be used in the OS userland (same as user space), and the bandwidth guarantee is highly accurate. Can not do.
ＵＤＰベースのデータ通信制御方式としては、米アスペラ社のＦＡＳＰ、米イリノイ大学のＵＤＴ、ＴＢＳテレビ社のＳＴＯＲＭ（登録商標）、Ｓｋｅｅｄ社のＳＳＢＰ(SkeedSilverBullet Protocol)などが著名である。
これらはいずれも国際的に用いられているが、高速伝送の視点で考えるとＦＡＳＰが１０Ｇｂｐｓでの単純なリンク上でのファイル伝送に成功しているのみである。なお、ソケットタイプのライブラリとして提供されているのはＵＤＴのみである。
As UDP-based data communication control methods, FASP from Aspera, UDT from University of Illinois, STORM (registered trademark) from TBS TV, SSBP (SkeedSilverBullet Protocol) from Sked, etc. are well known.
All of these are used internationally, but from the viewpoint of high-speed transmission, FASP has only succeeded in file transmission on a simple link at 10 Gbps. Only UDT is provided as a socket type library.
今後の１０Ｇｂｐｓ超（さらには１００Ｇｂｐｓ超）という高速伝送路であるＬＦＮを最大限活用する自由なアプリケーション開発を考えると、高速伝送可能な高信頼データ通信制御方式がトランスポート層のソケットライブラリで提供されることが望ましい。また、期待されるデータ通信制御方式は、特定の環境に依存しない一般的なＯＳのユーザランドで利用できる非カーネル依存型の通信制御方式であると思われる。ＴＣＰの特性を考えると、これらを実現することは容易ではなく、したがって、ＵＤＰベースでの方式設計が必要となる。 Considering free application development that makes full use of LFN, which is a high-speed transmission path of more than 10 Gbps (and more than 100 Gbps) in the future, a reliable data communication control method capable of high-speed transmission is provided in the transport layer socket library. It is desirable. The expected data communication control method is considered to be a non-kernel dependent communication control method that can be used in a general OS userland that does not depend on a specific environment. Considering the characteristics of TCP, it is not easy to realize them, and therefore a UDP-based system design is required.
一般には、遅延やパケットロスがない理想環境において単一のＴＣＰコネクションが達成できるデータ伝送速度は、汎用的なＬｉｎｕｘ（登録商標）ＯＳが動作するサーバ計算機と４０Ｇｂｐｓ対応のネットワークカードを用いた場合で、１０Ｇｂｐｓ〜２０Ｇｂｐｓ程度である。ただし、遅延やパケットロスの環境下でも、単一コネクションでこの程度のスループットを達成するＴＣＰソケットライブラリは存在しない。これらを鑑みて、本発明が目指すのは高遅延、高パケットロス環境でも単一コネクションで１０Ｇｂｐｓ以上を達成する。高信頼なデータ通信制御方式である。これが実現できると、サーバ・クライアント間でのマルチコネクションやマルチリンクにより、１００Ｇ超のデータ通信が期待できる。 In general, the data transmission speed that can be achieved with a single TCP connection in an ideal environment with no delay or packet loss is when using a general-purpose Linux (registered trademark) OS server computer and a 40 Gbps network card. It is about 10 Gbps to 20 Gbps. However, there is no TCP socket library that achieves this level of throughput with a single connection even in an environment of delay or packet loss. In view of these, the present invention aims to achieve 10 Gbps or more in a single connection even in a high delay and high packet loss environment. This is a highly reliable data communication control system. If this can be realized, data communication exceeding 100 G can be expected by multi-connection or multi-link between the server and the client.
これらの視点から、我々は上記の背景技術で挙げたＵＤＰベースのデータ通信制御方式のうち米イリノイ大学のＵＤＴを用いて４０Ｇｂｐｓの性能を有するＬＦＮ環境でデータ伝送実験を行った。ＵＤＴは、上記の背景技術で唯一のＵＤＰベースで開発されたトランスポート層のソケットライブラリで提供される高信頼データ通信制御方式である。 From these viewpoints, we conducted a data transmission experiment in an LFN environment having a performance of 40 Gbps using UDT of the University of Illinois among the UDP-based data communication control methods mentioned in the above background art. UDT is a high-reliability data communication control system provided by the transport layer socket library developed based on the only UDP base in the above background art.
その結果、パラメータをいかに変更しても１０Ｇｂｐｓ以上の性能を達成することができなかった。例えば１０ＧｂＥ環境におけるＵＤＴの単純送受信性能は単一インタフェースにおいて２Ｇｂｐｓ程度にとどまった。さらに、１０Ｇｂｐｓを６本束ねた（Link Aggregation）環境下でサーバ、クライアントの各６プロセスの並列実行によっても７Ｇｂｐｓ強が限界であった。 As a result, performance of 10 Gbps or more could not be achieved no matter how the parameters were changed. For example, the simple transmission / reception performance of UDT in a 10 GbE environment is only about 2 Gbps on a single interface. Furthermore, in the environment where six 10 Gbps are bundled (Link Aggregation), the limit of just over 7 Gbps is limited even by parallel execution of each of the server and client processes.
ＵＤＴのソースコードの解析・分析等調査を行ったところ、２．５Ｇｂｐｓを超える帯域では、送信バッファにおける送信データの追加と、ＡＣＫ応答確認による同データの削除に関わる処理、および受信ウィンドウ処理において、従来のものでは広帯域に適さない設計および実装が含まれていることがわかった。 As a result of investigations such as analysis and analysis of the UDT source code, in the band exceeding 2.5 Gbps, in the processing related to addition of transmission data in the transmission buffer, deletion of the data by confirming the ACK response, and reception window processing, It has been found that the conventional design includes designs and implementations that are not suitable for a wide band.
１０Ｇｂｐｓ超の広帯域データ通信制御方式を、現実のＬＦＮにおいて利用する際には、ネットワーク環境の品質や揺らぎが無視できない。つまり例えば、パケットロス率や輻輳があり、またそれらによるネットワーク帯域は常に変動する可能性がある。長距離伝送では伝送遅延の影響が無視できない。従って、実用的な広帯域データ伝送方式では、回線品質に影響を与える遅延、パケットロス、輻輳に強いだけではなく、それらの時間的変動に対してもすばやく応答する機能の実現が必須である。 When using a broadband data communication control system exceeding 10 Gbps in an actual LFN, the quality and fluctuation of the network environment cannot be ignored. That is, for example, there is a packet loss rate and congestion, and the network bandwidth due to them may always change. In long distance transmission, the influence of transmission delay cannot be ignored. Therefore, in a practical broadband data transmission system, it is essential to realize a function that not only resists delay, packet loss, and congestion that affects line quality, but also responds quickly to such temporal variations.
本発明の負荷変動およびパケット伝送損失があるＬＦＮ伝送路で高信頼通信を行うためのデータ通信制御方法は、１０Ｇｂｉｔ毎秒以上の伝送帯域を持った長距離広帯域ネットワーク（ＬＦＮ）で伝送量が時間的に変動する高信頼パケット通信を行う際のデータ通信制御方法であり、該ＬＦＮはそのＬＦＮで送受信を行う使用者からみてパケット伝送損失が発生するものであって、
（１）肯定応答（ＡＣＫ）返信を所定の等時間間隔で行う事で上記ＬＦＮネットワークでの伝送遅延による影響を抑制し、かつ、
（２）上記パケット伝送損失について、その損失割合を求め、該損失割合から上記パケット伝送損失に対する再送要求として通常送られるパケットと再送するロスパケットの送信の割合を決定して上記ＬＦＮネットワークの負荷変動による影響を制御し、かつ、
（３）パケット送信においては、設定可能な最大伝送可能情報レートを探索し、探索された上記最大伝送可能情報レート以下の所定の伝送可能情報レートについて、上記パケット送信の送信レートを上記所定の伝送可能情報レートに収束させる送信レート制御を所定の時間間隔で行うことで輻輳制御を行い、
上記送信レート制御は、データ送信において所定の目標スループット性能を実現するようにパケットの送信間隔を制御する制御であり、
パケットの送信間隔を制御する上記制御は、所定の時点のスループット予測結果がその前回測定時のスループットより、（１）大きい場合は、目標値との差分値の小数（１未満の値）倍分を加算することで立ち上がりを急勾配にし、（２）小さい場合は、上記時点とその過去所定回分のスループット値を平均することで、目標スループットまでの到達時間を短くするものである、
ことを特徴とする。
なお、ＬＦＮネットワークでの上記高信頼通信は、リアルタイム性のあるデータ通信であってもよい。
The data communication control method for performing highly reliable communication on the LFN transmission line with load fluctuation and packet transmission loss according to the present invention is a long-distance broadband network (LFN) having a transmission band of 10 Gbit / s or more, and the amount of transmission is temporal. A data communication control method when performing highly reliable packet communication that fluctuates to the above, and the LFN causes a packet transmission loss when viewed from the user who performs transmission and reception with the LFN,
(1) Suppressing the influence of transmission delay in the LFN network by performing acknowledgment (ACK) replies at predetermined equal time intervals, and
(2) Obtaining the loss rate of the packet transmission loss, determining the rate of transmission of a packet normally sent as a retransmission request for the packet transmission loss and the rate of transmission of the lost packet to be retransmitted from the loss rate, and changing the load on the LFN network Control the impact of, and
(3) In packet transmission, a settable maximum transmittable information rate is searched, and for a predetermined transmittable information rate equal to or lower than the searched maximum transmittable information rate, the packet transmission transmission rate is set to the predetermined transmission. the transmission rate control for converging allows information rate have line congestion control by performing a predetermined time interval,
The transmission rate control is a control for controlling a packet transmission interval so as to realize a predetermined target throughput performance in data transmission,
The above control for controlling the packet transmission interval is a fraction (less than 1) times the difference value from the target value when the throughput prediction result at a predetermined time is (1) larger than the throughput at the previous measurement. To make the rise steep, (2) If it is small, the arrival time to the target throughput is shortened by averaging the above time points and the past predetermined throughput values .
It is characterized by that.
The highly reliable communication in the LFN network may be real-time data communication.
また、１０Ｇｂｉｔ毎秒以上の伝送帯域を持った長距離広帯域ネットワーク（ＬＦＮ）で伝送量が時間的に変動する高信頼パケット通信を行う際のデータ通信制御方法であり、該ＬＦＮはそのＬＦＮで送受信を行う使用者からみてパケット伝送損失が発生するものであって、
（１）肯定応答（ＡＣＫ）返信を所定の等時間間隔で行う事で上記ＬＦＮでの伝送遅延による影響を抑制し、かつ、
（２）上記パケット伝送損失について、その損失割合を求め、該損失割合から上記パケット伝送損失に対する再送要求を決定して上記ＬＦＮの負荷変動による影響を制御し、かつ、
（３）パケット送信においては、設定可能な最大伝送可能情報レートを探索し、探索された上記最大伝送可能情報レート以下の所定の伝送可能情報レートについて、上記パケット送信の送信レートを上記所定の伝送可能情報レートに収束させる送信レート制御を所定の時間間隔で行うことで輻輳制御を行い、
上記パケット通信の送信側では、その受信側で使用可能なバッファの使用率閾値と該バッファの飽和時間閾値を設定し、上記受信側から取得した受信バッファの使用率からバッファが飽和するまでの時間を予測する計算手段を有し、上記バッファの使用率閾値あるいは上記で予測された時間が上記バッファの飽和時間閾値を超えた場合、送信側で上記送信レート制御を用いて送信レートを抑制するものである。
Further, it is a data communication control method for performing highly reliable packet communication in which the transmission amount varies with time in a long-distance broadband network (LFN) having a transmission band of 10 Gbit / s or more, and the LFN transmits and receives with the LFN. Packet transmission loss occurs from the perspective of the performing user,
(1) Suppressing the influence of the transmission delay in the LFN by performing an acknowledgment (ACK) reply at predetermined equal time intervals, and
(2) For the packet transmission loss, obtain a loss ratio, determine a retransmission request for the packet transmission loss from the loss ratio, and control the influence of the load fluctuation of the LFN; and
(3) In packet transmission, a settable maximum transmittable information rate is searched, and for a predetermined transmittable information rate equal to or lower than the searched maximum transmittable information rate, the packet transmission transmission rate is set to the predetermined transmission. Congestion control is performed by performing transmission rate control that converges to a possible information rate at predetermined time intervals,
The transmission side of the packet communication sets the buffer usage threshold and the buffer saturation time threshold that can be used at the reception side, and the time from the usage of the reception buffer acquired from the reception side to the buffer saturation. Having a calculation means for predicting the transmission rate and suppressing the transmission rate using the transmission rate control on the transmission side when the buffer usage rate threshold or the predicted time exceeds the buffer saturation time threshold It is.
また、上記送信レート制御は、データ送信において所定の目標スループット性能を実現するようにパケットの送信間隔を制御する制御である。 The transmission rate control is a control for controlling a packet transmission interval so as to realize a predetermined target throughput performance in data transmission .
また、上記パケット通信の送信側では、
その受信側で使用可能なバッファの使用率閾値と該バッファの飽和時間閾値を設定し、上記受信側から取得した受信バッファの使用率からバッファが飽和するまでの時間を予測する計算手段を有し、
上記バッファの使用率閾値あるいは上記で予測された時間が上記バッファの飽和時間閾値を超えた場合、送信側で上記送信レート制御を行って送信レートを抑制するものである。
On the transmission side of the packet communication,
It has a calculation means for setting a buffer usage threshold that can be used on the receiving side and a saturation time threshold for the buffer, and predicting a time until the buffer is saturated from the usage rate of the receiving buffer acquired from the receiving side. ,
When the buffer usage rate threshold value or the predicted time exceeds the buffer saturation time threshold value, the transmission rate is controlled by the transmission side to suppress the transmission rate.
また、上記パケット通信の受信側は、パケット受信とは独立に周期的にＡＣＫ送信を行うものであり、一方、送信側では、送信側で受信した上記ＡＣＫとは独立にパケット送信を行うものである。 In addition, the reception side of the packet communication performs ACK transmission periodically independently of packet reception, while the transmission side performs packet transmission independently of the ACK received on the transmission side. is there.
また、上記最大伝送可能情報レートを探索する探索は、分割禁止フラグをセットしたパケットを様々なセグメントサイズで送信し、応答が確認できた最大セグメントサイズから最大パケットサイズを見出して最大伝送ユニット（ＭＴＵ、Maximum Transmission Unit）サイズとして用いるものである。 In the search for searching for the maximum transmittable information rate , packets with the division prohibition flag set are transmitted in various segment sizes, and the maximum packet size is found from the maximum segment size for which a response has been confirmed. , Maximum Transmission Unit) size.
本発明の負荷変動およびパケット伝送損失があるＬＦＮネットワークで高信頼通信を行うためのデータ通信制御方法によって、負荷変動およびパケット伝送損失がある場合でも１コネクションで１０Ｇｂｐｓを超える高信頼性通信が実現できる。本発明のデータ通信制御方式により、単一コネクションで１０Ｇｐｓ通信が可能であるため、既存の１０Ｇｂｉｔイーサーネットネットワークインターフェイス（ＮＩＣ）を有する対向アプリケーションでは、ほぼワイヤーレートでの通信が容易に実現できる。
従来のデータ通信制御方式（ＴＣＰ系、ＵＤＰ系）では、単一コネクションのスループットが数１００Ｍｂｐｓ〜数Ｇｂｐｓ程度であり、さらにマルチリンク手法が確立されていなかった。そのためにＬＦＮ環境で高スループットのデータ通信（特にストリーム系データ通信）はほとんど実現していない。
According to the data communication control method for performing highly reliable communication in an LFN network with load fluctuation and packet transmission loss according to the present invention, high reliability communication exceeding 10 Gbps can be realized in one connection even when there is load fluctuation and packet transmission loss. . With the data communication control system of the present invention, 10 Gbps communication is possible with a single connection. Therefore, in an opposite application having an existing 10 Gbit Ethernet network interface (NIC), communication at almost a wire rate can be easily realized.
In the conventional data communication control system (TCP system, UDP system), the throughput of a single connection is about several hundreds Mbps to several Gbps, and a multilink method has not been established. Therefore, high-throughput data communication (particularly stream data communication) is hardly realized in the LFN environment.
また、本発明ではスループットの拡大、および、マルチ経路による経路冗長性の確保を行うことによりマルチリンク環境での動作が可能となる。その結果、単一サーバ間で数１０Ｇｂｐｓから１００Ｇｂｐｓ環境でのデータ通信が実現できる。たとえばＬＦＮを使った８Ｋ画像通信などの広帯域データ伝送では、複数台の伝送系サーバで並列伝送し、データ同期するシステム（マルチポイント−マルチポイント）を用いることが多い。この場合、通信データの揺らぎやデータ通信パフォーマンスダウンが危惧される。本発明により、単一サーバ間（シングルポイント‐シングルポイント）で１００Ｇｂｐｓを達成できるため、高品質・広帯域での映像伝送ができる。 Further, according to the present invention, it is possible to operate in a multilink environment by increasing throughput and ensuring path redundancy by multipath. As a result, data communication in the environment of several tens of Gbps to 100 Gbps can be realized between single servers. For example, in broadband data transmission such as 8K image communication using LFN, a system (multipoint-multipoint) in which data is transmitted in parallel by a plurality of transmission servers and synchronized with data is often used. In this case, there is a concern that the communication data may fluctuate or the data communication performance may be reduced. According to the present invention, 100 Gbps can be achieved between single servers (single point-single point), so that high-quality and wide-band video transmission is possible.
また、様々なインターネット環境において、本発明を帯域制御型伝送方式として利用することができる。既存のＴＣＰに比べて立ち上がりが早く、また目標スループットを動的かつ自律的に調整することができる。これにより、クライアントに与えられたサーバからのネットワーク経路の帯域を十分に活用したアプリケーション製品の実現が可能となる。特に、パケットロスや遅延、輻輳が変動するネットワーク環境でも目的に応じたデータ通信が期待できる。 Further, the present invention can be used as a band control type transmission system in various Internet environments. Compared to the existing TCP, the start-up is faster, and the target throughput can be adjusted dynamically and autonomously. This makes it possible to realize an application product that fully utilizes the bandwidth of the network path from the server given to the client. In particular, data communication according to the purpose can be expected even in a network environment in which packet loss, delay, and congestion fluctuate.
本発明の特徴の１つは、シングルコネクションで１０Ｇｂｐｓ以上を達成し、同時に遅延、パケットロス、輻輳の環境においても帯域を使い切ることができる（つまりワイヤーレートを達成できる）データ通信制御方式をＵＤＰベースで実現するものである。詳しくは、以下に示す。 One of the features of the present invention is that the data communication control system that achieves 10 Gbps or more with a single connection and can use up the bandwidth even in the environment of delay, packet loss, and congestion (that is, the wire rate can be achieved) is based on UDP. This is what is achieved. Details are shown below.
本発明の、データ通信制御方式は、ＯＳのカーネルには手を加えずに、ＯＳのユーザランドにおけるアプリケーションから利用できる汎用的なライブラリ化によって、Ｌｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＯＳ Ｘ（ＭａｃＯＳ）（登録商標）やＡｎｄｒｏｉｄ（登録商標）など様々な計算機環境で利用でき、さらにプログラミング負荷の抑制と通信レートの最適化を両立させる。 The data communication control system according to the present invention is a general-purpose library that can be used from an application in the OS userland without modifying the OS kernel, thereby enabling Linux (registered trademark), Windows (registered trademark), and OS. It can be used in various computer environments such as X (MacOS) (registered trademark) and Android (registered trademark), and further reduces the programming load and optimizes the communication rate.
以下の記載で、上記のためのいくつかの基本的な考え方（アイデア）とアイデアを実現するための処理方法、および各処理のための制御技術に分けて説明する。まず、基本的な考え方について説明し、次に、そこで用いる処理方法について説明し、さらに、各処理の要素技術となる各制御技術について説明する。 The following description will be divided into some basic concepts (ideas) for the above, processing methods for realizing the ideas, and control techniques for each processing. First, a basic concept will be described, then a processing method used therein will be described, and further, each control technology as an elemental technology of each processing will be described.
＜基本的な考え方＞
コンピュータのＯＳ上のユーザランドの実行権限で動作するアプリケーション（ソケットライブラリ）によって１０Ｇｂｐｓ超の性能を実現するために、本発明は、ネットワークＩ／ＯとコンピュータのＣＰＵ（コア）の効率化（オーバヘッドをなくす）と高精度アルゴリズムによる通信制御を行うデータ通信制御方式を、ＵＤＰベースで提案している。
<Basic concept>
In order to realize a performance exceeding 10 Gbps by an application (socket library) operating with an execution authority of the user land on the OS of the computer, the present invention increases the efficiency (overhead of the network I / O and the CPU (core) of the computer. And a data communication control system that performs communication control using a high-precision algorithm is proposed on a UDP basis.
ＵＤＰの場合、ＩＰスタック（ＵＤＰセグメントヘッダ）には通信に必要な最小限の符号領域しか定義されていないので、ＵＤＰデータフィールドに独自のデータフィールドを定義する。さらにＩ／Ｏ効率化のため、ジャンボフレームのサポートを行い、ＩＰスタックのフラグメンテーションを効率的に利用することでプロセッサ負荷をバランスさせる。具体的には、ＩＰスタックをパケットのシーケンス管理を行う共通パケットヘッダと、同期（ＳＹＮ）、確認応答（ＡＣＫ）、Ｐａｔｈ ＭＴＵ探索（以下の制御技術の説明Ｅ）、ＲＴＴ（以下の制御技術の説明Ｆ）などの目的に合わせた追加パケットヘッダに分け、その都度最適なヘッダを送信する。送出制御（以下の制御技術の説明Ａ）で決まるパケットサイズからこのパケットヘッダ分を引いたサイズを伝送データに割り当てる。 In the case of UDP, since only the minimum code area necessary for communication is defined in the IP stack (UDP segment header), a unique data field is defined in the UDP data field. In order to further improve I / O efficiency, jumbo frames are supported, and IP stack fragmentation is efficiently used to balance processor load. Specifically, a common packet header that performs packet sequence management in the IP stack, synchronization (SYN), acknowledgment (ACK), Path MTU search (Description E of the following control technology), RTT (of the following control technology) The packet is divided into additional packet headers according to the purpose such as explanation F), and the optimum header is transmitted each time. A size obtained by subtracting the packet header from the packet size determined by transmission control (Description A of the control technology below) is assigned to transmission data.
さらにＣＰＵのマルチコアを効率よく使用することで、精度の高いユーザランドレベルでのペースコントロールによるＵＤＰ送出を実現する。具体的には、パケットの送信、受信に専用のスレッドを用意し、別々のコアを割り当てる（図１）。それ以外の処理（送信制御のパラメータ計算処理など）は、更に別のスレッド（管理スレッド）および別のコアで行い、必要に応じ送受信スレッド動作と送信制御のパラメータ計算処理用のデータの流れを同期する。送受信と制御の処理コアを分けることで送受信速度性能を確保しつつ高精度での制御計算を行う。 Furthermore, by using the multi-core of the CPU efficiently, UDP transmission by pace control at a highly accurate user land level is realized. Specifically, dedicated threads are prepared for packet transmission and reception, and different cores are assigned (FIG. 1). Other processing (such as transmission control parameter calculation processing) is performed by another thread (management thread) and another core, and the transmission / reception thread operation and data flow for transmission control parameter calculation processing are synchronized as necessary. To do. By dividing the transmission / reception and control processing cores, high-precision control calculations are performed while ensuring transmission / reception speed performance.
図１は、シングルコネクションでのデータ通信システムの構成例を示すブロック図である。上記の様に、パケットの送信、受信に専用のスレッドを用意し、別々のコアを割り当てる。この仕組みは、将来の１００Ｇｂｐｓ超通信でも有効である。また、図２は、図１をマルチコネクション化することにより実現した構成例である。これを拡張することにより、１０本程度のマルチコネクション（すなわち１０程度のマルチプロセス）で１００Ｇｂｐｓ超通信が実現できる。近年のチップ当たり１０コアを超えるＣＰＵにおいては、この数字は現実的な数字である。 FIG. 1 is a block diagram showing a configuration example of a data communication system with a single connection. As mentioned above, dedicated threads are prepared for packet transmission and reception, and different cores are allocated. This mechanism is also effective in future communications exceeding 100 Gbps. FIG. 2 shows a configuration example realized by making FIG. 1 into a multi-connection. By extending this, communication exceeding 100 Gbps can be realized with about 10 multi-connections (that is, about 10 multi-processes). For CPUs with more than 10 cores per chip in recent years, this number is a realistic number.
送信間隔の制御精度とプロセッサ負荷などを考慮すると、１０Ｇｂｐｓ以上では高精度の送信速度の制御が必要である。最適なスループット確保のために、イーサネット（登録商標）フレーム送出の時間間隔を送信制御（ペーシング）する（以下の制御技術の説明Ａ）。 Considering the control accuracy of the transmission interval and the processor load, high-accuracy transmission speed control is necessary at 10 Gbps or higher. In order to secure an optimum throughput, the transmission interval (pacing) of the time interval of Ethernet (registered trademark) transmission is controlled (Description A of the control technique below).
通信の際には通信路上において性能劣化、信頼性の低下につながる様々な現象が発生する。例えばパケット遅延、パケット損失、ＲＴＴの揺らぎ、パケットの到着順序逆転や利用可能帯域の変動などであり、程度によってはデータ受信側の受信バッファが飽和する場合もある。本発明ではこれらの影響を最小化し、１０Ｇｂｐｓ以上の環境において安定したスループットを確保するために、輻輳制御（制御技術の説明Ｂ）・再送制御制御技術の説明（制御技術の説明Ｃ）・フロー制御（制御技術の説明Ｄ）の各制御手順を提案する。 During communication, various phenomena occur on the communication path leading to performance degradation and reliability degradation. For example, there are packet delay, packet loss, fluctuation of RTT, reversal of arrival order of packets, fluctuation of available bandwidth, etc. Depending on the degree, the reception buffer on the data receiving side may be saturated. In the present invention, in order to minimize these influences and ensure stable throughput in an environment of 10 Gbps or higher, congestion control (Description of control technology B), description of retransmission control control technology (Description of control technology C), flow control Each control procedure of (Description D of control technology) is proposed.
通信開始時の測定および制御としては、ＲＴＴ（制御技術の説明Ｆ）やＰａｔｈ ＭＴＵ（制御技術の説明Ｅ）を測定し、回線状況をいち早く確認する。また、通信経路情報の記憶と再利用により、以前に別の通信が使用した経路・宛先と同じものを通信に使用するとき、パラメータ値（フロー制御値、ＲＴＴ等）を引き継いで利用する。 As the measurement and control at the start of communication, RTT (control technology description F) and Path MTU (control technology description E) are measured, and the line status is confirmed quickly. Also, by storing and reusing communication path information, parameter values (flow control value, RTT, etc.) are taken over and used when the same path / destination previously used by another communication is used for communication.
通信中の測定および制御としては、定期的なＲＴＴの測定（制御技術の説明Ｆ）、受信側から継続して送られるデータのロス率（制御技術の説明Ｇ）、受信バッファ使用率からのバッファ飽和時間予測（制御技術の説明Ｄ）、再送パケット情報（制御技術の説明Ｃ）をフィードバックとし、再送・輻輳・フロー制御を行いつつデータを送信する。
通信開始時の制御としては、ＲＴＴ（制御技術の説明Ｆ）やＰａｔｈ ＭＴＵ（制御技術の説明Ｅ）を測定し、回線状況をいち早く確認する。通信中の制御としては、受信側から継続して送られるデータのロス率（制御技術の説明Ｇ）、受信バッファの使用率（制御技術の説明Ｄ）、再送パケット情報（制御技術の説明Ｃ）をフィードバック情報とし、再送・輻輳・フロー制御を行いつつデータ送信を継続する。
As measurement and control during communication, periodic RTT measurement (control technology description F), loss rate of data continuously transmitted from the reception side (control technology description G), buffer from reception buffer usage rate Data is transmitted while performing retransmission / congestion / flow control using the saturation time prediction (control technology description D) and retransmission packet information (control technology description C) as feedback.
As control at the start of communication, RTT (control technology description F) and Path MTU (control technology description E) are measured, and the line status is confirmed quickly. As control during communication, the loss rate of data continuously transmitted from the receiving side (Description G of control technology), the usage rate of the reception buffer (Description D of control technology), and retransmission packet information (Description C of control technology) Is used as feedback information, and data transmission is continued while performing retransmission, congestion, and flow control.
また、データ通信においては、通信資源の分配に関する通信の公平性（fairness）がしばしば問題になる。しかし、本発明では目標スループットを設定でき、かつ目標値を高精度で高速に達成できる（制御技術の説明Ａ）ため、この問題から解放される。さらに本発明では、他のトラフィックから影響を受けたスループットを観測値としてフィードバックする機構（制御技術の説明Ｂ）により、利用帯域獲得への積極性を決定するパラメータの調整によって、同時に流れる同プロトコルや他のＴＣＰ等のプロトコルパケットに対する公平性を担保できる。たとえば他のＴＣＰと同程度、ＴＣＰよりも強く（つまり広帯域に）、ＴＣＰよりも弱く（つまり低帯域に）と自由な設定とその状態の維持が可能である。 Further, in data communication, communication fairness related to distribution of communication resources is often a problem. However, in the present invention, the target throughput can be set, and the target value can be achieved with high accuracy and high speed (Description A of the control technique), so that it is free from this problem. Furthermore, in the present invention, the same protocol and other flows that flow simultaneously by adjusting the parameter that determines the aggressiveness to acquire the use band by the mechanism (Description of control technology B) that feeds back the throughput influenced by other traffic as an observed value. The fairness of protocol packets such as TCP can be ensured. For example, it is possible to freely set and maintain the same state as other TCPs, stronger than TCP (that is, in a wide band) and weaker than TCP (that is, in a low band).
＜処理方法＞
一般にＴＣＰ等で行われるデータ通信では、受信側で、送信側からのパケットに応じたＡＣＫ送信を行うが、ＲＴＴが大きくなるに従い、通信性能が劣化することがよく知られている。本発明では、図３に示すように、受信側において送信側からのパケット受信とは独立に定期的にＡＣＫ送信を行うことによって通信性能を高める。具体的には人の感応速度やＴＣＰ通信などで一般的にＡＣＫ Ｄｅｌａｙ値として利用される値（たとえば２００ｍｓ）を固定送信間隔としてＡＣＫ応答する。一方、送信側もＡＣＫ確認とは独立にデータ送信を行うことで、通信性能の劣化を回避する。
本発明を用いた実験では、以下に述べる輻輳制御（制御技術の説明Ｂ）とフロー制御（制御技術の説明Ｄ）で説明するアルゴリズムの働きにより、４秒程度の遅延環境でもほぼワイヤーレートを達成することができた。
<Processing method>
Generally, in data communication performed by TCP or the like, ACK transmission according to a packet from the transmission side is performed on the reception side, but it is well known that communication performance deteriorates as RTT increases. In the present invention, as shown in FIG. 3, communication performance is improved by periodically transmitting ACK on the receiving side independently of packet reception from the transmitting side. Specifically, an ACK response is made with a value (for example, 200 ms) that is generally used as an ACK Delay value in human sensitive speed, TCP communication, and the like as a fixed transmission interval. On the other hand, the transmission side also performs data transmission independently of ACK confirmation, thereby avoiding deterioration in communication performance.
In the experiment using the present invention, the wire rate was almost achieved even in a delay environment of about 4 seconds by the operation of the algorithm described in the following congestion control (Description of control technology B) and flow control (Description of control technology D). We were able to.
輻輳等が激しいなどのネットワークの状態によっては、パケット遅延時間が大きくなったり、パケット送出量が伝送路の一部でネットワークキャパシティを超えるために、パケットが破壊したり廃棄されたりすることがある。本発明では、これらの問題を回避するために、輻輳制御（制御技術の説明Ｂ）について、ネットワークの使用状態に応じて送信側のパケット送出量を自動制御する方式とする。このパケット送出自動制御方式では、システムの立ち上がり時や外乱に反応する輻輳制御（制御技術の説明Ｂ）の制御アルゴリズムにおける目標値追従機能と外乱抑制機能とが有効に機能することで、目標スループット値を即応制御することができる。 Depending on network conditions such as heavy congestion, packet delay time may increase, or packets may be destroyed or discarded because the amount of packets sent exceeds the network capacity in part of the transmission path. . In the present invention, in order to avoid these problems, a method of automatically controlling the packet transmission amount on the transmission side according to the use state of the network is adopted for congestion control (Description of control technology B). In this packet transmission automatic control method, the target throughput value is effectively obtained by the target value tracking function and the disturbance suppression function in the control algorithm of the congestion control (Description B of control technology) that reacts to disturbance at the time of system startup or disturbance. Can be controlled immediately.
実験では、図４（ａ）に示す様に、通信帯域が６Ｇｂｐｓから８Ｇｂｐｓ、さらに９Ｇｂｐｓと環境変化した場合に、数秒程度で目標スループットが達成されている。なお、パケットの破壊検知には、送受信パケットデータの整合性を検証するための伝送路ノイズ誤り検出手法のひとつであるＣＲＣ（Cyclic Redundancy Check）を使用する。ＣＲＣは、送信前に検査用の値を算出してパケットデータに付加し、受信後に同じ個所の値を算出しなおし、事前に付加された値に一致すれば誤りが無く、一致しなければ通信時にデータの一部が変化して誤りがあったことがわかることを用いたものである。 In the experiment, as shown in FIG. 4A, when the communication band is changed from 6 Gbps to 8 Gbps and further to 9 Gbps, the target throughput is achieved in about several seconds. For packet corruption detection, CRC (Cyclic Redundancy Check), which is one of transmission path noise error detection techniques for verifying the consistency of transmitted / received packet data, is used. CRC calculates the value for inspection before transmission and adds it to the packet data, recalculates the value at the same location after reception, and if it matches the value added in advance, there is no error. This is based on the fact that sometimes a part of the data changes to show that there was an error.
従来の確認応答手法では、送信側はＡＣＫを受信確認するまで受信側の状態が分からず、このため例えば、データ受信側の受信バッファが飽和した場合等に再送信を行う手間が発生する。このため、送信効率が悪い。この問題を改善するためのフロー制御（制御技術の説明Ｄ）として、本発明では、送信側が受信バッファの使用状況に応じて送信する情報量を制御するアルゴリズムを用いる。これにより受信バッファの飽和を防止してパケットロスを減らすことができるので、送信効率が向上する。
実測による図４（ｂ）においては、受信バッファの使用状況に応じて送信側から送出される情報量を調整することにより、受信バッファの飽和が回避されていることが分かる。
In the conventional confirmation response method, the transmission side does not know the state of the reception side until the reception of the ACK is confirmed. For this reason, for example, when the reception buffer on the data reception side is saturated, the trouble of performing retransmission is generated. For this reason, transmission efficiency is bad. As flow control (control technology description D) for improving this problem, the present invention uses an algorithm for controlling the amount of information transmitted on the transmission side according to the use status of the reception buffer. As a result, saturation of the reception buffer can be prevented and packet loss can be reduced, so that transmission efficiency is improved.
In FIG. 4B by actual measurement, it is understood that saturation of the reception buffer is avoided by adjusting the amount of information transmitted from the transmission side in accordance with the usage status of the reception buffer.
従来の手法でのデータ送信時の問題の一つは、パケットロスやエラーによって損失したパケットの扱いである。特に送信側にＡＣＫが届かない場合はパケット損失（送信パケットが受信側に届かない）か、ＡＣＫエラー（受信側からのＡＣＫパケットが送信側に届かない）か、が判別できない。また、一般に、再送制御ではロストパケットの再送を常に優先的に行うとリアルタイム性が損なわれるという問題がある。
このため、本発明では通常パケットとパケットロスの送信割合を制御する。特にＡＣＫが送信側に届かない場合には大きな輻輳が発生したと判断して、一定時間だけタイムアウトによるパケットの再送信を行う再送制御（制御技術の説明Ｃ）を行う。
One of the problems at the time of data transmission in the conventional method is handling of packets lost due to packet loss or error. In particular, when the ACK does not reach the transmitting side, it cannot be determined whether the packet is lost (the transmission packet does not reach the receiving side) or the ACK error (the ACK packet from the receiving side does not reach the transmitting side). In general, in retransmission control, there is a problem that real-time performance is impaired if retransmission of lost packets is always preferentially performed.
For this reason, in the present invention, the transmission rate of normal packets and packet loss is controlled. In particular, when the ACK does not reach the transmission side, it is determined that a large congestion has occurred, and retransmission control (Description C of control technique) is performed in which a packet is retransmitted due to a timeout for a predetermined time.
本発明では、以上の各制御を組み合わせることにより、従来のＵＤＰで実現出来ない信頼性を確保し、さらにＣＲＣによる信頼性確保の代償として生じる再送信が発生した場合の通信効率の低下を抑制し、高信頼・高速データ通信が可能となる。 In the present invention, by combining the above-described controls, reliability that cannot be realized by conventional UDP is ensured, and further, reduction in communication efficiency when re-transmission occurs as a price for ensuring reliability by CRC is suppressed. High-reliability and high-speed data communication is possible.
＜制御技術の説明＞
（Ａ）送出制御（ペーシング）
本発明では、データ送信において目標スループット性能を実現するようにパケットの送信間隔を制御する。輻輳制御のアルゴリズムに基づいて決定された目標スループット値とＰａｔｈ ＭＴＵ探索により得られるセグメントサイズに従い、送出ペースをコントロールする。この値を用いて送信時間をスケジューリングし、使用する計算機の高精度な時刻取得関数で取得した時刻と比較して、送信すべき時刻になっていればパケットの送信を行い、そうでなければ待機する。目標とするスループットには、次項で説明する輻輳制御によって決定されるスループットを使用する。
例えば、目標１０Ｇｂｐｓ、セグメントサイズが８９００Ｂｙｔｅの際、ペーシング間隔は７１２０ｎｓとなり現在の計算機では十分に達成可能なタイミングである。図５に示すように、本発明を試験的に実装し４０Ｇｂｐｓ環境において実測したところ、１コネクションで約１４．５Ｇｂｐｓを達成した。
<Description of control technology>
(A) Transmission control (pacing)
In the present invention, the packet transmission interval is controlled to achieve the target throughput performance in data transmission. The sending pace is controlled according to the target throughput value determined based on the congestion control algorithm and the segment size obtained by the Path MTU search. The transmission time is scheduled using this value, and compared with the time acquired by the high-accuracy time acquisition function of the computer to be used, the packet is transmitted if it is time to transmit, otherwise it waits To do. The throughput determined by the congestion control described in the next section is used as the target throughput.
For example, when the target is 10 Gbps and the segment size is 8900 bytes, the pacing interval is 7120 ns, which is sufficiently achievable with the current computer. As shown in FIG. 5, when the present invention was experimentally installed and measured in a 40 Gbps environment, about 14.5 Gbps was achieved with one connection.
より具体的には、輻輳制御のアルゴリズムに基づいて決定された目標スループット値を元に輻輳制御で計算される送信スループットに従い、送出ペースをコントロールする。制御変更間隔はフロー制御の実行間隔に従う。輻輳制御で得られる送信スループット（目標送信スループットを元にして求められる）と、セグメントサイズ（Ｐａｔｈ ＭＴＵ探索が完了している場合はその値）から、送信すべき間隔（数ｕｓ〜数百ｕｓ）を次の式で算出する。 More specifically, the transmission pace is controlled according to the transmission throughput calculated by the congestion control based on the target throughput value determined based on the congestion control algorithm. The control change interval follows the flow control execution interval. The transmission interval (several to several hundreds of us) based on the transmission throughput obtained by the congestion control (obtained based on the target transmission throughput) and the segment size (or the value when the Path MTU search is completed) Is calculated by the following equation.
なお、ＯＳによっては高精度時間計測を有していないため高精度のカウンタＡＰＩを使用し、指定した間隔毎に送信する。送信後は、次の送信時刻までスリープする。 Note that some OSs do not have high-accuracy time measurement, so a high-accuracy counter API is used and transmitted at specified intervals. After transmission, sleep until the next transmission time.
（Ｂ）輻輳制御
一般にフィードバックモデル等による自動制御方式では、最適なパラメータを設定しなければ制御対象や通信系全体によい応答を与えない場合がある。本発明では、送出する情報量に関しては、例えば、よく知られたＰＩＤ（Proportional-Integral-Derivative）制御を行う。また、ＰＩＤ制御の伝達関数の係数は、ジーグラ・ニコルスのステップ応答法などにより決定する。ステップ応答法は制御対象にステップ信号を入力して応答特性を観測する方法で、一般に自動制御に使用される。この決定法による伝達関数の特性として、送信スループットの立ち上がりが緩やかで目標スループットに到達するのに時間がかかり、外乱などによって急激にスループットが下がった時にも回復に時間がかかる。
(B) Congestion control In general, an automatic control method using a feedback model or the like may not give a good response to the controlled object or the entire communication system unless optimum parameters are set. In the present invention, for the amount of information to be transmitted, for example, well-known PID (Proportional-Integral-Derivative) control is performed. The coefficient of the transfer function of PID control is determined by the Ziegler-Nichols step response method. The step response method is a method of observing response characteristics by inputting a step signal to a controlled object, and is generally used for automatic control. As a characteristic of the transfer function according to this determination method, the rise of the transmission throughput is slow and it takes time to reach the target throughput, and it takes time to recover even when the throughput suddenly decreases due to disturbance or the like.
これに対して、本発明では、送信スループットの変化に俊敏に対応するための即応制御アルゴリズムの適用を提案する。具体的には、例えば、現在の送信スループット予測結果が前回測定時の送信スループットより大きい場合は目標値との差分値の小数（１未満の値）倍分を加算することで立ち上がりを急勾配にする。一方、現在の送信スループット予測結果が前回の送信スループット測定値より小さい場合は今回と過去数回分の送信スループット値を平均する。これによって目標送信スループットまで到達するに要する時間を短くする。
具体的には次の技術から構成される。
（イ）送信スループットを抑制してもパケットロス率に変化がない場合、ネットワーク状況が粗悪で送信スループットに依存しない一定のパケットロス域が存在していると判断し、送信スループットの抑制を休止する技術。具体的には１秒間パケットロス率に変化がない時、その時点での送信スループットを目標スループットとする。
（ロ）目標送信スループットに到達するためのネットワーク帯域が十分に用意されているにも関わらず、目標送信スループットに到達するまでに送信スループットの変化がなくなった場合、ネットワーク状況が粗悪であると判断して目標送信スループットを抑制する。具体的には、1秒間受信スループットに変化がない時、その受信スループット値を目標スループットとする。
（ハ）スループット評価（目標スループット値の設定）にプロセス制御技術（例えば上記ＰＩＤ制御技術）を用い、即応性、継続性、予見性を含めた予測を行う技術。具体的にはプロセス制御として上記ＰＩＤ制御を用い、その時刻までのスループット値の偏差（Ｐ）、偏差の累計（Ｉ）、前回の偏差との差（Ｄ）の総和により目標スループット値を求める。
On the other hand, the present invention proposes the application of an responsive control algorithm for quickly responding to changes in transmission throughput. Specifically, for example, if the current transmission throughput prediction result is larger than the transmission throughput at the time of the previous measurement, the rise is made steep by adding a fraction (less than 1) times the difference value from the target value. To do. On the other hand, if the current transmission throughput prediction result is smaller than the previous transmission throughput measurement value, the transmission throughput values for this time and the past several times are averaged. This shortens the time required to reach the target transmission throughput.
Specifically, it consists of the following technologies.
(A) If the packet loss rate does not change even if the transmission throughput is suppressed, it is determined that there is a certain packet loss area that does not depend on the transmission throughput due to poor network conditions, and the suppression of the transmission throughput is suspended. Technology. Specifically, when there is no change in the packet loss rate for 1 second, the transmission throughput at that time is set as the target throughput.
(B) If there is no change in the transmission throughput before reaching the target transmission throughput even though there is sufficient network bandwidth to reach the target transmission throughput, the network status is judged to be poor. Thus, the target transmission throughput is suppressed. Specifically, when there is no change in the reception throughput for 1 second, the reception throughput value is set as the target throughput.
(C) Technology that uses process control technology (for example, the PID control technology described above) for throughput evaluation (setting of target throughput value) and performs prediction including responsiveness, continuity, and predictability. Specifically, the PID control is used as the process control, and the target throughput value is obtained from the sum of the deviation (P) of the throughput value up to that time, the accumulated deviation (I), and the difference (D) from the previous deviation.
（Ｃ）再送制御
図３に示すように、パケット受信側はパケット受信とは独立に定常的にＡＣＫ送信を行う。また、パケット送信側もＡＣＫ確認とは独立にデータ送信を行うことで、通信速度の劣化を回避する。図３はパケットロスがない場合を示すが、パケットロスがある場合には、図６に示す様に、パケット受信側が固定送信間隔で送信したＡＣＫをパケット送信側で受信した際に、パケット受信側でパケットロスが判明したパケットのシーケンス番号を、パケット受信側からのフィードバック情報のひとつとして、パケット送信側がデータロス率とともに取得する。パケット送信側は、このパケットのシーケンス番号に基づいて再送信を行う。その際、本発明では、通常送られるパケット（通常パケット）とパケットロスの送信の割合をデータロス率で決めて送信する。これにより、リアルタイム性を損なわない送信が実現できる。また、ＡＣＫパケットロスによりパケット受信側が送出したＡＣＫパケットがパケット送信側に届かない時は、過大な輻輳が発生したと判断して、一定時間タイムアウトによるパケットの再送信を行う。ＡＣＫパケットロス時の再送制御は、リアルタイム性よりもデータ修復を優先し、ロストパケットのみの再送を行う。
(C) Retransmission Control As shown in FIG. 3, the packet receiving side steadily transmits ACK independently of packet reception. Further, the packet transmission side also performs data transmission independently of the ACK confirmation, thereby avoiding communication speed degradation. FIG. 3 shows a case where there is no packet loss. When there is a packet loss, as shown in FIG. 6, when the packet receiving side receives an ACK transmitted at a fixed transmission interval, the packet receiving side The packet transmission side acquires the sequence number of the packet whose packet loss is found in step 1 as one of feedback information from the packet reception side together with the data loss rate. The packet transmission side performs retransmission based on the sequence number of this packet. At this time, in the present invention, the transmission rate of the packet that is normally sent (normal packet) and the packet loss is determined by the data loss rate and transmitted. Thereby, the transmission which does not impair real-time property is realizable. Further, when the ACK packet sent by the packet receiving side does not reach the packet transmitting side due to the ACK packet loss, it is determined that excessive congestion has occurred, and the packet is retransmitted due to a timeout for a certain time. In retransmission control when an ACK packet is lost, data restoration is prioritized over real-time performance, and only lost packets are retransmitted.
具体的には次の技術から構成される。
（イ）再送要求リストとデータロス率をＡＣＫパケットでサーバ側（受信側）からクライアント側（送信側）に送信する。
Specifically, it consists of the following technologies.
(A) The retransmission request list and the data loss rate are transmitted from the server side (reception side) to the client side (transmission side) as an ACK packet.
（ロ）サーバ側（受信側）において、到着パケットのシーケンス番号から再送要求リストを作成しパケットロス状態およびその再送要求を管理する技術。次の４つの技術から構成される。
（ａ）受信側が受信したパケットのシーケンス番号が連番でなく、かつ過去受信したパケットの最大シーケンス番号より大きい時、抜けたシーケンス番号のパケットがデータロスしたパケットであると判断する。
（ｂ）ロスしたパケットのシーケンス番号が連番の場合、再送要求リストの開始番号と終了番号にロスしたパケットの連番開始番号と終了番号を格納する。
（ｃ）ロスしたパケットのシーケンス番号が連番でない場合、再送要求リストの開始番号と終了番号にロスしたパケットのシーケンス番号を格納する。
（ｄ）受信側が受信したパケットのシーケンス番号が過去受信したパケットの最大シーケンス番号より小さく、再送リストに載せられているシーケンス番号である時、受信したパケットのシーケンス番号を再送要求リストから削除する。
(B) A technique for creating a retransmission request list from the sequence numbers of arriving packets on the server side (receiving side) and managing the packet loss state and the retransmission request. It consists of the following four technologies.
(A) When the sequence number of the packet received by the receiving side is not a serial number and is larger than the maximum sequence number of the packet received in the past, it is determined that the packet with the missing sequence number is a data loss packet.
(B) When the sequence number of the lost packet is a serial number, the serial number start number and end number of the lost packet are stored in the start number and end number of the retransmission request list.
(C) If the sequence number of the lost packet is not a sequential number, the sequence number of the lost packet is stored in the start number and end number of the retransmission request list.
(D) When the sequence number of the packet received by the receiving side is smaller than the maximum sequence number of the previously received packet and is the sequence number on the retransmission list, the sequence number of the received packet is deleted from the retransmission request list.
（ハ）クライアント側（送信側）からデータ送信する時、通常送られるパケットと再送するロスパケットの送信の割合を、ＡＣＫに記述されているデータロス率を元に決定する。具体的には、以下のそれぞれの状態に合わせて受信バッファが埋まる速度に応じた再送パケットの転送配分制御を行う（受信バッファの満杯までの時間に対して転送配分する）。
（ａ）通常状態には、ＡＣＫパケットで受け取ったパケットロス率からパケットロス率の３倍を全送信パケットの再送信転送配分にする。ただし、再送率は最低３０％とする。
（ｂ）受信バッファ飽和状態には、再送パケットを再優先で送信する。
（ｃ）パケット送信時には、上記再送率を、例えば、「パケット１００回送信ごとの再送パケット送信回数」に変換して送信する。
（ニ）ＡＣＫが送信側に届かない場合には、大きな輻輳が発生してデータパケットがサーバ側（受信側）に届かなかったと判断して一定時間タイムアウトによる再送信を行う。タイムアウトする一定時間は、ＲＴＯ（Retransmission Time Out）として算出する。ＲＴＯは転送パケットのＲＴＴからＲＴＯを計算するが、ネットワークの状態によってＲＴＴ時間は大きく変動するのでＲＴＴ時間を平滑して用いる。例えば、以下の３００ｍｓはＡＣＫ送信間隔の１．５倍として経験的に定義した。
(C) When data is transmitted from the client side (transmission side), the ratio of transmission of normally transmitted packets and retransmitted loss packets is determined based on the data loss rate described in the ACK. Specifically, retransmission packet transfer distribution control is performed according to the speed at which the reception buffer is filled in accordance with each of the following states (transfer distribution is performed with respect to the time until the reception buffer is full).
(A) In the normal state, 3 times the packet loss rate from the packet loss rate received by the ACK packet is set as the retransmission transfer distribution of all transmission packets. However, the retransmission rate is at least 30%.
(B) In the reception buffer saturation state, the retransmission packet is transmitted with priority again.
(C) At the time of packet transmission, the retransmission rate is converted into, for example, “the number of retransmission packet transmissions every 100 packet transmissions” and transmitted.
(D) If the ACK does not reach the transmission side, it is determined that a large congestion has occurred and the data packet has not reached the server side (reception side), and retransmission is performed with a timeout for a certain time. The fixed time for timeout is calculated as RTO (Retransmission Time Out). The RTO calculates the RTO from the RTT of the transfer packet. Since the RTT time varies greatly depending on the network state, the RTT time is smoothed and used. For example, the following 300 ms is empirically defined as 1.5 times the ACK transmission interval.
ここで、A(n)はＲＴＴの平均値（Smoothed RTT）、また、ｇの推奨値は、例えばg=0.1である。 Here, A (n) is an average value of RTT (Smoothed RTT), and a recommended value of g is, for example, g = 0.1.
（ホ）送受信するパケットデータに対して伝送路ノイズの誤り検出によく使用されている例えばＣＲＣ技術を使用して整合性をとる。具体的には送信側（クライアント側）が送信前に検査用の値を算出してパケットデータに付加し、受信側（サーバ側）が受信後に同じ個所の値を算出し直す。算出値が事前に付加された値に一致しなければ整合性が取れないとして再度送信を行う。 (E) Consistency is obtained by using, for example, a CRC technique that is often used for error detection of transmission path noise for packet data to be transmitted and received. Specifically, the transmission side (client side) calculates a value for inspection before transmission and adds it to the packet data, and the reception side (server side) recalculates the value at the same location after reception. If the calculated value does not match the value added in advance, it is transmitted again because the consistency cannot be obtained.
（Ｄ）フロー制御
パケット送信側は、（１）パケット受信側で使用可能なバッファの使用率閾値と、そのバッファの使用率閾値に達するまでのバッファ飽和時間の閾値と、を設定し、（２）パケット受信側から取得した受信バッファの使用率からそのバッファが飽和するまでの予測時間を計算する。（３）受信バッファの使用率が上記使用率閾値を、あるいは、上記予測時間が上記バッファ飽和時間の閾値を、超えた場合、バッファが溢れると判断して送信側の送出する情報量を抑制する。
(D) Flow control The packet transmitting side sets (1) a buffer usage threshold that can be used on the packet receiving side, and a buffer saturation time threshold until the buffer usage threshold is reached. ) Calculate the estimated time until the buffer is saturated from the usage rate of the reception buffer acquired from the packet receiver. (3) When the usage rate of the reception buffer exceeds the usage rate threshold value or the predicted time exceeds the buffer saturation time threshold value, it is determined that the buffer overflows, and the amount of information transmitted on the transmission side is suppressed. .
具体的には次の技術から構成される。
（イ）送信側が受信側から取得した受信バッファの使用率と現在の送信スループットから受信バッファが飽和するまでの時間を予測計算する。
Specifically, it consists of the following technologies.
(A) The transmission side predicts and calculates the reception buffer usage rate acquired from the reception side and the current transmission throughput until the reception buffer is saturated.
（ロ）送信側が、受信バッファの使用状況（通常状態と受信バッファ飽和状態）を判断し、状況に応じて送信スループットを制御する。通常状態（例えば、受信バッファ使用率が７０％未満かつ満杯までの時間がＲＴＴの定数倍値以上のとき）では、輻輳制御で得た送信スループットでパケットを送信する。一方、受信バッファ飽和状態（受信バッファ使用率が７０％以上か満杯までの時間がＲＴＴの定数倍値未満のとき）には輻輳制御で得た送信スループットの小数倍のスループットでパケットを送信する（推奨小数値は０．９）。
（ハ）送信側が、受信側から取得した受信バッファの使用率が受信バッファの使用率閾値を超えた場合、現状の送信スループットを維持すると受信バッファがあふれると判断して送信側の送信スループットを抑制する。上記（ｂ）に対応する。
（ニ）送信側が受信側から取得した受信バッファの使用率がバッファ飽和時間の閾値を超えた場合、現状スループットを維持するとバッファがあふれると判断して、送信側のスループットを抑制する。上記（ｂ）に対応する。
（ホ）受信バッファ飽和時間を予測する。ＡＣＫパケット中のバッファ使用率データから、そのバッファ使用率が由来する受信バッファが飽和する時刻を予測する。例えば、直前１秒間のデータから飽和予想時間を算出する。
(B) The transmission side determines the usage status (normal state and reception buffer saturation status) of the reception buffer, and controls transmission throughput according to the status. In a normal state (for example, when the reception buffer usage rate is less than 70% and the time until full is equal to or greater than a constant multiple of RTT), the packet is transmitted at the transmission throughput obtained by the congestion control. On the other hand, when the reception buffer is saturated (when the reception buffer usage rate is 70% or more or the time until full is less than a constant multiple of RTT), the packet is transmitted at a fraction of the transmission throughput obtained by the congestion control. (Recommended decimal value is 0.9).
(C) When the transmission buffer usage rate acquired from the reception side exceeds the reception buffer usage threshold, the transmission side determines that the reception buffer will overflow if the current transmission throughput is maintained, and suppresses the transmission throughput on the transmission side To do. This corresponds to the above (b).
(D) When the usage rate of the reception buffer acquired from the reception side by the transmission side exceeds the buffer saturation time threshold, it is determined that the buffer overflows if the current throughput is maintained, and the transmission side throughput is suppressed. This corresponds to the above (b).
(E) Predict the reception buffer saturation time. From the buffer usage rate data in the ACK packet, the time when the receiving buffer from which the buffer usage rate is derived is predicted. For example, the expected saturation time is calculated from the data for the previous one second.
（Ｅ）ＵＤＰ−ｂａｓｅｄ ＭＴＵ探索
経路の許容する値で確認できる最大のＭＴＵサイズを知り活用する（Path MTU Discovery）。ＵＤＰベースで実装するためＤＦ（分割禁止）フラグ（ＩＰヘッダに含まれる）によりＩＣＭＰ（Internet Control Message Protocol）実装におけるPath MTU Discovery 相当のＭＴＵ探索機構を実現できる。ＤＦフラグをセットしたパケットを様々なセグメントサイズで送信することで、応答が確認できたサイズにより宛先に届く最大パケットサイズを確認する。この仕組みによってＭＴＵサイズにほぼ近い単位でパケット送出を制御し、ヘッダオーバーヘッドによる帯域およびパケットカウントを無駄に消費せずに、パケット数の最小化とスループットの最大化を達成できる。近年のインターネット環境ではＩＣＭＰを遮断したルータ設定（つまりファイアウォール）が多く、経路上のPath MTU Discovery 相当の探索が難しいが、本発明ではＵＤＰを用いることでこの問題を解決する。
(E) UDP-based MTU search Knows and utilizes the maximum MTU size that can be confirmed by the allowable value of the path (Path MTU Discovery). Since the implementation is based on UDP, an MTU search mechanism equivalent to Path MTU Discovery in ICMP (Internet Control Message Protocol) implementation can be realized by a DF (division prohibition) flag (included in the IP header). By transmitting packets with the DF flag set in various segment sizes, the maximum packet size reaching the destination is confirmed based on the size of the response that can be confirmed. With this mechanism, packet transmission can be controlled in units almost similar to the MTU size, and the number of packets can be minimized and the throughput can be maximized without wasting bandwidth and packet count due to header overhead. In recent Internet environments, there are many router settings (that is, firewalls) that block ICMP, and it is difficult to perform a search equivalent to Path MTU Discovery on the route. In the present invention, this problem is solved by using UDP.
具体的には次の技術から構成される。
（イ）探索するＭＴＵの区間を例えば１０段階に分割し、ＤＦフラグをセットして送信し、パケットの到達が確認できる最も大きなサイズを求める処理を再帰的に繰り返す。探索コストを抑えるため、正確なＰａｔｈ ＭＴＵを求めるのではなく誤差を最大で例えば１０バイト許容する。
Specifically, it consists of the following technologies.
(A) The MTU section to be searched is divided into, for example, 10 stages, the DF flag is set and transmitted, and the process for obtaining the largest size that can confirm the arrival of the packet is recursively repeated. In order to reduce the search cost, the error is not allowed to be obtained accurately, but an error of 10 bytes at the maximum is allowed.
（Ｆ）ＲＴＴ計測
経路上のＲＴＴを定期的に測定し、これに応じてフロー制御を行うことで変動する様々な環境下での応答性能を確保する。具体的には、送信側は送信パケットにＲＴＴフラグをセットし、ＲＴＴ応答パケットが到着する時刻でＲＴＴを求める。この手法そのものに新しさはないが、これを本発明に適用することにより即応性の高い輻輳制御を実現できる。
(F) RTT measurement RTT on the path is periodically measured, and flow control is performed in accordance with the measurement to ensure response performance under various environments. Specifically, the transmission side sets the RTT flag in the transmission packet, and obtains the RTT at the time when the RTT response packet arrives. Although this method itself is not new, by applying it to the present invention, highly responsive congestion control can be realized.
具体的には次の技術から構成される。
（イ）ＴＣＰでのコネクションの確立に使用されるスリーウェイハンドシェイク（3way-handshake）の期間中にＲＴＴを測定する。具体的には、データ送受信開始前にＲＴＴを測定しておく。
（ロ）また、通信中に定期的にＲＴＴを測定する。具体的には、１秒毎にＲＴＴを測定するパケットを送信する。
Specifically, it consists of the following technologies.
(A) RTT is measured during a three-way handshake used for establishing a connection in TCP. Specifically, RTT is measured before starting data transmission / reception.
(B) Also, RTT is measured periodically during communication. Specifically, a packet for measuring RTT is transmitted every second.
（Ｇ）パケットロスカウント
受信側（サーバ側）において、受信パケットを計測しパケットロス率を評価する。具体的には、ある時点で次に受信期待するシーケンス番号と受信したパケットのシーケンス番号とを比較し、番号の差をロスサイズ（バイト）として累積カウントする。ただし、期待するより一定区間前のシーケンス番号は到着順序の入れ替わりとみなし、既に累積カウントされたロスサイズからデータ長を差し引いてパケットロスとしては累積カウントしないようにする。シーケンス番号が進んだ分に対するロスサイズをパケットロス率とする。このパケットロス率から回線状態を測定し、パケットロス率が変化しない場合のフロー制御等に使用する。この様な算出自体は公知であるが、これにより本発明の再送制御において全送信量に対する再送量が決定され、効率のよい再送処理を実現できる。
(G) Packet loss count On the receiving side (server side), the received packet is measured and the packet loss rate is evaluated. Specifically, the sequence number expected to be received next at a certain point of time is compared with the sequence number of the received packet, and the number difference is cumulatively counted as a loss size (bytes). However, a sequence number before a certain interval than expected is regarded as a change in the arrival order, and the data length is subtracted from the already-counted loss size so as not to be counted as a packet loss. The loss size corresponding to the advance of the sequence number is defined as the packet loss rate. The line state is measured from the packet loss rate and used for flow control when the packet loss rate does not change. Such calculation itself is well known, but by this, the retransmission amount for the total transmission amount is determined in the retransmission control of the present invention, and an efficient retransmission process can be realized.
本発明の負荷変動およびパケット伝送損失があるＬＦＮ伝送路で高信頼通信を行うためのデータ通信制御方法は、現在普及しているほぼすべてのプラットフォーム（Ｗｉｎｄｏｗｓ（登録商標）／Ｌｉｎｕｘ（登録商標）／Ａｐｐｌｅ ｉＯＳ（登録商標）／Ａｎｄｒｏｉｄ（登録商標）など）で提供されているＵＤＰ ＡＰＩ（Application Programming Interface）により実装できる。したがって本データ通信制御方式は移植性が高く、プラットフォームの相互互換性・運用性が確保できる。すなわち、本データ通信制御方式はエッジレベルのＳＤＮ（Software Defined Networking）化やＰ２Ｐ（Peer to Peer）による最短ネットワークパスでのデータ伝送などに利点があり、インターネットベースのコンテンツ配信やスマートデバイスＩｏＴ(登録商標) ＢＯＸ(Internet of Things BOX)、ＩｏＴデバイス、および、高精細カメラの遠隔伝送などを含むビッグデータの安定した集配信での利用が可能である。 The data communication control method for performing highly reliable communication on the LFN transmission line with load fluctuation and packet transmission loss according to the present invention is applicable to almost all platforms (Windows (registered trademark) / Linux (registered trademark) / It can be implemented by a UDP API (Application Programming Interface) provided by Apple ios (registered trademark) / Android (registered trademark). Therefore, this data communication control method is highly portable and can ensure mutual compatibility and operability of the platform. In other words, this data communication control system has advantages in edge-level SDN (Software Defined Networking) and data transmission over the shortest network path by P2P (Peer to Peer), etc. Internet-based content distribution and smart device IoT (registration) Trademark) It can be used for stable collection and distribution of big data including remote transmission of BOX (Internet of Things BOX), IoT devices, and high-definition cameras.
また、本データ通信制御方式では１０Ｇｂｐｓを超えるＬＦＮでの利用ができるため、大規模データ通信を必要とするさまざまなアプリケーションでの利用が可能である。たとえば、遠隔地間での４Ｋ／８Ｋ動画像通信では１０Ｇｂｐｓを超えるデータ通信となるが、これを実ネットワーク（パケットロスや遅延などが発生している）において高信頼に伝送することになる。このようなデータ通信をシングルコネクションで実現できるため、これまでよりもはるかにシンプルで安定したデータ通信システムを構築できる。
上記データ通信制御方式を組み込むことで、各種のアプライアンス製品開発も可能である。例えばピーク帯域を継続的に必要とするシンプルなスイッチに組み込む実アプリケーションには、中間ネットワーク機器の特性を利用して、端末間帯域を確保するための手法として有効に用いることが出来る。
In addition, since this data communication control method can be used with an LFN exceeding 10 Gbps, it can be used in various applications that require large-scale data communication. For example, in 4K / 8K moving image communication between remote locations, data communication exceeds 10 Gbps, but this is transmitted with high reliability in a real network (where packet loss, delay, etc. occur). Since such data communication can be realized by a single connection, a data communication system that is much simpler and more stable than before can be constructed.
Various appliance products can be developed by incorporating the data communication control method. For example, an actual application incorporated in a simple switch that continuously requires a peak bandwidth can be effectively used as a technique for securing a bandwidth between terminals by utilizing the characteristics of an intermediate network device.
１ AUSListen
２ AUSAccept
３ AUSSend
４ AUSRecv
５ AUSSend
６ AUSRecv
７ 送信スレッド
８ 送信バッファ
９ 受信バッファ
１０ 送信スレッド
１１ 送信バッファ
１２ 受信バッファ
１３ 管理スレッド
１４ 受信スレッド
１５ SOCKET API
１６ NIC
１００ ユーザスレッド
２００ AUSOCK ライブラリ
1 AUSListen
2 AUSAccept
3 AUSSend
4 AUSRecv
5 AUSSend
6 AUSRecv
7 Send thread 8 Send buffer 9 Receive buffer 10 Send thread 11 Send buffer 12 Receive buffer 13 Management thread 14 Receive thread 15 SOCKET API
16 NIC
100 user threads 200 AUSOCK library
Claims (6)
（１）肯定応答（ＡＣＫ）返信を所定の等時間間隔で行う事で上記ＬＦＮでの伝送遅延による影響を抑制し、かつ、
（２）上記パケット伝送損失について、その損失割合を求め、該損失割合から上記パケット伝送損失に対する再送要求として通常送られるパケットと再送するロスパケットの送信の割合を決定して上記ＬＦＮの負荷変動による影響を制御し、かつ、
（３）パケット送信においては、設定可能な最大伝送可能情報レートを探索し、探索された上記最大伝送可能情報レート以下の所定の伝送可能情報レートについて、上記パケット送信の送信レートを上記所定の伝送可能情報レートに収束させる送信レート制御を所定の時間間隔で行うことで輻輳制御を行い、
上記送信レート制御は、データ送信において所定の目標スループット性能を実現するようにパケットの送信間隔を制御する制御であり、
パケットの送信間隔を制御する上記制御は、所定の時点のスループット予測結果がその前回測定時のスループットより、（１）大きい場合は、目標値との差分値の小数（１未満の値）倍分を加算することで立ち上がりを急勾配にし、（２）小さい場合は、上記時点とその過去所定回分のスループット値を平均することで、目標スループットまでの到達時間を短くするものである、
ことを特徴とする、負荷変動およびパケット伝送損失があるＬＦＮ伝送路で高信頼通信を行うためのデータ通信制御方法。 A data communication control method for performing highly reliable packet communication in which a transmission amount varies with time in a long-distance broadband network (LFN) having a transmission band of 10 Gbit / s or more, and the LFN is used for transmission / reception with the LFN Packet transmission loss occurs from the perspective of the
(1) Suppressing the influence of the transmission delay in the LFN by performing an acknowledgment (ACK) reply at predetermined equal time intervals, and
(2) For the packet transmission loss, the loss rate is obtained, and from the loss rate, the rate of transmission of a packet that is normally sent as a retransmission request for the packet transmission loss and the transmission rate of the lost packet to be retransmitted is determined. Control the impact, and
(3) In packet transmission, a settable maximum transmittable information rate is searched, and for a predetermined transmittable information rate equal to or less than the searched maximum transmittable information rate, the packet transmission transmission rate is set to the predetermined transmission. the transmission rate control for converging allows information rate have line congestion control by performing a predetermined time interval,
The transmission rate control is a control for controlling a packet transmission interval so as to realize a predetermined target throughput performance in data transmission,
The above control for controlling the packet transmission interval is a fraction (less than 1) times the difference value from the target value when the throughput prediction result at a predetermined time is (1) larger than the throughput at the previous measurement. To make the rise steep, (2) If it is small, the arrival time to the target throughput is shortened by averaging the above time points and the past predetermined throughput values .
A data communication control method for performing highly reliable communication on an LFN transmission line having a load fluctuation and a packet transmission loss.
（１）肯定応答（ＡＣＫ）返信を所定の等時間間隔で行う事で上記ＬＦＮでの伝送遅延による影響を抑制し、かつ、(1) Suppressing the influence of the transmission delay in the LFN by performing an acknowledgment (ACK) reply at predetermined equal time intervals, and
（２）上記パケット伝送損失について、その損失割合を求め、該損失割合から上記パケット伝送損失に対する再送要求を決定して上記ＬＦＮの負荷変動による影響を制御し、かつ、(2) For the packet transmission loss, obtain a loss ratio, determine a retransmission request for the packet transmission loss from the loss ratio, and control the influence of the load fluctuation of the LFN; and
（３）パケット送信においては、設定可能な最大伝送可能情報レートを探索し、探索された上記最大伝送可能情報レート以下の所定の伝送可能情報レートについて、上記パケット送信の送信レートを上記所定の伝送可能情報レートに収束させる送信レート制御を所定の時間間隔で行うことで輻輳制御を行い、(3) In packet transmission, a settable maximum transmittable information rate is searched, and for a predetermined transmittable information rate equal to or less than the searched maximum transmittable information rate, the packet transmission transmission rate is set to the predetermined transmission. Congestion control is performed by performing transmission rate control that converges to a possible information rate at predetermined time intervals,
上記パケット通信の送信側では、その受信側で使用可能なバッファの使用率閾値と該バッファの飽和時間閾値を設定し、上記受信側から取得した受信バッファの使用率からバッファが飽和するまでの時間を予測する計算手段を有し、上記バッファの使用率閾値あるいは上記で予測された時間が上記バッファの飽和時間閾値を超えた場合、送信側で上記送信レート制御を用いて送信レートを抑制するものであることを特徴とする、負荷変動およびパケット伝送損失があるＬＦＮ伝送路で高信頼通信を行うためのデータ通信制御方法。The transmission side of the packet communication sets the buffer usage threshold and the buffer saturation time threshold that can be used at the reception side, and the time from the usage of the reception buffer acquired from the reception side to the buffer saturation. Having a calculation means for predicting the transmission rate and suppressing the transmission rate using the transmission rate control on the transmission side when the buffer usage rate threshold or the predicted time exceeds the buffer saturation time threshold A data communication control method for performing highly reliable communication on an LFN transmission line having a load fluctuation and a packet transmission loss.
ことを特徴とする請求項２に記載の、負荷変動およびパケット伝送損失があるＬＦＮ伝送路で高信頼通信を行うためのデータ通信制御方法。The data communication control method for performing highly reliable communication on an LFN transmission line with load fluctuation and packet transmission loss according to claim 2.
その受信側で使用可能なバッファの使用率閾値と該バッファの飽和時間閾値を設定し、上記受信側から取得した受信バッファの使用率からバッファが飽和するまでの時間を予測する計算手段を有し、
上記バッファの使用率閾値あるいは上記で予測された時間が上記バッファの飽和時間閾値を超えた場合、送信側で上記送信レート制御を行って送信レートを抑制するものであることを特徴とする請求項１に記載の、負荷変動およびパケット伝送損失があるＬＦＮ伝送路で高信頼通信を行うためのデータ通信制御方法。 On the packet communication sender side,
It has a calculation means for setting a buffer usage threshold that can be used on the receiving side and a saturation time threshold for the buffer, and predicting a time until the buffer is saturated from the usage rate of the receiving buffer acquired from the receiving side. ,
Claims, characterized in that the time predicted in usage rate threshold or above the buffer may exceed the saturation time threshold of the buffer, and suppresses the transmission rate by performing the transmission rate control on the transmission side 2. A data communication control method for performing highly reliable communication on an LFN transmission line having load fluctuation and packet transmission loss according to 1 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015179510A JP6613742B2 (en) | 2015-09-11 | 2015-09-11 | Data communication control method for performing highly reliable communication on LFN transmission line with load fluctuation and packet transmission loss |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015179510A JP6613742B2 (en) | 2015-09-11 | 2015-09-11 | Data communication control method for performing highly reliable communication on LFN transmission line with load fluctuation and packet transmission loss |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017055336A JP2017055336A (en) | 2017-03-16 |
| JP6613742B2 true JP6613742B2 (en) | 2019-12-04 |
Family
ID=58321299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015179510A Active JP6613742B2 (en) | 2015-09-11 | 2015-09-11 | Data communication control method for performing highly reliable communication on LFN transmission line with load fluctuation and packet transmission loss |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6613742B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112468511B (en) * | 2020-12-11 | 2023-02-03 | 建信金融科技有限责任公司 | File transmission method and device |
| CN114641037B (en) * | 2022-03-09 | 2024-07-23 | 南通大学 | Internet of vehicles task unloading method with automatic transmission rate adjustment function |
| CN114827149A (en) * | 2022-04-29 | 2022-07-29 | 北京尚谷彤邺科技发展有限公司 | Transmission system, method and device for real-time communication big data |
| CN115002240B (en) * | 2022-08-04 | 2022-12-16 | 深圳市星卡软件技术开发有限公司 | Data transmission system, method, device, equipment and medium |
| CN115826885B (en) * | 2023-02-21 | 2023-05-09 | 浪潮电子信息产业股份有限公司 | Data migration method and device, electronic equipment and storage medium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005204001A (en) * | 2004-01-15 | 2005-07-28 | Hitachi Ltd | Data distribution server, software, and system |
| JP2005204157A (en) * | 2004-01-16 | 2005-07-28 | Nippon Telegr & Teleph Corp <Ntt> | Stream filtering system, content distribution system and stream filtering method as well as program |
| JP4862744B2 (en) * | 2007-05-18 | 2012-01-25 | ソニー株式会社 | Data transmission device, data reception device, data transmission method, data reception method, data transmission program, and data reception program |
| JP5375313B2 (en) * | 2009-05-01 | 2013-12-25 | 日本電気株式会社 | Communication device, pseudo-response device, transmission rate control method, and program |
| JP5787707B2 (en) * | 2011-10-12 | 2015-09-30 | 三菱電機株式会社 | COMMUNICATION SYSTEM, DATA TRANSMITTING TERMINAL, DATA RECEIVING TERMINAL, AND TRANSMISSION RATE CONTROL METHOD |
| EP2863589B1 (en) * | 2012-06-13 | 2020-03-11 | Nippon Telegraph and Telephone Corporation | Optical network system, optical switch node, master node, and node |
-
2015
- 2015-09-11 JP JP2015179510A patent/JP6613742B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017055336A (en) | 2017-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3535932B1 (en) | Application characterization using transport protocol analysis | |
| DK3135009T3 (en) | Network overload control method and apparatus based on transmit rate gradients | |
| JP6613742B2 (en) | Data communication control method for performing highly reliable communication on LFN transmission line with load fluctuation and packet transmission loss | |
| US8811419B2 (en) | Communication device | |
| US8943206B2 (en) | Network bandwidth detection and distribution | |
| US9660912B2 (en) | Control of packet transfer through a multipath session comprising a single congestion window | |
| US7873065B1 (en) | Selectively enabling network packet concatenation based on metrics | |
| Strowes | Passively measuring TCP round-trip times | |
| US10148543B2 (en) | Connection-oriented communication devices with round trip time estimation | |
| US11533656B2 (en) | Method of traffic and congestion control for a network with quality of service | |
| JP2013191931A (en) | Information processing device, congestion control method, and congestion control program | |
| CN107852372B (en) | Data packet network | |
| US11153220B2 (en) | Methods and apparatus to determine network delay with location independence | |
| US20160277943A1 (en) | Network system, control method of network system, communication device, and program | |
| US9130843B2 (en) | Method and apparatus for improving HTTP adaptive streaming performance using TCP modifications at content source | |
| Pavarangkoon et al. | Bandwidth utilization enhancement using high-performance and flexible protocol for INTELSAT satellite network | |
| Ahmad et al. | EXPERIMENTAL EVALUATION OF TCP CONGESTION CONTORL MECHANISMS IN SHORT AND LONG DISTANCE NETWORKS. | |
| Lu et al. | EQF: An explicit queue-length feedback for TCP congestion control in datacenter networks | |
| Murata et al. | An application of novel communications protocol to high throughput satellites | |
| US9882751B2 (en) | Communication system, communication controller, communication control method, and medium | |
| WO2020154872A1 (en) | Transmission control protocol acceleration method and apparatus | |
| Kalim et al. | Cascaded TCP: Applying pipelining to TCP for efficient communication over wide-area networks | |
| Khurshid et al. | Protocols for transferring bulk data over internet: Current solutions and future challenges | |
| Bąk et al. | Measurement methodology of TCP performance bottlenecks | |
| Cheng et al. | Acceleration of Multipath TCP by Letting ACKs Take the Shortest Path |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191021 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6613742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |