JP4662485B2 - Method and system for identifying large burst generation flow using packet samples - Google Patents

Method and system for identifying large burst generation flow using packet samples Download PDF

Info

Publication number
JP4662485B2
JP4662485B2 JP2006226061A JP2006226061A JP4662485B2 JP 4662485 B2 JP4662485 B2 JP 4662485B2 JP 2006226061 A JP2006226061 A JP 2006226061A JP 2006226061 A JP2006226061 A JP 2006226061A JP 4662485 B2 JP4662485 B2 JP 4662485B2
Authority
JP
Japan
Prior art keywords
flow
burst generation
rate
packets
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006226061A
Other languages
Japanese (ja)
Other versions
JP2008053878A (en
Inventor
憲昭 上山
達哉 森
亮一 川原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006226061A priority Critical patent/JP4662485B2/en
Publication of JP2008053878A publication Critical patent/JP2008053878A/en
Application granted granted Critical
Publication of JP4662485B2 publication Critical patent/JP4662485B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、パケットサンプルから得られた情報を用いて、フローサイズが大きくレート変動が大きい大量バースト生成フローを特定する方法およびそのシステムに関する。   The present invention relates to a method and system for identifying a large burst generation flow having a large flow size and a large rate variation using information obtained from packet samples.

アクセス回線の大容量化に伴って、ユーザは短時間に大量のパケット送出が可能となる。その結果、形成されるバーストは、中継ルータにおける待ちキュー長を増大させ輻輳の大きな要因となる。これらバーストの網に与える影響を排除するためには、アクセスルータにおいてフロー単位のキューイングによるバーストの平滑化が有効である。しかし、そのための処理負荷や所要メモリ量は大きく、全てのフローに対して平滑化処理を行うことは非現実的である。   As the capacity of the access line is increased, the user can send a large amount of packets in a short time. As a result, the formed burst increases the waiting queue length in the relay router and becomes a major cause of congestion. In order to eliminate the influence of these bursts on the network, burst smoothing by queuing per flow is effective in the access router. However, the processing load and required memory amount for that are large, and it is unrealistic to perform the smoothing process on all the flows.

網には、レート変動やフローサイズの小さなフローも存在する。平滑化処理に伴うパケット損失は避けるべきであり、そのため平滑化後の転送レートは長期平均レートとなり、レート変動が小さいフローは平滑化効果が期待できない。また、フローサイズが小さく生成バースト数の少ないフローは、他のトラヒックに与える影響が小さく、平滑化の効果も限定的となる。そのため、平滑化を行う対象は、レート変動が大きくフローサイズの大きな、平滑化の効果が高いフローに限定することが望ましい。ここでは、このようなフローを大量バースト生成フローと定義する。大量バースト生成フローをフロー計測によって特定し、特定したフローのみを平滑化の対象とすれば、限られたルータ資源を効率的に用いながら平滑化処理を効果的に実現できる。   There are also flows with small rate fluctuations and flow sizes in the network. Packet loss associated with the smoothing process should be avoided. Therefore, the transfer rate after smoothing becomes a long-term average rate, and a smoothing effect cannot be expected for flows with small rate fluctuations. In addition, a flow having a small flow size and a small number of generated bursts has little influence on other traffic, and the smoothing effect is limited. Therefore, it is desirable to limit the objects to be smoothed to flows having a large rate variation and a large flow size and a high smoothing effect. Here, such a flow is defined as a large burst generation flow. If a large burst generation flow is specified by flow measurement and only the specified flow is a target for smoothing, smoothing processing can be effectively realized while efficiently using limited router resources.

従来の高レートフロー特定方法では、フローレートに対する特定確率が定式化されておらず、特定されるフローレートの閾値の与え方が明らかではなかった。全てのパケットに対して特定のための処理を行う方法は、高速回線への適用が困難である。また、RED(Random Eary Detection)の使用を前提とした方法は、特定閾値となるフローレートを明示的に与えることができるが、REDの使用が前提であるため、REDを用いないルータには適用できず、やはり任意のフローレートに対する特定確率が定式化されていないため、特定精度が明らかでない。   In the conventional high-rate flow specifying method, the specific probability with respect to the flow rate is not formulated, and it is not clear how to specify the threshold value of the specified flow rate. A method for performing processing for specifying all packets is difficult to apply to a high-speed line. In addition, the method based on the use of RED (Random Early Detection) can explicitly give a flow rate as a specific threshold, but since it is based on the use of RED, it is applicable to routers that do not use RED. Since the specific probability for an arbitrary flow rate is not formulated, the specific accuracy is not clear.

ところで、フローサイズとフローレートには正の強い相関があることが知られているため、大サイズフローの特定方式で高レートフロー特定の代用を図ることが考えられるが、一般に、フローサイズとフローレートとの関連を定式化することができないため、特定閾値となるフローレートを明示的に与えることができず、特定曲線も得られないため、特定精度も明らかでない。
また、パケットサンプリングにより高レートフローのフローレートを高精度に推定するアプローチもあるが、フローレートの推定を目的としているため、特定の閾値となるフローレートを与えたときの任意のフローレートに対する特定確率が定式化されておらず、やはり特定精度が明らかでない。
By the way, it is known that there is a strong positive correlation between the flow size and the flow rate, so it is conceivable to substitute the high-rate flow specification with the large-size flow specification method. Since the relationship with the rate cannot be formulated, the flow rate serving as the specific threshold cannot be explicitly given, and the specific curve cannot be obtained, so the specific accuracy is not clear.
There is also an approach that estimates the flow rate of a high-rate flow with high accuracy by packet sampling, but because it is intended to estimate the flow rate, it can be specified for any flow rate given a flow rate that is a specific threshold value. Probabilities are not formulated, and the specific accuracy is still not clear.

高レートフローの特定を行う際には、高レートと定義するフローレートの閾値f*とその特定確率H*を設計できることが、実用上重要である。さらに、フローレートfがf<f*のフローが誤って特定される確率(FPR:False Positive Ratio)と、f≧f*のフローが誤って特定されない確率(FNR:False Ngative Ratio)を明確にし、特定精度を明らかにすることが重要である。そのためには、f*とH*を与えたときの任意のfに対する特定確率H(特定曲線)を明らかにする必要がある。   When specifying a high rate flow, it is practically important to be able to design a flow rate threshold f * defined as a high rate and its specific probability H *. Furthermore, the probability that the flow rate f is f <f * is erroneously specified (FPR: False Positive Ratio) and the probability that the flow of f ≧ f * is not specified erroneously (FNR: False Native Ratio) are clarified. It is important to clarify the specific accuracy. For that purpose, it is necessary to clarify the specific probability H (specific curve) for an arbitrary f given f * and H *.

そこで、本発明者は、サンプル情報から高精度で高レートフローを特定するShort Timeout法(ST法と表記)を提案した(特願2005−003868号明細書及び図面)(特許文献1参照)。パケットサンプルでは、フロー統計値を収集するためにフローテーブルが作成されるが、最後にサンプルされた時刻からタイムアウト時間T内に同一フローに属するパケットが新たにサンプルされなかった場合に、フローテーブルからフローのエントリを消去する。ST法では、Tを数〜数10サンプル周期という短い時間に設定し、T内に2個のパケットがサンプルされたフローを高レートフローとして特定する。ST法の原理は非常に単純であり、実装が容易であること、また、所要メモリサイズが小さいという特質がある。   Therefore, the present inventor has proposed a short timeout method (referred to as ST method) that specifies a high-rate flow with high accuracy from sample information (Japanese Patent Application No. 2005-003868 and drawings) (see Patent Document 1). For packet samples, a flow table is created to collect flow statistics, but if a packet belonging to the same flow is not sampled within the timeout period T from the last sampled time, Clear the flow entry. In the ST method, T is set to a short time of several to several tens of sample periods, and a flow in which two packets are sampled within T is specified as a high rate flow. The principle of the ST method is very simple, easy to implement, and has a characteristic that the required memory size is small.

フローを発着IPアドレス、発着ポート番号、プロトコルタイプが共通のパケットの集合と定義する。大容量リンクでは、同時に流れるフロー数が膨大な数となるため、全てのフローを計測対象とすることは困難であり、一定周期で取出したパケットのみを計測の対象とするパケットサンプルが有効である。ST法は、パケットサンプルを用いて高レートフローを特定する方法である。ST法は、長さがφ(s)の測定期間Φを定め、各フローに対してΦ内に到着したパケット数をuとするとき、フローレートfをf≡u/φ(pps)と定義する。パケット到着率∧(pps)はΦの間一定とし、Nパケットごとに1個のパケットをサンプルする。フローのトラヒック比率pをp≡f/∧と定義し、任意に定めた閾値p*に対してp≧p*のフローを高レートフローと定義し、Φ内で2個のパケットがサンプルされたフローを高レートフローとして特定する。p=p*のフローを確率H*で特定することを考え、任意のp*とH*を実現するYとD(すなわちN)の組を次式で算出する。   A flow is defined as a set of packets having a common IP address, port number, and protocol type. With a large-capacity link, the number of flows that flow at the same time is enormous, so it is difficult to measure all flows, and packet samples that measure only packets taken at a fixed period are effective. . The ST method is a method of specifying a high rate flow using packet samples. In the ST method, a measurement period Φ having a length of φ (s) is defined, and the flow rate f is defined as f≡u / φ (pps), where u is the number of packets arriving within Φ for each flow. To do. The packet arrival rate ∧ (pps) is constant during Φ, and one packet is sampled every N packets. The flow traffic ratio p is defined as p≡f / ∧, the flow of p ≧ p * is defined as a high rate flow with respect to an arbitrarily defined threshold p *, and two packets are sampled within Φ. Identify the flow as a high rate flow. Considering that the flow of p = p * is specified by the probability H *, a set of Y and D (that is, N) that realizes an arbitrary p * and H * is calculated by the following equation.

Figure 0004662485
Figure 0004662485

その後に、本発明者は、ST法を改良し、Y個のパケットがタイムアウトしないてサンプルされたフローを特定する方法を提案した(特願2005−181968号明細書及び図面)(特許文献2参照)。上記方法によれば、与えられたパケット到着率と計測時間とから、所望の特定レート閾値とその特定確率を満足する特定曲線を与えるパラメータ設計を行いながら、パケットサンプリングにより簡易な方法をメモリサイズを抑えるとともに、高レートフローを高精度で特定することができるようにしている。
上記方法の動作原理は、下記の通りである。
まず、フローを発着IPアドレス、発着ポート番号、プロトコルタイプが共通のパケットの集合と定義する。そして、長さがφ(s)の任意の測定期間Φを定め、各フローに対して、Φ内に到着したパケット数をuとするとき、フローレートfをf≡u/φ(pps)と定義する。任意に定めた閾値f*に対して、f≧f*のフローを高レートフローと定義し、着目リンクにおいて、高レートフローをΦ内で特定することを考える。
Thereafter, the present inventor proposed a method of improving the ST method and identifying a flow sampled without timeout of Y packets (Japanese Patent Application No. 2005-181968 and drawings) (see Patent Document 2). ). According to the above method, while performing parameter design that gives a specific curve that satisfies a desired specific rate threshold and its specific probability from a given packet arrival rate and measurement time, the memory size can be reduced by packet sampling. In addition, the high-rate flow can be specified with high accuracy.
The operating principle of the above method is as follows.
First, a flow is defined as a set of packets having the same IP address, port number, and protocol type. Then, an arbitrary measurement period Φ having a length of φ (s) is defined, and for each flow, the flow rate f is f≡u / φ (pps) where u is the number of packets arriving in Φ. Define. Consider that a flow with f ≧ f * is defined as a high-rate flow with respect to an arbitrarily defined threshold f *, and that the high-rate flow is specified within Φ at the link of interest.

測定期間Φの時間長をφ(s)とし、着目リンクのパケット到着率∧(pps)はΦの間一定であるとする。そして、一定周期Nパケットごとに1個のパケットをサンプルする。このとき、平均サンプリング間隔はN/∧(s)となる。平均的には高レートフローであるほどサンプルされる確率が高くなる。そのため、単純に1個以上のパケットがサンプルされたフローを全て高レートフローとして特定する方法が考えられる。以後、この方法をNaive Sampling法(NS法と表記)と呼ぶ。この方法は、直感的で実現も容易であるが、特定の判断基準が大雑把であるため特定精度が低い。   It is assumed that the time length of the measurement period Φ is φ (s), and the packet arrival rate ∧ (pps) of the link of interest is constant during Φ. Then, one packet is sampled for every N periodic packets. At this time, the average sampling interval is N / ∧ (s). On average, the higher the rate flow, the higher the probability of being sampled. Therefore, a method is conceivable in which all flows in which one or more packets are sampled are specified as high-rate flows. Hereinafter, this method is referred to as a “Naive Sampling method” (noted as NS method). This method is intuitive and easy to implement, but the specific accuracy is low because the specific criteria are rough.

パケットサンプリングを行うルータでは、最後にパケットがサンプルされてから、タイムアウト時間T内に新たにパケットがサンプルされなかった場合に、フローテーブルに保持されたフロー状態を消去する。通常のパケットサンプリングはフロー統計値の収集を目的としており、Tは通常、15秒や30秒といった大きな時間に設定される。しかし、パケットサンプルの目的を高レートフローの特定に限定した場合、必ずしもTを大きく設定する必要はない。   The router that performs packet sampling erases the flow state held in the flow table when no packet is newly sampled within the timeout time T since the packet was last sampled. Normal packet sampling is intended to collect flow statistics, and T is usually set to a large time such as 15 seconds or 30 seconds. However, when the purpose of the packet sample is limited to specifying a high rate flow, it is not always necessary to set T large.

高レートフローのパケットは短い間隔で到着することから、そのパケットがサンプルされる間隔は短くなる傾向にある。そこで、Tを数〜数10サンプル周期という短い時間に設定し、タイムアウトしないでY個のパケットがサンプルされたフローを高レートフローとして特定することを提案する。すなわち、各々の連続するサンプル間隔がT以内でY個のパケットがサンプルされたフローを特定する。以後、パラメータYによって規定される上記の方法をShort Timeout−Y法(ST−Y法と表記)と呼ぶ。
ここでは、タイムアウト時間Tを、Kを任意の整数をとるパラメータとしてKサンプル周期(T=KN/∧)で与える。ST−Y法は、パラメータKとNを調整することにより、任意の特定曲線を実現する。
Since packets with a high rate flow arrive at short intervals, the intervals at which the packets are sampled tend to be short. Therefore, it is proposed that T is set to a short time of several to several tens of sample periods, and a flow in which Y packets are sampled without time-out is specified as a high rate flow. That is, the flow in which Y packets are sampled within each consecutive sample interval T is specified. Hereinafter, the above method defined by the parameter Y is referred to as a Short Timeout-Y method (referred to as ST-Y method).
Here, the timeout time T is given by a K sample period (T = KN / ∧), where K is a parameter taking an arbitrary integer. The ST-Y method realizes an arbitrary specific curve by adjusting the parameters K and N.

特願2005−003868号明細書及び図面Japanese Patent Application No. 2005-003868 Specification and Drawing 特願2005−181968号明細書及び図面Japanese Patent Application No. 2005-181968 Specification and Drawing

前述したST法は、測定期間Φの時間スケールの高レートフローを特定するため、φを例えば10msといった短時間に設定すれば、ST法を用いてピークレートの高いバーストを有するフローを特定できる。しかしこの場合、ピークレートが高くてもフローサイズが小さく、他のトラヒックに与える影響が小さなフローも同様に特定される。一方、φを例えば1sといった長時間に設定すれば、やはりST法を用いてフローサイズの大きいフローを特定することができる。しかしこの場合、フローサイズが大きくてもピークレートが低く、レート変動が小さいため、平滑化の効果が期待できないフローも同様に特定される。   Since the above-described ST method specifies a high-rate flow on the time scale of the measurement period Φ, if φ is set to a short time such as 10 ms, a flow having a burst with a high peak rate can be specified using the ST method. However, in this case, even if the peak rate is high, the flow size is small, and flows that have a small influence on other traffic are also identified. On the other hand, if φ is set to a long time such as 1 s, a flow having a large flow size can be identified using the ST method. However, in this case, even if the flow size is large, the peak rate is low and the rate fluctuation is small, so that a flow that cannot be expected to have a smoothing effect is similarly identified.

(目的)
本発明の目的は、上述のような課題を解決し、ST法を階層的に用いることにより、サンプルパケット情報を用いて効果的に大量バースト生成フローを特定することができるパケットサンプルを用いた大量バースト生成フロー特定方法およびそのシステムを提供することにある。
(the purpose)
An object of the present invention is to solve the above-described problems and use a large number of packet samples that can effectively identify a large burst generation flow using sample packet information by using the ST method hierarchically. It is an object of the present invention to provide a burst generation flow identification method and system.

本発明によるパケットサンプルを用いた大量バースト生成フロー特定方法は、まず測定周期Φを考え、測定周期Φをk個の測定周期Φに分割し、各測定周期Φ内でサンプルされたパケット数が閾値Y以上となったフローをその測定周期Φにおいて特定し、k個の測定周期Φ中に特定された回数をフローごとにカウントし、特定回数がZ回以上になったフローを最終的に大量バースト生成フローとして特定することを特徴としている。すなわち、本発明は、先に提案したST法で用いる測定周期内をさらに細かな測定周期に分割し、2種の測定結果からバーストを効率良く特定する方法である。
さらに、本発明では、高レートで長時間パケットを送出し続けるようなフローを特定することを避けるため、測定周期Φ内の特定回線が閾値Z’(ただし、Z’>Z)を超えたフローは特定対象から除外することも特徴としている。
Large burst generation flow specific method using the packet samples by the present invention, first consider the measurement period [Phi 1, dividing the measuring period [Phi 1 into k measurement period [Phi 2, sampled within each measurement period [Phi 2 the flow number of packets is equal to or larger than the threshold value Y identified in the measurement period [Phi 2, counts the number of times specified in the k measurement period [Phi 2 for each flow, the flow is specified number of times equal to or greater than Z times Is finally identified as a large burst generation flow. That is, the present invention divides the interior of the measurement period used in the ST method previously proposed by further fine measurement period, Ru method der to efficiently identify a burst from two measurement results.
Furthermore, in the present invention, in order to avoid specifying a flow that continues to send packets at a high rate for a long time, the specific line within the measurement period Φ 1 exceeds the threshold Z ′ (where Z ′> Z). Another feature is that the flow is excluded from a specific target.

本発明によれば、アクセスルータにおいて、パケットサンプルから得られた情報を用いてフローサイズが大きくレート変動が大きい大量バースト生成フローを特定し、特定されたフローに対して平滑化処理を行うことにより、限られたルータ資源を用いて効果的に輻輳を緩和できる、という効果がある。   According to the present invention, in the access router, by using the information obtained from the packet sample, a large burst generation flow having a large flow size and a large rate fluctuation is identified, and smoothing processing is performed on the identified flow. There is an effect that congestion can be effectively reduced by using limited router resources.

以下、本発明の実施形態を図面により詳細に説明する。
図1は、本発明の一実施形態に係る大量バースト生成フロー特定装置の構成図である。
図1において、101はパラメータ設定装置、102はパケットサンプル装置、103はフローテーブル、104は大量バースト生成フロー特定装置、105は大量バースト生成フローリストである。メモリに内蔵された大量バースト生成フローリスト105以外の装置は、いずれもCPU、メモリ等を内蔵したコンピュータで構成され、プログラムを実行することにより、それぞれの機能を逐行する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a configuration diagram of a mass burst generation flow specifying device according to an embodiment of the present invention.
In FIG. 1, 101 is a parameter setting device, 102 is a packet sample device, 103 is a flow table, 104 is a large burst generation flow specifying device, and 105 is a large burst generation flow list. All devices other than the mass burst generation flow list 105 built in the memory are constituted by a computer incorporating a CPU, a memory, and the like, and execute each function by executing a program.

パラメータ設定装置101により、パケットサンプルレートや特定判断閾値YとZが設定される。パケットサンプル装置102によりパケットが一定周期ごとにサンプルされる。
フローテーブル103によりサンプルされたフローのサンプルパケット数と特定回数が記憶される。大量バースト生成フロー特定装置104により、フローテーブル103に記憶されているサンプル回数と特定回数に応じて大量バースト生成フローが特定され、大量バースト生成フローリスト105に出力される。
The parameter setting device 101 sets the packet sample rate and the specific determination threshold values Y and Z. The packet sampler 102 samples a packet at regular intervals.
The number of sample packets and the specific number of flows sampled by the flow table 103 are stored. The large burst generation flow specifying device 104 specifies a large burst generation flow according to the number of samples stored in the flow table 103 and the specific number of times, and outputs it to the large burst generation flow list 105.

(大量バースト生成フロー特定方法)
以下、本発明の大量バースト生成フロー特定方法について説明する。
まず、測定周期Φを考え、その長さをΦ(s)とする。そして、Φをk個の測定周期Φに分割する。測定周期Φの長さをΦ(s)とすると、Φ=kΦとなる。そして、ST法をΦの各々の測定周期で実施し、k個のΦ中に特定された回数をフローごとにカウントし、特定回数がZ回以上となったフローを最終的に大量バースト生成フローとして特定する。フローサイズが大きくてもレート変動が小さいフローは測定周期測定周期Φの時間スケールで特定されず、またレート変動が大きくてもフローサイズが小さいフローは特定回数が少ないため、共にΦ内の特定回数が少なく、最終的に特定されない。
この結果、フローサイズとレート変動が大きい大量バースト生成フローのみを効果的に特定できる。なお、高レートで長時間パケットを送出し続けるようなフロー(レート変動が小さいため、平滑化の効果が期待できない)も特定されるため、Φ内の特定回数が閾値Z’(ただし、Z’>Z)を超えたフローは特定対象から除外する。
(Large burst generation flow identification method)
Hereinafter, the large burst generation flow specifying method of the present invention will be described.
First, the measurement period Φ 1 is considered, and its length is Φ 1 (s). Then, divide the [Phi 1 into k measurement period [Phi 2. If the length of the measurement period Φ 2 is Φ 2 (s), Φ I = kΦ 2 . Then, ST method was carried out in each measurement cycle the [Phi 2, k-number of [Phi the number specified in 2 counts for each flow, eventually large burst of flows for which a specific number equal to or larger than Z times Identified as a generation flow. Flow size flow even rate fluctuations is small increase is not identified on the time scale of the measurement period measurement period [Phi 2, also the flow Flow size be small large rate fluctuations because less specific number, in [Phi 1 together There are few specific times, and it is not finally specified.
As a result, it is possible to effectively specify only a large burst generation flow having a large flow size and rate fluctuation. In addition, since a flow that continues to send packets for a long time at a high rate (the effect of smoothing cannot be expected because the rate fluctuation is small), the specific number of times in Φ 1 is a threshold Z ′ (however, Z The flow exceeding '> Z) is excluded from the specific target.

(比較評価)
本発明の基本的な有効性を確認するため、計算機シミュレーションによる評価を行った。以下の三種類のフローを混在させた。
VRLS:variable−rate large−size flow:レート変動とサイズの大きなフローであり、大量バースト生成フローに相当する。on−off過程によりモデル化し、on期間中はピークレートが100Mbpsになるようパケットを指数分布に従う間隔で発生させ、on期間中はフローごとに1/240〜1/80sの範囲でランダムに設定し、平均レートが20Mbpsになるようにoff期間長を設定した。10本のVRLSフローを多重させた。
CRLS:constant−rate large−size flow:レートが一定でサイズの大きなフローであり、フローごとにレートを10Mbps〜30Mbpsの範囲でランダムに設定した。評価期間中、終始アクティブであり、パケットは指数分布に従う間隔で発生させた。やはり10本のCRLSフローを多重させた。
SS:small−size flow:サイズの小さなフローであり、フローサイズを平均が1Mbyteの指数分布で与え、平均が2msの指数分布に従う間隔でSSフローを多重させた。各フローのレートを10Mbps〜100Mbpsの範囲でランダムに設定し、各フローがアクティブである間、指数分布に従う間隔でパケットを発生させた。
(Comparison evaluation)
In order to confirm the basic effectiveness of the present invention, evaluation by computer simulation was performed. The following three types of flows were mixed.
VRLS: variable-rate large-size flow : a flow with a large rate variation and size, and corresponds to a large burst generation flow. Modeled by an on-off process, packets are generated at intervals according to the exponential distribution so that the peak rate is 100 Mbps during the on period, and randomly set within the range of 1/240 to 1/80 s for each flow during the on period. The off period length was set so that the average rate was 20 Mbps. Ten VRLS flows were multiplexed.
CRLS: constant-rate large-size flow : A flow with a constant rate and a large size , and the rate was set randomly within a range of 10 Mbps to 30 Mbps for each flow. During the evaluation period, it was active all the time, and packets were generated at intervals according to the exponential distribution. Again, 10 CRLS flows were multiplexed.
SS: small-size flow : a flow having a small size, the flow size is given by an exponential distribution with an average of 1 Mbyte, and SS flows are multiplexed at intervals according to an exponential distribution with an average of 2 ms. The rate of each flow was randomly set in the range of 10 Mbps to 100 Mbps, and packets were generated at intervals according to the exponential distribution while each flow was active.

パケット長は全て1500byteとし、φ=1s、φ=10ms、Y=8、Z=7とした。また、Z’については考慮しなかった。
図2は、フローごとの散布図である。図2では、横軸をφ=1s内の転送パケット数(長期平均レ−ト)、縦軸をφ=10ms内の転送パケット数の最大値(短期ピークレート)としたときのフローを示している。
図2(a)は、全フローを示す。図2(b)は、φ=1sとしたST法により特定されたフロ−を示す。図2(c)は、φ=10msとしたST法により特定されたフローを示す。図2(d)は、本発明により特定されたフローを示す。φを長期に設定してST法を用いると、CRLSフローが、またφを短期に設定してST法を用いると、SSフローが、、各々誤って特定されることが分かる。しかし、本発明を用いれば、VRLSフローを効果的に特定できることが確認できる。
The packet length is all 1500 bytes, φ 1 = 1 s, φ 2 = 10 ms, Y = 8, and Z = 7. Also, Z ′ was not considered.
FIG. 2 is a scatter diagram for each flow. In FIG. 2, the flow when the horizontal axis is the number of transfer packets within φ 1 = 1s (long-term average rate) and the vertical axis is the maximum number of transfer packets within φ 2 = 10 ms (short-term peak rate) is shown. Show.
FIG. 2A shows the entire flow. FIG. 2B shows a flow specified by the ST method with φ 1 = 1 s. FIG. 2C shows a flow specified by the ST method with φ 2 = 10 ms. FIG. 2 (d) shows the flow specified by the present invention. It can be seen that when the ST method is used with φ set for a long time, the CRLS flow is specified incorrectly, and when the ST method is used with φ set for a short time, the SS flow is specified incorrectly. However, it can be confirmed that the VRLS flow can be effectively identified by using the present invention.

(特定例)
図3は、本発明の特定例を示す説明図である。
ここでは、Φ内に3本のフローから合計で12個のパケットがサンプルされた場合を示している。K=2、Y=4とすると、フロー3のみが特定される。フロー3からは、タイムアウトしないでY+1個のパケットがサンプルされているため、Y番目のパケットがサンプルされた時点で特定される。フロー2からもΦ内にフロー3と同数(5)のパケットがサンプルされているが、2番目と3番目のパケットがサンプルされる間でタイムアウトするため、フロー2は特定されない。
(Specific example)
FIG. 3 is an explanatory diagram showing a specific example of the present invention.
Here, a case where a total of 12 packets are sampled from 3 flows in Φ is shown. If K = 2 and Y = 4, only flow 3 is specified. From Flow 3, since Y + 1 packets have been sampled without time-out, they are specified when the Yth packet is sampled. The same number (5) of packets as flow 3 are sampled in Φ from flow 2, but flow 2 is not specified because a timeout occurs while the second and third packets are sampled.

任意の時点で、フローテーブルにエントリされているフロー数をnとすると、これらn本の全てのフローから1個以上のパケットが過去T以内にサンプルされたはずである(さもなければ、タイムアウトするためエントリが消去される)。そのためには、少なくともn個のパケットサンプルが過去T内で必要であるが、T内にはK個のパケットがサンプルされるため、n≦Kが成立する。すなわち、ST−Y法では、最大でもK個のフローが同時にエントリされるだけであるため、必要メモリ量はKで上限を抑えることができる。   If the number of flows entered in the flow table at an arbitrary time is n, one or more packets from all these n flows should have been sampled within the past T (otherwise, they time out) Entry is deleted). For this purpose, at least n packet samples are required in the past T, but since K packets are sampled in T, n ≦ K holds. That is, in the ST-Y method, since at most K flows are entered at the same time, the upper limit of the required memory amount can be suppressed by K.

(特定確率の導出)
以下では、Y−Short timeout法の特定確率を解析的に導出し、特定フローレート閾値f*とその特定確率H*を実現するためのパラメータ設定法について説明する。
Φの間に到着する総パケット数をL、総サンプルパケット数をDとすると、L=∧φ、D=L/Nとなる。DはD≧Yを満たす必要がある。フローレートfのフローのΦ内におけるトラヒック比率pをp≡f/∧と定義し、Φ中は着目フローから一定のレートfでパケットが着目リンクに到着すると仮定する。多重フロー数が十分に多い場合、サンプルされるパケットは各々独立であり、サンプルされたパケットがトラヒック比率pのフローに属している確率はΦの間、常にpとなる。fはpに比例することから、fの代わりにpに対する特定確率Hを導出する。また、特定の閾値をf*で規定する代わりにp*で規定し、与えられたLから、トラヒック比率がp*のフローを確率H*で特定することを考える。
(Derivation of specific probability)
Hereinafter, a parameter setting method for analytically deriving the specific probability of the Y-Short timeout method and realizing the specific flow rate threshold f * and the specific probability H * will be described.
When the total number of packets arriving during Φ is L and the total number of sample packets is D, L = ∧φ and D = L / N. D needs to satisfy D ≧ Y. It is assumed that the traffic ratio p within the Φ of the flow at the flow rate f is defined as p≡f / ∧, and packets arrive at the target link at a constant rate f from the target flow during Φ. When the number of multiple flows is sufficiently large, each sampled packet is independent, and the probability that the sampled packet belongs to the flow with the traffic ratio p is always p during Φ. Since f is proportional to p, a specific probability H for p is derived instead of f. Further, let us consider that a specific threshold is defined by p * instead of by f *, and that a flow having a traffic ratio of p * is specified by probability H * from a given L.

qy(p,j)を、区間Φにおいてトラヒック比率がpの着目フローのパケットがj個サンプルされ、かつ着目フローが特定されない確率と定義する。そして、qy(p,j)>0となるjの最大値をJと定義する。
図4は、jの最大値を実現するパケットサンプリングパターンの説明図である。
T以内にY個以上のパケットがサンプルされると、着目フローは特定されるため、図4に示すように、着目フローのパケットがY−1個連続してサンプルされる(図4中、黒丸)期間と、着目フロー以外のパケットがK個連続してサンプルされる(図4中、白丸)期間が交互に現われる場合に、着目フローが特定されないという条件でjが最大となる(図4は、Y=3、K=2の場合)。よって、Jは次式(2)となる。
qy (p, j) is defined as the probability that j packets of the target flow whose traffic ratio is p in the section Φ is sampled and the target flow is not specified. The maximum value of j that satisfies qy (p, j)> 0 is defined as J.
FIG. 4 is an explanatory diagram of a packet sampling pattern that realizes the maximum value of j.
When Y or more packets are sampled within T, the target flow is identified, and therefore, Y-1 consecutive packets of the target flow are sampled as shown in FIG. ) And a period in which K packets other than the target flow are consecutively sampled (white circles in FIG. 4) appear alternately, j is maximized under the condition that the target flow is not specified (FIG. 4 , Y = 3, K = 2). Therefore, J becomes the following formula (2).

Figure 0004662485
このとき、トラヒック比率がpのフローの特定確率H(p)は、次式(3)で与えられる。
Figure 0004662485
At this time, the specific probability H Y (p) of the flow with the traffic ratio p is given by the following equation (3).

Figure 0004662485
以下では、0≦j≦Jの各jに対するq(p,j)を導出する。
まず、0≦j≦Y−1のときは、着目フローは必ず特定されない。一方で、D個のサンプルにおいて着目フローのパケットがj個サンプルされる確率は二項分布に従うことから、q(p,j)は次式(4)で得られる。
Figure 0004662485
In the following, q Y (p, j) for each j where 0 ≦ j ≦ J is derived.
First, when 0 ≦ j ≦ Y−1, the target flow is not necessarily specified. On the other hand, since the probability that j packets of the flow of interest are sampled in D samples follows a binomial distribution, q Y (p, j) is obtained by the following equation (4).

Figure 0004662485
しかし、Y≦j≦Jのときは、着目フローのパケットがサンプルされる位置によって着目フローが特定される場合とされない場合があるため、q(p,j)はこのような簡易な式で求めることはできない。Y≦j≦Jにおけるq(p,j)を導出するため、A(d)、r(p,d,j,v,w)、α(j,w)を以下のように定義する。
区間A(d)はΦ内の任意の連続するd個のサンプルが行われる区間であり、d=Dのとき、A(d)=Φとなる。r(p,d,j,v,w)は、区間A(d)において着目フローのパケットがj個サンプルされ、かつ、最後(j番目)のサンプル位置が区間A(d)の最後のサンプル位置から遡ることv番目のサンプル位置であり、区間A(d)の終了時点でフローテーブル内の着目フローのエントリのカウンタ値がwであり(タイムアウトしないでw個サンプルされている)、かつ、着目フローがこの間、特定されない確率である。
Figure 0004662485
However, when Y ≦ j ≦ J, since the target flow may or may not be specified depending on the position where the packet of the target flow is sampled, q Y (p, j) is such a simple expression. I can't ask for it. In order to derive q Y (p, j) when Y ≦ j ≦ J, A (d), r Y (p, d, j, v, w), and α Y (j, w) are defined as follows: To do.
An interval A (d) is an interval in which arbitrary consecutive d samples in Φ are performed. When d = D, A (d) = Φ. In r Y (p, d, j, v, w), j packets of the flow of interest are sampled in the section A (d), and the last (j-th) sample position is the last of the section A (d). It is the v-th sample position going back from the sample position, the counter value of the entry of the flow of interest in the flow table at the end of the section A (d) is w (w samples are sampled without time-out), and The probability that the flow of interest is not specified during this time.

また、与えられたjとwに対して、r(p,d,j,v,w)>0となるdの最小値をα(j,w)と定義する(dの最小値はjとwに依存するためαはjとwの関数となる)。
図5は、dの最小値を実現するパケットサンプリングパターンの説明図である。
ここでは、dの最小値α(j,w)を与えるパケットサンプルパターンを示す(図5では、Y=3、K=3、j=5、w=1の場合)。
dが最小となるのは、A(d)の末尾から連続してw個のサンプル位置で着目フローのパケットがサンプルされ、残るj−w個の着目フローのパケットがKのブランクを挟んでY−1個以下のクラスタを形成する場合であるため、α(j,w)の値は次式(5)となる。
For a given j and w, the minimum value of d that satisfies r Y (p, d, j, v, w)> 0 is defined as α Y (j, w) (the minimum value of d is Since it depends on j and w, α Y is a function of j and w).
FIG. 5 is an explanatory diagram of a packet sampling pattern that realizes the minimum value of d.
Here, a packet sample pattern that gives the minimum value α Y (j, w) of d is shown (in FIG. 5, when Y = 3, K = 3, j = 5, and w = 1).
d is the smallest because packets of the target flow are sampled at w sample positions consecutively from the end of A (d), and the remaining j-w packets of the target flow are Y across the K blank. Since it is a case where −1 or less clusters are formed, the value of α Y (j, w) is expressed by the following equation (5).

Figure 0004662485
(p,j)は、r(p,d,j,v,w)を全てのvとwについて足し合わせることにより導出できる。w≧Yのとき、着目フローはA(d)内で特定されるため、0≦w≦Y−1のwについてのみ考えればよい。
Figure 0004662485
q Y (p, j) can be derived by adding r Y (p, d, j, v, w) for all v and w. Since the flow of interest is specified in A (d) when w ≧ Y, it is only necessary to consider w for 0 ≦ w ≦ Y−1.

本発明の実施形態に係るパケットサンプルを用いた大量バースト生成フロー特定システムのブロック図である。It is a block diagram of a mass burst generation flow specifying system using packet samples according to an embodiment of the present invention. フローごとの長期平均レートと短期ピークレートに関する散布図である。It is a scatter diagram regarding the long-term average rate and short-term peak rate for each flow. 本発明の高レートフローの特定例を示す説明図である。It is explanatory drawing which shows the specific example of the high rate flow of this invention. jの最大値を実現するパケットサンプリングパターンを示す図である。It is a figure which shows the packet sampling pattern which implement | achieves the maximum value of j. dの最小値を実現するパケットサンプリングパターンを示す図である。It is a figure which shows the packet sampling pattern which implement | achieves the minimum value of d.

符号の説明Explanation of symbols

101 パラメータ設計装置
102 パケットサンプリング装置
103 フローテーブル
104 大量バースト生成フロー特定装置
105 大量バースト生成フローリスト
L 総パケット数
D 総サンプルパケット数
Y パラメータ(任意の整数)
K パラメータ(任意の整数)
DESCRIPTION OF SYMBOLS 101 Parameter design apparatus 102 Packet sampling apparatus 103 Flow table 104 Large burst generation flow specification apparatus 105 Large burst generation flow list L Total number of packets D Total number of sample packets Y Parameter (arbitrary integer)
K parameter (any integer)

Claims (3)

レート変動とフローサイズの大きな大量バースト生成フローを特定する特定方法において、
まず測定周期Φを考え、該測定周期Φをk個の測定周期Φに分割し、各測定周期Φ内でサンプルされたパケット数が閾値Y以上となったフローを該測定周期Φにおいて特定し、k個の測定周期Φ中に特定された回数をフローごとにカウントし、特定回数がZ回以となったフローを最終的に大量バースト生成フローとして特定することを特徴とする大量バースト生成フローの特定方法。
In a specific method to identify large burst generation flows with large rate fluctuations and flow sizes,
First consider the measurement period [Phi 1, the measurement period [Phi 1 is divided into k measurement period [Phi 2, each measurement period [Phi 2 within the sampled flow number of packets is equal to or larger than the threshold value Y the measurement period [Phi in 2 and counting the number of times specified in k measurement periods Φ 2 for each flow, and finally specifying a flow with the specified number of times Z or more as a large burst generation flow. To identify a large burst generation flow.
請求項1に記載の大量バースト生成フローの特定方法において、
前記測定周期Φ内の特定回数が閾値Z’(ただし、Z’>Z)を超えたフローは、特定対象から除外して、高レートで長時間パケットを送出し続けるようなフローの特定を避けることを特徴とした大量バースト生成フローの特定方法。
The method for identifying a large burst generation flow according to claim 1,
A flow in which the specific number of times in the measurement period Φ 1 exceeds a threshold value Z ′ (however, Z ′> Z) is excluded from a specific target, and a flow that continues to send packets at a high rate for a long time is specified. A method for identifying large burst generation flows characterized by avoidance.
パケットサンプルレートや特定判断閾値を設定するパラメータ設定装置と、
パケットを一定周期ごとにサンプルするパケットサンプル装置と、
サンプルされたフローのサンプルパケット数と特定回数を記憶するフローテーブルと、
該フローテーブルに記憶されているサンプル回数と特定回数に応じて大量バースト生成フローを特定する大量バースト生成フロー特定装置と、
特定された大量バースト生成フローを出力する大量バースト生成フローリストと
を有することを特徴とする大量バースト生成フロー特定システム。
A parameter setting device for setting a packet sample rate and a specific determination threshold;
A packet sampling device that samples packets at regular intervals;
A flow table that stores the number of sample packets of the sampled flow and a specific number of times;
A mass burst generation flow identification device that identifies a mass burst generation flow according to the number of samples and the specific number of times stored in the flow table;
A mass burst generation flow identification system comprising: a mass burst generation flow list for outputting the identified mass burst generation flow.
JP2006226061A 2006-08-23 2006-08-23 Method and system for identifying large burst generation flow using packet samples Expired - Fee Related JP4662485B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006226061A JP4662485B2 (en) 2006-08-23 2006-08-23 Method and system for identifying large burst generation flow using packet samples

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006226061A JP4662485B2 (en) 2006-08-23 2006-08-23 Method and system for identifying large burst generation flow using packet samples

Publications (2)

Publication Number Publication Date
JP2008053878A JP2008053878A (en) 2008-03-06
JP4662485B2 true JP4662485B2 (en) 2011-03-30

Family

ID=39237510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006226061A Expired - Fee Related JP4662485B2 (en) 2006-08-23 2006-08-23 Method and system for identifying large burst generation flow using packet samples

Country Status (1)

Country Link
JP (1) JP4662485B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191218A (en) * 2017-05-10 2018-11-29 富士通株式会社 Burst detection program, burst detection method, and information processing device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006196982A (en) * 2005-01-11 2006-07-27 Nippon Telegr & Teleph Corp <Ntt> Method and system for specifying high rate flow

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006196982A (en) * 2005-01-11 2006-07-27 Nippon Telegr & Teleph Corp <Ntt> Method and system for specifying high rate flow

Also Published As

Publication number Publication date
JP2008053878A (en) 2008-03-06

Similar Documents

Publication Publication Date Title
US6614763B1 (en) Method of and apparatus for measuring network communication performances, as well as computer readable record medium having network communication performance measuring program stored therein
US7675856B2 (en) Bandwidth estimation in broadband access networks
Bordenave et al. Performance of random medium access control, an asymptotic approach
Goyal et al. Elasticity detection: A building block for internet congestion control
CN110225037B (en) DDoS attack detection method and device
CN112804157A (en) Programmable congestion control
US9379989B2 (en) Congestion avoidance and control for UDP-based protocols
KR101468624B1 (en) Terminal, system and method for measuring network state using the same
CN108512727A (en) A kind of determination method and device of central processing unit utilization rate
Ciucu Network calculus delay bounds in queueing networks with exact solutions
JP4662485B2 (en) Method and system for identifying large burst generation flow using packet samples
Mi et al. ASIdE: Using autocorrelation-based size estimation for scheduling bursty workloads
JP4454506B2 (en) High-rate flow specification method and high-rate flow specification system
CN113676341A (en) Quality difference evaluation method and related equipment
JP4148242B2 (en) High rate flow identification method with high identification accuracy
JP2009206717A (en) Traffic-variation estimation method and device thereof, and program
CN116032852B (en) Flow control method, device, system, equipment and storage medium based on session
JP7155754B2 (en) Estimation method, estimation device and estimation program
Kahe et al. On the Gaussian characteristics of aggregated short-lived flows on high-bandwidth links
WO2022244254A1 (en) Periodic flow detection device, delay inference device, periodic flow detection method, and program
Wang et al. Quantitative study of differentiated service model using UltraSAN
JP2007221412A (en) Method and system for specifying massive-amount-of-flow generation host
Xia et al. Machine learning-based estimation of the number of competing flows at a bottleneck link
Lipovac et al. Testing TCP traffic congestion by distributed protocol analysis and statistical modelling
Uchida et al. Fairness improvement method using explicit congestion notification for QUIC

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100820

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101228

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371