WO2020031996A1 - 負荷分散システム及び負荷分散方法 - Google Patents

負荷分散システム及び負荷分散方法 Download PDF

Info

Publication number
WO2020031996A1
WO2020031996A1 PCT/JP2019/030813 JP2019030813W WO2020031996A1 WO 2020031996 A1 WO2020031996 A1 WO 2020031996A1 JP 2019030813 W JP2019030813 W JP 2019030813W WO 2020031996 A1 WO2020031996 A1 WO 2020031996A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow
packet
packet transfer
load
transfer device
Prior art date
Application number
PCT/JP2019/030813
Other languages
English (en)
French (fr)
Inventor
明寛 木村
伸也 河野
土屋　英雄
昭宏 岡田
克真 宮本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/265,991 priority Critical patent/US11632331B2/en
Publication of WO2020031996A1 publication Critical patent/WO2020031996A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/122—Avoiding congestion; Recovering from congestion by diverting traffic away from congested entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows

Definitions

  • the present invention relates to a load distribution system and a load distribution method.
  • a technique for distributing the load of a packet transfer device such as a router has been conventionally known.
  • a technique is known in which a plurality of packet transfer apparatuses and a plurality of transfer paths are prepared as packet transfer destinations, and traffic is evenly applied to each transfer path to distribute the load of the packet transfer apparatus.
  • a technique called ECMP (Equal / Cost / Multi / Path) or ECMP routing is also known.
  • ECMP is a load distribution technique for uniformly applying traffic to a transfer path having the same cost among a plurality of transfer paths described above.
  • bps bits per second
  • pps packets per second
  • these transfer capacities have upper limits unique to the packet transfer device.
  • bps may be limited by a line rate of a physical NIC (Network Interface Card)
  • pps may be a packet processing of software such as an OS (Operating System) or an application. May be limited by speed.
  • a flow refers to a packet (traffic) or a group of packets having the same flow information.
  • the flow information is specified by header information included in the packet, and refers to, for example, 5-tuple (source IP (Internet @ Protocol) address, destination IP address, source port number, destination port number, protocol type).
  • traffic such as moving images has the property of having many long packets. For this reason, when traffic such as moving images is concentrated, the transfer capacity of the data amount is depleted, while the transfer capacity of the number of packets has a margin.
  • traffic such as VoIP (Voice over Internet Protocol) and telemetry has the property that there are many short packets. For this reason, when traffic such as VoIP and telemetry converges, the transfer capacity for the data amount has room, but the transfer capacity for the number of packets is depleted.
  • the load distribution of a server that hosts a vCPE Virtualized CPE that virtualizes a part of the function of an in-home device (Customer ⁇ Premises ⁇ Equipment) is determined based on the load state of the server in terms of bps and pps and the packet length of the flow.
  • vCPE Virtualized CPE
  • There is a load distribution method to be performed for example, Non-Patent Document 1).
  • embodiments of the present invention provide information on flow characteristics indicating whether a flow composed of packets is a flow that tends to have many short packets or a flow that tends to have many long packets.
  • Storage means for storing the packet in association with the destination information of the packet, when the input port receives the packet, determination means for determining a flow characteristic of a flow constituted by the packet based on the storage means, and determination by the determination means
  • Output means for outputting a packet received by the input port to a packet transfer device in a load state indicating that the load due to the flow having the flow characteristic is small, among a plurality of packet transfer devices, , Is characterized by having.
  • the purpose is to determine the flow characteristics efficiently and accurately.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of a load distribution system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the load distribution system according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a database according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an ECMP path table according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of a flow of a process of changing an ECMP path table according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a flow of a packet transfer process according to the first embodiment.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of a load distribution system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the load distribution system according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a database according to the first
  • FIG. 7 is a diagram illustrating an example of a flow of a registration process of a flow characteristic according to the first embodiment.
  • FIG. 8 is a diagram illustrating an example of the flow of a new registration process.
  • FIG. 9 is a diagram illustrating an example of a database according to the second embodiment.
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of a computer.
  • a load distribution system 1 that performs load distribution according to flow characteristics will be described.
  • the flow characteristics include a “high bps flow” indicating that there are many long packets and a “high pps flow” indicating that there are many short packets.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of a load distribution system 1 according to an embodiment of the present invention.
  • a load distribution system 1 includes a load monitoring device 10, a first packet transfer device 20, a second packet transfer device 30, and a statistical information collection device 40. And a database 50.
  • the load monitoring device 10 is, for example, a computer or a computer system, and monitors the traffic flow of the second packet transfer device 30 to be load-balanced. Then, when the traffic flow rate of the second packet transfer device 30 exceeds a predetermined threshold value (or when the traffic flow value falls below the predetermined threshold value), the load monitoring device 10 performs the load distribution (or cancels the load distribution). Is transmitted to the first packet transfer device 20.
  • the first packet transfer device 20 is, for example, a router or the like, and transfers a packet from the network N1 to the second packet transfer device 30.
  • the first packet transfer device 20 refers to a predetermined table used for load distribution and, among the plurality of second packet transfer devices 30, the second packet transfer device 30 corresponding to the flow characteristic. Transfer the packet.
  • the first packet transfer device 20 changes a predetermined table used for load distribution according to a command from the load monitoring device 10.
  • the second packet transfer device 30 is, for example, a router or the like, and transfers the packet transferred from the first packet transfer device 20 to the network N2.
  • the plurality of second packet transfer devices 30 are distinguished from each other, they are represented as “second packet transfer device 30-1”, “second packet transfer device 30-2”, and the like.
  • the statistical information collection device 40 receives the flow characteristic notification for notifying the flow characteristics from the second packet transfer device 30, and updates the database 50.
  • the database 50 stores statistical information on flow characteristics.
  • the configuration of the load distribution system 1 shown in FIG. 1 is an example, and another configuration may be used.
  • the first packet transfer device 20 and the second packet transfer device 30 may be virtual routers or the like constructed on a computer or the like by a network virtualization technique.
  • Example 1 of the load distribution system 1 according to the embodiment of the present invention will be described.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the load distribution system 1 according to the first embodiment.
  • the load monitoring device 10 includes a flow rate monitoring unit 101, a load distribution determination unit 102, and a command transmission unit 103.
  • the flow monitoring unit 101 monitors the traffic flow of the second packet transfer devices 30 from the statistical information of the second packet transfer devices 30 in terms of the data amount (bps) and the number of packets (pps). That is, the flow monitoring unit 101 obtains the data amount (bps) and the number of packets (pps) as the monitoring result for each second packet transfer device 30.
  • the data amount (bps) obtained as the monitoring result is referred to as “bps result value”
  • the number of packets (pps) obtained as the monitoring result is referred to as “pps result value”.
  • the load distribution determining unit 102 determines whether to execute or cancel the load distribution. That is, the load distribution determination unit 102 determines whether the bps result value exceeds or falls below a preset bps threshold. Similarly, the load balancing determination unit 102 determines whether the pps result value has exceeded or falls below a preset pps threshold.
  • the load distribution determination unit 102 determines that the bps result value has exceeded the bps threshold, it determines that load distribution is to be performed. On the other hand, when it is determined that the bps result value has fallen below the bps threshold, the load distribution determination unit 102 determines to release the load distribution.
  • the load distribution determination unit 102 determines that the pps result value has exceeded the pps threshold.
  • the load distribution determination unit 102 determines to perform load distribution.
  • the load distribution determination unit 102 determines to release the load distribution.
  • the command transmission unit 103 transmits a predetermined command to the first packet transfer device 20 when the load distribution determination unit 102 determines that the load distribution should be performed or when it determines that the load distribution should be released.
  • the command includes “threshold value type”, “command type”, and “identification information of target device”.
  • the “threshold type” is a type of a threshold value that has exceeded the monitoring result or a threshold value that has fallen below the monitoring result. Either information indicating the bps threshold or information indicating the pps threshold is set. In the “instruction type”, information indicating whether to execute or cancel the load distribution is set.
  • the “identification information of the target device” is identification information of the second packet transfer device 30 whose monitoring result exceeds or falls below the threshold, and for example, the IP address of the second packet transfer device 30 is set. However, in addition to the IP address, for example, an ID, a MAC (Media Access Control) address, a host name, and the like of the second packet transfer device 30 may be set in the “identification information of the target device”.
  • the second packet transfer device 30 includes a statistical information recording unit 301.
  • the statistical information recording unit 301 notifies the statistical information collection device 40 of the flow information (5-tuple) and the flow characteristics of the flow using the flow characteristic notification. .
  • the statistical information collection device 40 specifies the flow based on the flow characteristic notification, updates the statistical information if the statistical information on the characteristics of the specified flow is registered in the database 50, and updates the flow characteristics if the statistical information is not registered. A record is created based on the notification and added to the database 50.
  • FIG. 3 is a diagram illustrating an example of the database 50 according to the first embodiment.
  • the database 50 stores flow characteristic statistical information as records.
  • the flow characteristic statistical information includes a “destination IP address”, a “destination port”, a “flow characteristic counter”, and a “score”.
  • the “destination IP address” the IP address of the destination of the packet is set.
  • the output port of the packet is set in the “destination port”.
  • the “flow characteristic counter” includes two counters “short (A)” and “long (B)”. The number of flows centered on short packets is set in the short counter, and the number of flows centered on long packets is set in the long counter.
  • the “score” is a normalized value obtained by dividing the difference (A ⁇ B) obtained by subtracting the value of the long counter (B) from the value of the short counter (A) by the total value (A + B) of both counters. Is set. If the “score” is a positive value, the characteristics of the flow identified by the “destination IP address” and the “destination port” are mainly short packet, and if the “score” is a negative value, the “destination IP address” The characteristics of the flow identified by the “destination port” are centered on long packets.
  • the statistical information collection device 40 When the flow characteristic included in the flow characteristic notification is “high pps flow”, the statistical information collection device 40 adds “1” to the short counter and sets the flow characteristic included in the flow characteristic notification to “high bps flow”. If, "1" is added to the long counter. When adding a record, the statistical information collection device 40 sets the short counter or the long counter to “1” based on the flow characteristics included in the flow characteristic notification, and sets the other counters to “0”. I do.
  • the statistical information collection device 40 creates records using only the destination information of the “destination IP address” and the “destination port”.
  • the number of records can be reduced by creating a record using only the destination information, but the determination accuracy of the flow characteristics is lower than in the case of creating a record by 5-tuple. For example, even if the destination information is the same, if the flow characteristics differ depending on the transmission source, the accuracy of determining the flow characteristics is reduced. Therefore, the statistical information collection device 40 replaces records so that records with high accuracy of flow characteristics are preferentially left in the database 50 while suppressing the number of records by limiting the key of record creation to destination information. Do.
  • the statistical information collecting apparatus 40 selects the record to be deleted based on the absolute value a of the “score”.
  • a record is selected based on LRU (Least ⁇ Recently ⁇ Used) to be deleted.
  • w is an arbitrary positive number.
  • the statistical information collection device 40 changes the elapsed time based on a so that a record having a small a, that is, a record having a small bias in the flow characteristics and a low determination accuracy of the flow characteristics is disadvantageously evaluated by the LRU. Apply LRU. For this reason, the statistical information collection device 40 can cause the record whose flow characteristic determination accuracy is high to remain in the database 50.
  • the statistical information collection device 40 and the database 50 may be included in, for example, the first packet transfer device 20.
  • the database 50 is realized by, for example, a RAM (Random Access Memory), an auxiliary storage device, a dedicated memory device, or the like.
  • the first packet transfer device 20 includes an instruction receiving unit 201, a route table changing unit 202, an input port 203, a flow information obtaining unit 204, an application determining unit 205, a route determination unit 206, a routing unit 207, an output port 208, and an input buffer 209.
  • Each of these functional units is realized by, for example, a process in which one or more programs installed in the first packet transfer device 20 cause a CPU or the like to execute.
  • the command receiving unit 201 receives a command from the load monitoring device 10.
  • the path table changing unit 202 changes the ECMP path table 1000 according to the command received by the command receiving unit 201.
  • the ECMP path table 1000 is a table that stores path information as an entry.
  • the ECMP path table 1000 is stored in, for example, an auxiliary storage device or a dedicated memory device. The details of the ECMP path table 1000 according to the first embodiment will be described later.
  • the input port 203 receives a packet from the network N1. Then, the input port 203 stores the received packet in the input buffer 209.
  • the input buffer 209 is a storage area for temporarily storing received packets, and is realized by, for example, a RAM, an auxiliary storage device, a dedicated memory device, or the like.
  • the flow information acquisition unit 204 generates a hash value from the flow information (for example, 5-tuple) of the packet stored in the input buffer 209. Also, the flow information acquisition unit 204 refers to the flow table 2000 and determines whether there is an entry including a hash value that matches the generated hash value.
  • the flow table 2000 is a table that stores, as an entry, flow transfer information in which a hash value is associated with information indicating the output port 208 (output port information).
  • the output port information is information for specifying one of the plurality of output ports 208.
  • the flow table 2000 is stored in, for example, a RAM, an auxiliary storage device, a dedicated memory device, or the like.
  • the flow information acquisition unit 204 determines that the corresponding entry exists, the flow information acquisition unit 204 notifies the routing unit 207 of the entry.
  • the flow information acquisition unit 204 determines that the packet is a packet of a new flow, and notifies the application determination unit 205 that the corresponding entry does not exist.
  • the flow information acquisition unit 204 notifies the application determination unit 205 of, for example, 5-tuple or L7 information of the packet (for example, L7 header information) and a hash value.
  • the entry (flow transfer information) stored in the flow table 2000 may be deleted (cleared) at predetermined time intervals by, for example, the route determination unit 206 or the like.
  • the application determining unit 205 searches the database 50 using the destination information as a key, and specifies the flow characteristics of the new flow. If the “score” is a positive value, the application determination unit 205 specifies the new flow as a flow centered on the short packet, and if the “score” is a negative value, specifies the new flow as a flow centered on the long packet. Then, the application determination unit 205 notifies the route determination unit 206 of the specified flow characteristics. At this time, the application determination unit 205 notifies the route determination unit 206 of, for example, 5-tuple, flow characteristics, and a hash value.
  • the route determination unit 206 determines the output port 208 from the flow characteristics specified by the application determination unit 205 with reference to the ECMP route table 1000. Further, the path determination unit 206 stores, in the flow table 2000, flow transfer information in which information indicating the determined output port 208 is associated with a hash value. Then, the route determination unit 206 notifies the routing unit 207 of the entry (flow transfer information) stored in the flow table 2000.
  • the routing unit 207 acquires the output port information included in the entry (flow transfer information) notified from the flow information acquisition unit 204 or the route determination unit 206. Then, the routing unit 207 transmits the packet to the output port 208 indicated by the obtained output port information.
  • the output port 208 outputs the packet received from the routing unit 207.
  • the output port 208 exists, for example, for each second packet transfer device 30.
  • the output port 208 includes an output port 208-1 corresponding to the second packet transfer device 30-1, an output port 208-2 corresponding to the second packet transfer device 30-2, and the like.
  • the output port 208 may be a physical port or a logical port.
  • FIG. 4 is a diagram illustrating an example of the ECMP path table 1000 according to the first embodiment.
  • the ECMP path table 1000 stores path information as an entry.
  • the route information includes “destination network”, “subnet mask”, “list of gateways”, “output port information”, “load state of data amount (bps)”, and “number of packets (pps). ) Load state ”.
  • IP In the “destination network”, the IP address or default of the network to which the packet is transferred is set. In “Subnet mask”, a subnet mask corresponding to the destination network is set.
  • IP In the “gateway list”, the IP address of the gateway (second packet transfer device 30) corresponding to the destination network is set. In the “gateway list”, IP addresses of one or more gateways are set for one destination network.
  • “eth1” indicating the output port 208-2 is associated with the gateway “192.168.1.1”. This indicates that when transmitting a packet from the gateway “192.168.1.1”, the packet is transmitted from the output port 208-2.
  • the load state of the data amount (bps) in the gateway is set.
  • the load state of the data amount (bps) in the corresponding gateway is “low load”. It is shown that.
  • “1” is set in “load state of data amount (bps)”, it indicates that the load state of the data amount (bps) in the corresponding gateway is “high load”.
  • the load state of the number of packets (pps) in the gateway is set for each gateway (IP address) set in the “list of gateways”.
  • IP address IP address
  • the load state of the number of packets (pps) in the corresponding gateway is “low load”. It is shown that.
  • “1” is set in “the load state of the number of packets (pps)”, it indicates that the load state of the number of packets (pps) in the corresponding gateway is “high load”.
  • the ECMP path table 1000 stores, for each destination network, path information including one or more gateways to the destination network, and output port information and load status of each gateway. ing.
  • each gateway when the load status of each gateway (the second packet transfer device 30) exceeds (or falls below) the threshold, the load status corresponding to the gateway is changed, and When transferring a packet, load distribution is performed by transmitting a packet from a gateway in a low load state according to the flow characteristics.
  • FIG. 5 is a diagram illustrating an example of a flow of a process of changing the ECMP path table 1000 according to the first embodiment.
  • the flow rate monitoring unit 101 of the load monitoring device 10 acquires the bps result value and the pps result value of the second packet transfer device 30 from the statistical information of the second packet transfer device 30 (Step S101).
  • the flow monitoring unit 101 acquires the bps result value and the pps result value of each second packet transfer device 30 at predetermined time intervals, for example.
  • the statistical information can be obtained by, for example, netstat.
  • the load distribution determining unit 102 of the load monitoring device 10 determines whether to execute or cancel the load distribution (Step S102). That is, the load balancing determination unit 102 determines whether the bps result value has exceeded or fell below the bps threshold. Similarly, the load balancing determination unit 102 determines whether the pps result value has exceeded or fell below the pps threshold.
  • the bbs threshold and the pps threshold may be the same value for all the second packet transfer devices 30, or may be determined for each of the second packet transfer devices 30. Alternatively, for example, a value may be determined for each group after one or more second packet transfer devices 30 are grouped on a predetermined basis.
  • the load distribution determination unit 102 determines that the bps result value has exceeded the bps threshold, it determines that load distribution is to be performed. On the other hand, when it is determined that the bps result value has fallen below the bps threshold, the load distribution determination unit 102 determines to release the load distribution.
  • the load distribution determination unit 102 determines that the pps result value has exceeded the pps threshold.
  • the load distribution determination unit 102 determines to perform load distribution.
  • the load distribution determination unit 102 determines to release the load distribution.
  • step S102 if neither execution of load distribution nor release of load distribution is determined, the load monitoring device 10 returns to step S101.
  • the instruction transmitting unit 103 of the load monitoring device 10 transmits a predetermined instruction to the first packet transfer device 20. (Step S103).
  • the command receiving unit 201 of the first packet transfer device 20 receives a command from the load monitoring device 10 (Step S104).
  • the route table changing unit 202 of the first packet transfer device 20 changes the ECMP route table 1000 according to the command received by the command receiving unit 201 (Step S105).
  • bps threshold is set in “threshold type”
  • load distribution is performed” in “command type”
  • 192.168.1.0 is set in “identification information of target device”.
  • the routing table changing unit 202 receives the “data amount (bps) load status” for each entry of the ECMP routing table 1000. To “1”.
  • the routing table change unit 202 changes the “data amount (bps) load status” for the gateway whose IP address is “192.168.1.2” for each entry of the ECMP routing table 1000 to “ To "0".
  • pps threshold is set in “threshold type”
  • load distribution is performed” in “command type”
  • 192.168.1.1 is set in “identification information of target device”.
  • the routing table changing unit 202 changes the “load state of the number of packets (pps)” for the gateway whose IP address is “192.168.1.1” for each entry of the ECMP routing table 1000 to “ 1 ”.
  • the routing table change unit 202 sets the “load state of the number of packets (pps)” for the gateway whose IP address is “192.168.1.0” to “entry” for each entry of the ECMP routing table 1000. To "0".
  • the load distribution system 1 sets the ECMP routing table 1000 when the bps result value or the pps result value of the second packet transfer device 30 to be load-balanced exceeds or falls below the threshold. For each entry stored in the second packet transfer device 30, the load state of the second packet transfer device 30 is changed. Thus, the load state (the load state of the data amount (bps) and the load state of the number of packets (pps)) of each second packet transfer device 30 is managed by each entry stored in the ECMP path table 1000. .
  • FIG. 6 is a diagram illustrating an example of a flow of a packet transfer process according to the first embodiment.
  • the input port 203 of the first packet transfer device 20 receives a packet from the network N1 (Step S201).
  • the input port 203 of the first packet transfer device 20 stores the packet received in step S201 in the input buffer 209 (step S202).
  • the flow information acquisition unit 204 of the first packet transfer device 20 generates a hash value from the flow information (for example, 5-tuple) of the packet stored in the input buffer 209 (Step S203).
  • a hash value from the flow information (for example, 5-tuple) of the packet stored in the input buffer 209 (Step S203).
  • any hash function can be used for generating the hash value.
  • the flow information acquisition unit 204 of the first packet transfer device 20 determines whether an entry (flow transfer information) including a hash value that matches the hash value generated in step S203 is stored in the flow table 2000. It is determined whether or not it is (step S204).
  • step S204 when it is determined that the entry is stored in the flow table 2000, the first packet transfer device 20 proceeds to the process of step S208 described below.
  • the application determination unit 205 of the first packet transfer device 20 uses the database 50 to change the flow characteristics of the packet. It is specified (step S205). That is, the application determination unit 205 specifies whether the flow characteristic of the flow due to the packet is “high bps flow” or “high pps flow”. The application determining unit 205 can specify the flow characteristic based on whether the “score” corresponding to the flow by the packet is positive or negative.
  • the route determination unit 206 of the first packet transfer device 20 determines the output port 208 from the flow characteristics specified in step S205 with reference to the ECMP route table 1000 (step S206).
  • the route determining unit 206 determines the output port 208 according to, for example, the following steps S1 to S3.
  • the path determination unit 206 searches the ECMP path table 1000 for an entry corresponding to the network address of the destination IP address included in 5-tuple notified from the application determination unit 205. At this time, the route determination unit 206 searches for an entry by, for example, longest match. When the entry corresponding to the network address is searched, the route determination unit 206 refers to this entry. On the other hand, when the entry corresponding to the network address is not searched, the route determination unit 206 refers to the entry in which “default” is set in the destination network.
  • the route determining unit 206 searches for a gateway in a low load state from the “gateway list” included in the entry being referred to, according to the flow characteristics.
  • the route determination unit 206 determines “load state of data amount (bps)” in “list of gateways” included in the entry. Are searched in order from the top.
  • the route determination unit 206 determines the “packet number (pps)” in the “gateway list” included in the entry.
  • the gateways in which “0” is set in the “load state” are searched in order from the top.
  • the route determination unit 206 determines the output port 208 indicated by the output port information corresponding to the gateway retrieved in S2 as the output port 208 of the packet.
  • the route determination unit 206 determines the output port 208 indicated by the output port information corresponding to the gateway in the high load state as the output port 208 of the packet. For example, if the flow characteristic specified in step S205 is “high bps flow” and there is no gateway for which “0” is set in the “load amount of data (bps)”, the route determination unit 206 The output port 208 indicated by the output port information corresponding to the gateway for which “1” is set in the “load state of data amount (bps)” is determined as the output port 208 of the packet.
  • the route determination unit 206 determines the output port 208 indicated by the output port information corresponding to the gateway for which “1” is set in the “load state of the number of packets (pps)” as the output port 208 of the packet.
  • the route determination unit 206 may move the gateway corresponding to the determined output port 208 to the end of the “gateway list”. good. For example, when the output port information “eth0” of the gateway “192.168.1.0” of the destination network “default” is determined as the output port 208 in the ECMP routing table 1000 illustrated in FIG. 4, the gateway “192. 168.1.0 ”may be moved to the end of the list (ie, after the gateway“ 192.168.1.2 ”). Thereby, further load distribution can be expected by changing the output port 208 for the same destination network by round robin.
  • the route determination unit 206 of the first packet transfer device 20 associates the hash value notified from the application determination unit 205 with the information (output port information) indicating the output port 208 determined in step S206.
  • the attached flow transfer information is stored in the flow table 2000 (step S207).
  • the routing unit 207 of the first packet transfer device 20 obtains the output port information from the corresponding entry (the entry whose hash value is determined to match in the above step S204 or the entry stored in the above step S207) ( Step S208). Then, the routing unit 207 transmits the packet to the output port 208 indicated by the obtained output port information.
  • the output port 208 of the first packet transfer device 20 transmits the packet received from the routing unit 207 (Step S209).
  • FIG. 7 is a diagram illustrating an example of a flow of a registration process of a flow characteristic according to the first embodiment.
  • the statistical information collection device 40 receives a flow characteristic notification from the second packet transfer device 30 (Step S301).
  • the statistical information collection device 40 determines whether or not the flow specified by the destination information included in the flow characteristic notification is registered in the database 50 (Step S302).
  • the statistical information collection device 40 sets the “flow characteristic counter” in the record of the flow based on the flow characteristic included in the flow characteristic notification. "1" is added (step S303). If the flow characteristic included in the flow characteristic notification is “high pps flow”, the statistical information collection device 40 adds “1” to the short counter, and the flow characteristic included in the flow characteristic notification is “high bps flow”. If “1", "1" is added to the long counter.
  • step S302 determines whether the flow is not registered in the database 50. If it is determined in step S302 that the flow is not registered in the database 50, the statistical information collection device 40 performs a new registration process of creating a record of the flow and registering the record in the database 50 (step S304). .
  • the statistical information collection device 40 updates the “score” of the record of the flow (step S305).
  • the statistical information collection device 40 adds “1” to the “flow characteristic counter”, If not registered, a record is created and registered in the database 50.
  • the first packet transfer device 20 can specify the flow characteristics of the received packet with reference to the database 50.
  • FIG. 8 is a diagram for explaining an example of the flow of the new registration process.
  • the statistical information collection device 40 creates a record using the destination information and the flow characteristics included in the flow characteristic notification (step S401).
  • the flow characteristic included in the flow characteristic notification is “high pps flow”
  • the statistical information collection device 40 sets “1” to the short counter, sets “0” to the long counter, and sets the flow characteristic notification. If the included flow characteristic is “high bps flow”, “1” is set in the long counter and “0” is set in the short counter.
  • the statistical information collection device 40 determines whether a record can be added (step S402).
  • step S402 the statistical information collection device 40 adds the created record to the database 50 (step S403).
  • the statistical information collection device 40 determines whether or not there is a record whose “score” is “0” (step S404).
  • step S404 If there is a record with “score” of “0” in step S404, the statistical information collecting device 40 replaces the record with “score” of “0” with the created record (step S405).
  • the load distribution system 1 according to the first embodiment has a low The packet is transferred to the second packet transfer device 30 under load.
  • the load distribution of the second packet transfer device 30 can be realized. For this reason, for example, it is possible to prevent a situation where packets of a high bps flow are concentrated in a certain second packet forwarding apparatus 30 or a situation where packets of a high pps flow are concentrated. The capacity can be maximized.
  • the load distribution system 1 stores the flow characteristic statistical information in the database 50. Then, when receiving the packet, the first packet transfer device 20 determines the characteristics of the flow formed by the received packet with reference to the database 50. For this reason, the first packet transfer device 20 can efficiently and accurately determine the flow characteristics.
  • the database 50 can store flow characteristic statistical information.
  • the first packet transfer device 20 efficiently determines flow characteristics. be able to.
  • the statistical information collection device 40 deletes the record whose “score” is “0”, and if there is no record whose “score” is “0”, A deletion target is selected by LRU using a value obtained by adding w / a to time. For this reason, the first packet transfer device 20 can accurately determine the flow characteristics while suppressing the number of records.
  • Example 2 If the purpose of the server that transmits and receives packets changes with the passage of time, the flow characteristics change even if the destination information is the same. In order to cope with such a situation, in the second embodiment, the database 50 stores the “flow characteristic counter” in a plurality of periods.
  • FIG. 9 is a diagram illustrating an example of the database 50 according to the second embodiment.
  • the “flow characteristic counter” is a counter that counts information from 0 to 1 month ago, a counter that counts information from 1 to 2 months ago, and counts information from 2 to 3 months ago. Divided into counters. Although one month is shown in FIG. 9, the period may be another unit such as two weeks or two months.
  • the “flow characteristic counter” has a weight coefficient used for calculating the “score” for each period.
  • the “score” is calculated as follows using the weight coefficient (F), the value (G) of the short counter two to three months ago, the value (H) of the long counter, and the weight coefficient (I).
  • the database 50 has a plurality of pairs of short counters and long counters for each period, and the statistical information collection device 40 stores the “score” in each set of short counters and long counters. The calculation is based on the difference between the counters and the weight coefficient. For this reason, the first packet transfer device 20 can accurately determine the flow characteristics even when the flow characteristics change.
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of the computer 500.
  • the computer 500 shown in FIG. 10 includes a CPU (Central Processing Unit) 501, a RAM 502, a ROM (Read Only Memory) 503, an external I / F 504, a communication I / F 505, and an auxiliary storage device 506. Each of these pieces of hardware is communicably connected via a bus B.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • I / F communication I / F 505
  • Each of these pieces of hardware is communicably connected via a bus B.
  • the CPU 501 is an arithmetic unit that reads a program or data from the ROM 503, the auxiliary storage device 506, or the like onto the RAM 502 and executes a process.
  • the RAM 502 is a volatile semiconductor memory that temporarily stores programs and data.
  • the ROM 503 is a nonvolatile semiconductor memory that can retain programs and data even when the power is turned off.
  • the ROM 503 stores, for example, OS settings and network settings.
  • the external I / F 504 is an interface with an external device.
  • the external device includes a recording medium 504a and the like.
  • the computer 500 can read and write the recording medium 504a and the like via the external I / F 504.
  • the recording medium 504a includes, for example, a flexible disk, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital Memory card), and a USB (Universal Serial Bus) memory card.
  • a flexible disk for example, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital Memory card), and a USB (Universal Serial Bus) memory card.
  • the communication I / F 505 is an interface for communicating with another device. Note that the first packet transfer device 20 and the second packet transfer device 30 have a plurality of communication I / Fs 505.
  • the auxiliary storage device 506 is, for example, a hard disk drive (HDD) or a solid state drive (SSD), and is a nonvolatile storage device that stores programs and data.
  • the programs and data stored in the auxiliary storage device 506 include, for example, an OS and an application program that implements various functions on the OS.
  • the load monitoring device 10, the first packet transfer device 20, the second packet transfer device 30, and the statistic information collection device 40 use the one or more computers 500 shown in FIG.
  • Various processes can be executed.
  • each functional unit of the load monitoring device 10 is realized by a process in which one or more programs stored in the auxiliary storage device 506 cause the CPU 501 or the like to execute.
  • each functional unit included in the first packet transfer device 20 is realized by a process for causing the CPU 501 or the like to execute one or more programs stored in the auxiliary storage device 506, a communication I / F 505, or the like.
  • the load monitoring device 10 may include at least one of a display device such as a display and an input device such as a keyboard and a mouse.
  • the packet transfer device that performs load distribution is the first packet transfer device 20, and the packet transfer device to be load-balanced is the second packet transfer device 30. It does not mean that the packet transfer device that functions as either the first packet transfer device 20 or the second packet transfer device 30 at all times.
  • the same packet transfer device may function as the first packet transfer device 20 and also function as the second packet transfer device 30.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

パケットにより構成されるフローがショートパケットが多い傾向のフロー又はロングパケットが多い傾向のフローのいずれであるかを示すフロー特性に関する情報を該パケットの宛先情報に対応付けて記憶する記憶手段と、入力ポートがパケットを受信すると、該パケットにより構成されるフローのフロー特性を前記記憶手段に基づいて判定する判定手段と、前記判定手段により判定されたフロー特性に応じて、複数のパケット転送装置のうち、前記フロー特性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記入力ポートが受信したパケットを出力する出力手段と、を有することを特徴とする。

Description

負荷分散システム及び負荷分散方法
　本発明は、負荷分散システム及び負荷分散方法に関する。
　ルータ等のパケット転送装置の負荷を分散させる技術が従来から知られている。例えば、パケットの転送先として複数のパケット転送装置と複数の転送経路とを用意し、それぞれの転送経路にトラヒックを均等に印加することで、パケット転送装置の負荷を分散する技術が知られている。また、このような負荷分散技術として、ＥＣＭＰ（Equal　Cost　Multi　Path）又はＥＣＭＰルーティングと呼ばれる技術も知られている。ＥＣＭＰは、上述した複数の転送経路のうち、等コストとなる転送経路にトラヒックを均等に印加する負荷分散技術である。
　ＥＣＭＰを用いた負荷分散システムにおいて、パケット転送装置の出力物理ポートの出力バッファを監視し、この出力バッファの使用量又はパケット流量が閾値を超えた場合、転送経路を切り替える技術が知られている（例えば、特許文献１）。
　パケット転送装置における転送容量の指標として、ｂｐｓ（bits　per　second）で表されるデータ量の転送容量と、ｐｐｓ（packets　per　second）で表されるパケット数の転送容量とがある。また、これらの転送容量には、パケット転送装置に固有の上限値がある。例えば、パケット転送装置をネットワーク仮想化技術により実現した場合、ｂｐｓは物理ＮＩＣ（Network　Interface　Card）のラインレートに律速されることがあり、ｐｐｓはＯＳ（Operating　System）やアプリケーション等のソフトウェアのパケット処理速度に律速されることがある。
　ＥＣＭＰでは、フロー特性、すなわちロングパケット中心のフローかショートパケット中心のフローかを考慮していないため、パケット転送装置が転送するパケット長に偏りがある場合に、パケット転送装置の転送容量を最大限に活用することができないことがある。ここで、フローとは、フロー情報が同一のパケット（トラヒック）又はパケット群のことを言う。フロー情報は、パケットに含まれるヘッダ情報により特定され、例えば、５－ｔｕｐｌｅ（送信元ＩＰ（Internet　Protocol）アドレス、宛先ＩＰアドレス、送信元ポート番号、宛先ポート番号、プロトコルタイプ）のことを言う。
　例えば、動画等のトラヒックはロングパケットが多いという性質がある。このため、動画等のトラヒックが集中した場合、データ量の転送容量は枯渇する一方で、パケット数の転送容量には余裕がある状態となる。他方で、例えば、ＶｏＩＰ（Voice　over　Internet　Protocol）やテレメトリング等のトラヒックはショートパケットが多いという性質がある。このため、ＶｏＩＰやテレメトリング等のトラヒックが集中した場合、データ量の転送容量には余裕がある一方で、パケット数の転送容量が枯渇する状態となる。
　そこで、フロー特性を考慮して負荷を分散する技術がある。例えば、宅内装置（Customer　Premises　Equipment）の一部機能を仮想化するｖＣＰＥ（Virtualized　CPE）をホストするサーバの負荷分散を、サーバのｂｐｓ及びｐｐｓの観点での負荷状態とフローのパケット長に基づいて行う負荷分散方式がある（例えば、非特許文献１）。
特開２００４－３５００７８号公報
木村　明寛、宮本　克真、河野　伸也、土屋　英雄、岡田　昭宏、「フロー特性に基づくｖＣＰＥサーバの負荷分散方式」、電子情報通信学会２０１８年総合大会講演論文集，Ｖｏｌ．２０１８年＿通信（２），ｐ．９０　ｂ－６－９０
　フロー特性に基づいて負荷分散を行う場合、いかにフロー特性を効率良く正確に判定するかが課題となる。
　本発明の実施の形態は、上記の点に鑑みてなされたもので、フロー特性を効率良く正確に判定することを目的とする。
　上記目的を達成するため、本発明の実施の形態は、パケットにより構成されるフローがショートパケットが多い傾向のフロー又はロングパケットが多い傾向のフローのいずれであるかを示すフロー特性に関する情報を該パケットの宛先情報に対応付けて記憶する記憶手段と、入力ポートがパケットを受信すると、該パケットにより構成されるフローのフロー特性を前記記憶手段に基づいて判定する判定手段と、前記判定手段により判定されたフロー特性に応じて、複数のパケット転送装置のうち、前記フロー特性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記入力ポートが受信したパケットを出力する出力手段と、を有することを特徴とする。
　フロー特性を効率良く正確に判定することを目的とする。
図１は、本発明の実施の形態における負荷分散システムの全体構成の一例を示す図である。 図２は、実施例１における負荷分散システムの機能構成の一例を示す図である。 図３は、実施例１におけるデータベースの一例を示す図である。 図４は、実施例１におけるＥＣＭＰ経路テーブルの一例を示す図である。 図５は、実施例１におけるＥＣＭＰ経路テーブルの変更処理の流れの一例を説明するための図である。 図６は、実施例１におけるパケット転送処理の流れの一例を説明するための図である。 図７は、実施例１におけるフロー特性の登録処理の流れの一例を説明するための図である。 図８は、新規登録処理の流れの一例を説明するための図である。 図９は、実施例２におけるデータベースの一例を示す図である。 図１０は、コンピュータのハードウェア構成の一例を示す図である。
　以下、本発明の実施の形態について説明する。本発明の実施の形態では、フロー特性に応じて、負荷分散を行う負荷分散システム１について説明する。また、以降では、フロー特性には、ロングパケットが多いフローであることを示す「高ｂｐｓフロー」と、ショートパケットが多いフローであることを示す「高ｐｐｓフロー」とがあるものとする。
　＜全体構成＞
　まず、本発明の実施の形態における負荷分散システム１の全体構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における負荷分散システム１の全体構成の一例を示す図である。
　図１に示すように、本発明の実施の形態における負荷分散システム１には、負荷監視装置１０と、第１のパケット転送装置２０と、第２のパケット転送装置３０と、統計情報収集装置４０と、データベース５０とが含まれる。
　負荷監視装置１０は、例えばコンピュータ又はコンピュータシステム等であり、負荷分散対象である第２のパケット転送装置３０のトラヒック流量を監視する。そして、負荷監視装置１０は、第２のパケット転送装置３０のトラヒック流量が所定の閾値を超えた場合（又は、所定の閾値を下回った場合）に、負荷分散の実施（又は負荷分散の解除）を示す命令を第１のパケット転送装置２０に送信する。
　第１のパケット転送装置２０は、例えばルータ等であり、ネットワークＮ１側からのパケットを第２のパケット転送装置３０に転送する。このとき、第１のパケット転送装置２０は、負荷分散に用いられる所定のテーブルを参照して、複数の第２のパケット転送装置３０のうち、フロー特性に応じた第２のパケット転送装置３０に当該パケットを転送する。
　また、第１のパケット転送装置２０は、負荷監視装置１０からの命令に応じて、負荷分散に用いられる所定のテーブルを変更する。
　第２のパケット転送装置３０は、例えばルータ等であり、第１のパケット転送装置２０から転送されたパケットをネットワークＮ２側に転送する。以降では、複数の第２のパケット転送装置３０の各々を区別する場合は、「第２のパケット転送装置３０－１」、「第２のパケット転送装置３０－２」等と表す。
　統計情報収集装置４０は、第２のパケット転送装置３０からフロー特性を通知するフロー特性通知を受信してデータベース５０を更新する。データベース５０は、フロー特性に関する統計情報を記憶する。
　なお、図１に示す負荷分散システム１の構成は一例であって、他の構成であっても良い。例えば、第１のパケット転送装置２０及び第２のパケット転送装置３０は、ネットワーク仮想化技術によってコンピュータ上等に構築された仮想的なルータ等であっても良い。
　（実施例１）
　以降では、本発明の実施の形態における負荷分散システム１の実施例１について説明する。
　＜機能構成＞
　まず、実施例１における負荷分散システム１の機能構成について、図２を参照しながら説明する。図２は、実施例１における負荷分散システム１の機能構成の一例を示す図である。
　図２に示すように、実施例１における負荷監視装置１０は、流量監視部１０１と、負荷分散決定部１０２と、命令送信部１０３とを有する。
　流量監視部１０１は、第２のパケット転送装置３０の統計情報から、これらの第２のパケット転送装置３０のトラヒック流量をデータ量（ｂｐｓ）及びパケット数（ｐｐｓ）それぞれの観点で監視する。すなわち、流量監視部１０１は、各第２のパケット転送装置３０について、監視結果として、データ量（ｂｐｓ）及びパケット数（ｐｐｓ）を得る。以降では、監視結果とした得られたデータ量（ｂｐｓ）を「ｂｐｓ結果値」、監視結果として得られたパケット数（ｐｐｓ）を「ｐｐｓ結果値」と表す。
　負荷分散決定部１０２は、負荷分散を実施又は解除するかを決定する。すなわち、負荷分散決定部１０２は、ｂｐｓ結果値が、予め設定されたｂｐｓ閾値を超えたか又は下回ったかを判定する。同様に、負荷分散決定部１０２は、ｐｐｓ結果値が、予め設定されたｐｐｓ閾値を超えたか又は下回ったかを判定する。
　そして、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　同様に、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　命令送信部１０３は、負荷分散決定部１０２によって負荷分散を実施すると決定された場合又は負荷分散を解除すると判定された場合、所定の命令を第１のパケット転送装置２０に送信する。
　ここで、命令には、「閾値種別」と、「命令種別」と、「対象装置の識別情報」とが含まれる。「閾値種別」は、監視結果が超えた閾値又は監視結果が下回った閾値の種別であり、ｂｐｓ閾値を示す情報又はｐｐｓ閾値を示す情報のいずれかが設定される。「命令種別」は、負荷分散の実施又は解除のいずれであるかを示す情報が設定される。「対象装置の識別情報」は、監視結果が閾値を超えた又は下回った第２のパケット転送装置３０の識別情報であり、例えば、当該第２のパケット転送装置３０のＩＰアドレスが設定される。ただし、「対象装置の識別情報」には、ＩＰアドレス以外にも、例えば、当該第２のパケット転送装置３０のＩＤ、ＭＡＣ（Media　Access　Control）アドレス、ホスト名等が設定されても良い。
　また、図２に示すように、実施例１における第２のパケット転送装置３０は、統計情報記録部３０１を有する。統計情報記録部３０１は、第２のパケット転送装置３０がフローの転送を完了すると、当該フローのフロー情報（５－ｔｕｐｌｅ）とフロー特性を統計情報収集装置４０にフロー特性通知を用いて通知する。
　統計情報収集装置４０は、フロー特性通知に基づいてフローを特定し、特定したフローの特性に関する統計情報がデータベース５０に登録されていれば当該統計情報を更新し、登録されていなければ、フロー特性通知に基づいてレコードを作成し、データベース５０に追加する。
　図３は、実施例１におけるデータベース５０の一例を示す図である。図３に示すように、データベース５０には、レコードとしてフロー特性統計情報が格納されている。また、フロー特性統計情報には、「宛先ＩＰアドレス」と、「宛先ポート」と、「フロー特性のカウンタ」と、「スコア」とが含まれる。
　「宛先ＩＰアドレス」には、パケットの宛先のＩＰアドレスが設定される。「宛先ポート」には、パケットの出力ポートが設定される。「フロー特性のカウンタ」には、「ショート（Ａ）」と「ロング（Ｂ）」の２つのカウンタが含まれる。ショートカウンタには、ショートパケット中心のフロー数が設定され、ロングカウンタには、ロングパケット中心のフロー数が設定される。
　「スコア」には、ショートカウンタの値（Ａ）からロングカウンタの値（Ｂ）を引いた差の値（Ａ－Ｂ）を、両カウンタの合計値（Ａ＋Ｂ）で割って正規化した値が設定される。「スコア」が正の値であれば「宛先ＩＰアドレス」と「宛先ポート」で識別されるフローの特性はショートパケット中心であり、「スコア」が負の値であれば「宛先ＩＰアドレス」と「宛先ポート」で識別されるフローの特性はロングパケット中心である。
　図３に示す例では、「宛先ＩＰアドレス」が「１０．０．０．１０」であり「宛先ポート」が「５００４」であるフローについて、ショートパケット中心のフロー数は「１０００」であり、ロングパケット中心のフロー数は「０」であり、「スコア」は「１」である。
　統計情報収集装置４０は、フロー特性通知に含まれるフロー特性が「高ｐｐｓフロー」である場合には、ショートカウンタに「１」を加え、フロー特性通知に含まれるフロー特性が「高ｂｐｓフロー」である場合には、ロングカウンタに「１」を加える。また、統計情報収集装置４０は、レコードを追加する場合には、フロー特性通知に含まれるフロー特性に基づいてショートカウンタ又はロングカウンタを「１」に設定し、他のカウンタを「０」に設定する。
　データベース５０の検索速度を上げるためには、レコード数を減らすことが重要となる。５－ｔｕｐｌｅ全ての組み合わせでレコードを作成するとレコード数が膨大となるため、統計情報収集装置４０は、「宛先ＩＰアドレス」と「宛先ポート」の宛先情報のみを用いてレコードを作成する。
　ただし、宛先情報のみでレコードを作成するとレコード数を抑制できるが、５－ｔｕｐｌｅでレコードを作成する場合に比べてフロー特性の判定精度が低下する。例えば、宛先情報は同一でも送信元によってフロー特性が異なる場合にフロー特性の判定精度が低下する。そこで、統計情報収集装置４０は、レコード作成のキーを宛先情報に限定することでレコード数を抑制しつつ、フロー特性の判定精度が高いレコードを優先的にデータベース５０に残すようにレコードの置換を行う。
　すなわち、統計情報収集装置４０は、データベース５０が一杯の状態でレコードの置換が必要な場合に、削除するレコードを「スコア」の絶対値ａに基づいて選択する。統計情報収集装置４０は、まずａ＝０であるレコードを選択する。そして、ａ＝０であるレコードがない場合には、統計情報収集装置４０は、レコードが最後に参照されてからの経過時間にｗ／ａを加算した後、直近で最も使用されなかったレコードから削除していくＬＲＵ（Least　Recently　Used）に基づいてレコードを選択する。ここで、ｗは任意の正数である。
　このように、統計情報収集装置４０は、ａが小さいレコード、すなわちフロー特性に偏りが少なくフロー特性の判定精度が低いレコードがＬＲＵで不利に評価されるように経過時間をａに基づいて変更してＬＲＵを適用する。このため、統計情報収集装置４０は、フロー特性の判定精度が高いレコードがデータベース５０に残るようにすることができる。
　なお、統計情報収集装置４０及びデータベース５０は、例えば、第１のパケット転送装置２０に含まれても良い。また、データベース５０は、例えば、ＲＡＭ（Random　Access　Memory）や補助記憶装置、専用のメモリ装置等により実現される。
　また、図２に示すように、実施例１における第１のパケット転送装置２０は、命令受信部２０１と、経路テーブル変更部２０２と、入力ポート２０３と、フロー情報取得部２０４と、アプリ判定部２０５と、経路決定部２０６と、ルーティング部２０７と、出力ポート２０８と、入力バッファ２０９とを有する。これら各機能部は、例えば、第１のパケット転送装置２０にインストールされた１以上のプログラムがＣＰＵ等に実行させる処理により実現される。
　命令受信部２０１は、負荷監視装置１０からの命令を受信する。経路テーブル変更部２０２は、命令受信部２０１が受信した命令に応じて、ＥＣＭＰ経路テーブル１０００を変更する。ＥＣＭＰ経路テーブル１０００は、エントリとして経路情報を格納しているテーブルである。なお、ＥＣＭＰ経路テーブル１０００は、例えば、補助記憶装置や専用のメモリ装置等に格納されている。実施例１におけるＥＣＭＰ経路テーブル１０００の詳細については後述する。
　入力ポート２０３は、ネットワークＮ１側からのパケットを受信する。そして、入力ポート２０３は、受信したパケットを入力バッファ２０９に格納する。なお、入力バッファ２０９は、受信したパケットを一時的に格納しておくための記憶領域であり、例えばＲＡＭや補助記憶装置、専用のメモリ装置等により実現される。
　フロー情報取得部２０４は、入力バッファ２０９に格納されているパケットのフロー情報（例えば、５－ｔｕｐｌｅ）からハッシュ値を生成する。また、フロー情報取得部２０４は、フローテーブル２０００を参照して、生成したハッシュ値と一致するハッシュ値が含まれるエントリが存在するか否かを判定する。フローテーブル２０００は、エントリとして、ハッシュ値と、出力ポート２０８を示す情報（出力ポート情報）とが対応付けられたフロー転送情報を格納しているテーブルである。出力ポート情報は、複数の出力ポート２０８のうちのいずれか１つの出力ポート２０８を特定するための情報である。なお、フローテーブル２０００は、例えば、ＲＡＭや補助記憶装置、専用のメモリ装置等に格納されている。
　そして、フロー情報取得部２０４は、該当のエントリが存在すると判定した場合、当該エントリをルーティング部２０７に通知する。一方で、フロー情報取得部２０４は、該当のエントリが存在しないと判定した場合、当該パケットを新規フローのパケットと判断して、該当のエントリが存在しない旨をアプリ判定部２０５に通知する。このとき、フロー情報取得部２０４は、例えば、５－ｔｕｐｌｅ又は当該パケットのＬ７情報（例えば、Ｌ７のヘッダ情報等）とハッシュ値とをアプリ判定部２０５に通知する。
　なお、フローテーブル２０００に格納されているエントリ（フロー転送情報）は、例えば、経路決定部２０６等によって所定の時間毎に削除（クリア）されても良い。
　アプリ判定部２０５は、フロー情報取得部２０４からの通知に応じて、宛先情報をキーとしてデータベース５０を検索し、新規フローのフロー特性を特定する。アプリ判定部２０５は、「スコア」が正の値であれば新規フローをショートパケット中心のフローと特定し、「スコア」が負の値であれば新規フローをロングパケット中心のフローと特定する。そして、アプリ判定部２０５は、特定したフロー特性を経路決定部２０６に通知する。このとき、アプリ判定部２０５は、例えば、５－ｔｕｐｌｅと、フロー特性と、ハッシュ値とを経路決定部２０６に通知する。
　経路決定部２０６は、ＥＣＭＰ経路テーブル１０００を参照して、アプリ判定部２０５が特定したフロー特性から出力ポート２０８を決定する。また、経路決定部２０６は、決定した出力ポート２０８を示す情報と、ハッシュ値とを対応付けたフロー転送情報をフローテーブル２０００に格納する。そして、経路決定部２０６は、フローテーブル２０００に格納したエントリ（フロー転送情報）をルーティング部２０７に通知する。
　ルーティング部２０７は、フロー情報取得部２０４又は経路決定部２０６から通知されたエントリ（フロー転送情報）に含まれる出力ポート情報を取得する。そして、ルーティング部２０７は、取得した出力ポート情報が示す出力ポート２０８に当該パケットを送信する。
　出力ポート２０８は、ルーティング部２０７から受け取ったパケットを出力する。ここで、出力ポート２０８は、例えば、第２のパケット転送装置３０毎に存在する。例えば、出力ポート２０８には、第２のパケット転送装置３０－１に対応する出力ポート２０８－１、第２のパケット転送装置３０－２に対応する出力ポート２０８－２等がある。なお、出力ポート２０８は、物理ポートであっても良いし、論理ポートであっても良い。
　ここで、実施例１におけるＥＣＭＰ経路テーブル１０００について、図４を参照しながら説明する。図４は、実施例１におけるＥＣＭＰ経路テーブル１０００の一例を示す図である。
　図４に示すように、実施例１におけるＥＣＭＰ経路テーブル１０００には、エントリとして経路情報が格納されている。また、経路情報には、「宛先ネットワーク」と、「サブネットマスク」と、「ゲートウェイのリスト」と、「出力ポート情報」と、「データ量（ｂｐｓ）の負荷状態」と、「パケット数（ｐｐｓ）の負荷状態」とが含まれる。
　「宛先ネットワーク」には、パケットの転送先のネットワークのＩＰアドレス又はｄｅｆａｕｌｔが設定される。「サブネットマスク」には、宛先ネットワークに対応するサブネットマスクが設定される。
　「ゲートウェイのリスト」には、宛先ネットワークに対応するゲートウェイ（第２のパケット転送装置３０）のＩＰアドレスが設定される。なお、「ゲートウェイのリスト」には、１つの宛先ネットワークに対して、１つ以上のゲートウェイのＩＰアドレスが設定される。
　「出力ポート情報」には、「ゲートウェイのリスト」に設定されている各ゲートウェイ（のＩＰアドレス）に対する出力ポート２０８を示す情報がそれぞれ設定される。
　図４に示す例では、ゲートウェイ「１９２．１６８．１．０」に対して、出力ポート２０８－１を示す「ｅｔｈ０」が対応付けられている。これは、ゲートウェイ「１９２．１６８．１．０」からパケットを送信する場合、出力ポート２０８－１から送信されることを示している。
　同様に、例えば、ゲートウェイ「１９２．１６８．１．１」に対して、出力ポート２０８－２を示す「ｅｔｈ１」が対応付けられている。これは、ゲートウェイ「１９２．１６８．１．１」からパケットを送信する場合、出力ポート２０８－２から送信されることを示している。他のゲートウェイについても同様である。
　「データ量（ｂｐｓ）の負荷状態」には、「ゲートウェイのリスト」に設定されている各ゲートウェイ（のＩＰアドレス）に対して、当該ゲートウェイにおけるデータ量（ｂｐｓ）の負荷状態が設定される。ここで、図４に示す例では、「データ量（ｂｐｓ）の負荷状態」に「０」が設定されている場合、該当のゲートウェイにおけるデータ量（ｂｐｓ）の負荷状態が「低負荷」であることを示している。一方で、「データ量（ｂｐｓ）の負荷状態」に「１」が設定されている場合、該当のゲートウェイにおけるデータ量（ｂｐｓ）の負荷状態が「高負荷」であることを示している。
　「パケット数（ｐｐｓ）の負荷状態」には、「ゲートウェイのリスト」に設定されている各ゲートウェイ（のＩＰアドレス）に対して、当該ゲートウェイにおけるパケット数（ｐｐｓ）の負荷状態が設定される。ここで、図４に示す例では、「パケット数（ｐｐｓ）の負荷状態」に「０」が設定されている場合、該当のゲートウェイにおけるパケット数（ｐｐｓ）の負荷状態が「低負荷」であることを示している。一方で、「パケット数（ｐｐｓ）の負荷状態」に「１」が設定されている場合、該当のゲートウェイにおけるパケット数（ｐｐｓ）の負荷状態が「高負荷」であることを示している。
　このように、実施例１におけるＥＣＭＰ経路テーブル１０００には、宛先ネットワーク毎に、当該宛先ネットワークに対する１以上のゲートウェイと、これらの各ゲートウェイの出力ポート情報及び負荷状態とが含まれる経路情報が格納されている。
　後述するように、実施例１では、各ゲートウェイ（第２のパケット転送装置３０）の負荷状態が閾値を超えた場合（又は下回った場合）に、当該ゲートウェイに対応する負荷状態を変更すると共に、パケットを転送する際に、フロー特性に応じて低負荷状態のゲートウェイからパケットを送信することで、負荷分散が行われる。
　＜ＥＣＭＰ経路テーブルの変更処理＞
　以降では、実施例１におけるＥＣＭＰ経路テーブル１０００の変更処理について、図５を参照しながら説明する。図５は、実施例１におけるＥＣＭＰ経路テーブル１０００の変更処理の流れの一例を説明するための図である。
　まず、負荷監視装置１０の流量監視部１０１は、第２のパケット転送装置３０の統計情報から、これらの第２のパケット転送装置３０のｂｐｓ結果値及びｐｐｓ結果値を取得する（ステップＳ１０１）。ここで、流量監視部１０１は、例えば、所定の時間毎に、各第２のパケット転送装置３０のｂｐｓ結果値及びｐｐｓ結果値を取得する。なお、統計情報は、例えば、ｎｅｔｓｔａｔ等により取得することができる。
　次に、負荷監視装置１０の負荷分散決定部１０２は、負荷分散を実施又は解除するかを決定する（ステップＳ１０２）。すなわち、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を超えたか又は下回ったかを判定する。同様に、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を超えたか又は下回ったかを判定する。なお、ｂｂｓ閾値及びｐｐｓ閾値は、全ての第２のパケット転送装置３０で同一の値が決められても良いし、第２のパケット転送装置３０毎に値が決められても良い。又は、例えば、１以上の第２のパケット転送装置３０を所定の基準でグループ化した上で、グループ毎に値が決められても良い。
　そして、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　同様に、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　ステップＳ１０２において、負荷分散の実施及び負荷分散の解除のいずれも決定されなかった場合、負荷監視装置１０は、上記のステップＳ１０１に戻る。
　一方で、ステップＳ１０２において、負荷分散の実施又は負荷分散の解除の少なくとも一方が決定された場合、負荷監視装置１０の命令送信部１０３は、所定の命令を第１のパケット転送装置２０に送信する（ステップＳ１０３）。
　第１のパケット転送装置２０の命令受信部２０１は、負荷監視装置１０からの命令を受信する（ステップＳ１０４）。
　次に、第１のパケット転送装置２０の経路テーブル変更部２０２は、命令受信部２０１が受信した命令に応じて、ＥＣＭＰ経路テーブル１０００を変更する（ステップＳ１０５）。
　具体的には、例えば、「閾値種別」に「ｂｐｓ閾値」、「命令種別」に「負荷分散の実施」、「対象装置の識別情報」に「１９２．１６８．１．０」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．０」であるゲートウェイに対する「データ量（ｂｐｓ）の負荷状態」を「１」に変更する。
　同様に、例えば、「閾値種別」に「ｂｐｓ閾値」、「命令種別」に「負荷分散の解除」、「対象装置の識別情報」に「１９２．１６８．１．２」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．２」であるゲートウェイに対する「データ量（ｂｐｓ）の負荷状態」を「０」に変更する。
　同様に、例えば、「閾値種別」に「ｐｐｓ閾値」、「命令種別」に「負荷分散の実施」、「対象装置の識別情報」に「１９２．１６８．１．１」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．１」であるゲートウェイに対する「パケット数（ｐｐｓ）の負荷状態」を「１」に変更する。
　同様に、例えば、「閾値種別」に「ｐｐｓ閾値」、「命令種別」に「負荷分散の解除」、「対象装置の識別情報」に「１９２．１６８．１．０」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．０」であるゲートウェイに対する「パケット数（ｐｐｓ）の負荷状態」を「０」に変更する。
　以上のように、実施例１における負荷分散システム１は、負荷分散対象である第２のパケット転送装置３０のｂｐｓ結果値又はｐｐｓ結果値が閾値を超えた場合又は下回った場合、ＥＣＭＰ経路テーブル１０００に格納されている各エントリにおいて、これらの第２のパケット転送装置３０の負荷状態を変更する。これにより、ＥＣＭＰ経路テーブル１０００に格納されている各エントリによって、各第２のパケット転送装置３０の負荷状態（データ量（ｂｐｓ）の負荷状態及びパケット数（ｐｐｓ）の負荷状態）が管理される。
　＜パケット転送処理＞
　以降では、実施例１におけるパケット転送処理について、図６を参照しながら説明する。図６は、実施例１におけるパケット転送処理の流れの一例を説明するための図である。
　まず、第１のパケット転送装置２０の入力ポート２０３は、ネットワークＮ１側からのパケットを受信する（ステップＳ２０１）。
　次に、第１のパケット転送装置２０の入力ポート２０３は、上記のステップＳ２０１で受信したパケットを入力バッファ２０９に格納する（ステップＳ２０２）。
　次に、第１のパケット転送装置２０のフロー情報取得部２０４は、入力バッファ２０９に格納されているパケットのフロー情報（例えば、５－ｔｕｐｌｅ）からハッシュ値を生成する（ステップＳ２０３）。なお、ハッシュ値の生成に用いられるハッシュ関数は任意のものを用いることができる。
　次に、第１のパケット転送装置２０のフロー情報取得部２０４は、上記のステップＳ２０３で生成したハッシュ値と一致するハッシュ値が含まれるエントリ（フロー転送情報）がフローテーブル２０００に格納されているか否かを判定する（ステップＳ２０４）。
　ステップＳ２０４において、当該エントリがフローテーブル２０００に格納されていると判定された場合、第１のパケット転送装置２０は、後述するステップＳ２０８の処理に進む。
　一方で、ステップＳ２０４において、当該エントリがフローテーブル２０００に格納されていないと判定された場合、第１のパケット転送装置２０のアプリ判定部２０５は、データベース５０を用いて、当該パケットのフロー特性を特定する（ステップＳ２０５）。すなわち、アプリ判定部２０５は、当該パケットによるフローのフロー特性が「高ｂｐｓフロー」又は「高ｐｐｓフロー」のいずれであるかを特定する。アプリ判定部２０５は、当該パケットによるフローに対応する「スコア」が正であるか負であるかに基づいてフロー特性を特定することができる。
　次に、第１のパケット転送装置２０の経路決定部２０６は、ＥＣＭＰ経路テーブル１０００を参照して、上記のステップＳ２０５で特定したフロー特性から出力ポート２０８を決定する（ステップＳ２０６）。経路決定部２０６は、例えば、次のＳ１～Ｓ３の手順により出力ポート２０８を決定する。
　Ｓ１）まず、経路決定部２０６は、アプリ判定部２０５から通知された５－ｔｕｐｌｅに含まれる宛先ＩＰアドレスのネットワークアドレスに対応するエントリをＥＣＭＰ経路テーブル１０００から検索する。このとき、経路決定部２０６は、例えば、ロンゲストマッチでエントリを検索する。当該ネットワークアドレスに対応するエントリが検索された場合、経路決定部２０６は、このエントリを参照する。一方で、当該ネットワークアドレスに対応するエントリが検索されなかった場合、経路決定部２０６は、宛先ネットワークに「ｄｅｆａｕｌｔ」が設定されているエントリを参照する。
　Ｓ２）次に、経路決定部２０６は、フロー特性に応じて、参照しているエントリに含まれる「ゲートウェイのリスト」の中から低負荷状態のゲートウェイを検索する。
　例えば、上記のステップＳ２０５で特定したフロー特性が「高ｂｐｓフロー」である場合、経路決定部２０６は、当該エントリに含まれる「ゲートウェイのリスト」のうち、「データ量（ｂｐｓ）の負荷状態」に「０」が設定されているゲートウェイを上から順番に検索する。
　一方で、例えば、上記のステップＳ２０５で特定したフロー特性が「高ｐｐｓフロー」である場合、経路決定部２０６は、当該エントリに含まれる「ゲートウェイのリスト」のうち、「パケット数（ｐｐｓ）の負荷状態」に「０」が設定されているゲートウェイを上から順番に検索する。
　Ｓ３）そして、経路決定部２０６は、上記のＳ２で検索されたゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。
　なお、上記のＳ２でゲートウェイが検索されなかった場合、経路決定部２０６は、高負荷状態のゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。例えば、上記のステップＳ２０５で特定したフロー特性が「高ｂｐｓフロー」で、「データ量（ｂｐｓ）の負荷状態」に「０」が設定されているゲートウェイが存在しない場合、経路決定部２０６は、「データ量（ｂｐｓ）の負荷状態」に「１」が設定されているゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。同様に、例えば、上記のステップＳ２０５で特定したフロー特性が「高ｐｐｓフロー」で、「パケット数（ｐｐｓ）の負荷状態」に「０」が設定されているゲートウェイが存在しない場合、経路決定部２０６は、「パケット数（ｐｐｓ）の負荷状態」に「１」が設定されているゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。
　ここで、同一の宛先ネットワークに対する出力ポート２０８をラウンドロビンで変更したい場合は、経路決定部２０６は、決定した出力ポート２０８に対応するゲートウェイを、「ゲートウェイのリスト」の最後尾に移動させても良い。例えば、図４に示すＥＣＭＰ経路テーブル１０００において、宛先ネットワーク「ｄｅｆａｕｌｔ」のゲートウェイ「１９２．１６８．１．０」の出力ポート情報「ｅｔｈ０」が出力ポート２０８に決定された場合、このゲートウェイ「１９２．１６８．１．０」をリストの最後尾（すなわち、ゲートウェイ「１９２．１６８．１．２」の後ろ）に移動させても良い。これにより、同一の宛先ネットワークに対する出力ポート２０８をラウンドロビンで変更することで、更なる負荷分散が期待できる。
　次に、第１のパケット転送装置２０の経路決定部２０６は、アプリ判定部２０５から通知されたハッシュ値と、上記のステップＳ２０６で決定した出力ポート２０８を示す情報（出力ポート情報）とを対応付けたフロー転送情報をフローテーブル２０００に格納する（ステップＳ２０７）。
　第１のパケット転送装置２０のルーティング部２０７は、該当のエントリ（上記のステップＳ２０４でハッシュ値が一致すると判定されたエントリ又は上記のステップＳ２０７で格納されたエントリ）から出力ポート情報を取得する（ステップＳ２０８）。そして、ルーティング部２０７は、取得した出力ポート情報が示す出力ポート２０８に当該パケットを送信する。
　第１のパケット転送装置２０の出力ポート２０８は、ルーティング部２０７から受け取ったパケットを送信する（ステップＳ２０９）。
　＜フロー特性の登録処理＞
　以降では、実施例１におけるフロー特性の登録処理について、図７を参照しながら説明する。図７は、実施例１におけるフロー特性の登録処理の流れの一例を説明するための図である。
　まず、統計情報収集装置４０は、第２のパケット転送装置３０からフロー特性通知を受信する（ステップＳ３０１）。
　次に、統計情報収集装置４０は、フロー特性通知に含まれる宛先情報で特定されるフローがデータベース５０に登録されているか否かを判定する（ステップＳ３０２）。
　ステップＳ３０２において、当該フローがデータベース５０に登録されていると判定した場合、統計情報収集装置４０は、フロー特性通知に含まれるフロー特性に基づいて、当該フローのレコードの「フロー特性のカウンタ」に「１」を加算する（ステップＳ３０３）。統計情報収集装置４０は、フロー特性通知に含まれるフロー特性が「高ｐｐｓフロー」である場合にはショートカウンタに「１」を加算し、フロー特性通知に含まれるフロー特性が「高ｂｐｓフロー」である場合にはロングカウンタに「１」を加算する。
　一方、ステップＳ３０２において、当該フローがデータベース５０に登録されていないと判定した場合、統計情報収集装置４０は、当該フローのレコードを作成してデータベース５０に登録する新規登録処理を行う（ステップＳ３０４）。
　次に、統計情報収集装置４０は、当該フローのレコードの「スコア」を更新する（ステップＳ３０５）。
　以上のように、統計情報収集装置４０は、フロー特性通知に含まれる宛先情報で特定されるフローがデータベース５０に登録されている場合には「フロー特性のカウンタ」に「１」を加算し、登録されていない場合にはレコードを作成してデータベース５０の登録する。これにより、第１のパケット転送装置２０は、受信したパケットのフロー特性をデータベース５０を参照して特定することができる。
　図８は、新規登録処理の流れの一例を説明するための図である。統計情報収集装置４０は、フロー特性通知に含まれる宛先情報とフロー特性を用いてレコードを作成する（ステップＳ４０１）。統計情報収集装置４０は、フロー特性通知に含まれるフロー特性が「高ｐｐｓフロー」である場合にはショートカウンタに「１」を設定してロングカウンタに「０」を設定し、フロー特性通知に含まれるフロー特性が「高ｂｐｓフロー」である場合にはロングカウンタに「１」を設定してショートカウンタに「０」を設定する。
　次に、統計情報収集装置４０は、レコードの追加が可能であるか否かを判定する（ステップＳ４０２）。
　ステップＳ４０２において、レコードの追加が可能である場合、統計情報収集装置４０は、データベース５０に作成したレコードを追加する（ステップＳ４０３）。
　一方、ステップＳ４０２において、レコードの追加が可能でない場合、統計情報収集装置４０は、「スコア」が「０」のレコードがあるか否かを判定する（ステップＳ４０４）。
　ステップＳ４０４において、「スコア」が「０」のレコードがある場合、統計情報収集装置４０は、「スコア」が「０」のレコードを、作成したレコードで置換する（ステップＳ４０５）。
　一方、ステップＳ４０４において、「スコア」が「０」のレコードがない場合、統計情報収集装置４０は、全てのレコードについて、「スコア」に基づく値ｂ＝ｗ／ａを経過時間に加算する（ステップＳ４０６）。そして、統計情報収集装置４０は、ｂが加算された経過時間が最大のレコードを特定し（ステップＳ４０７）、特定したレコードを、作成したレコードで置換する（ステップＳ４０８）。
　以上のように、実施例１における負荷分散システム１は、第１のパケット転送装置２０から第２のパケット転送装置３０にパケットを転送する際に、当該パケットによるフローのフロー特性に応じて、低負荷状態の第２のパケット転送装置３０に当該パケットを転送する。これにより、実施例１における負荷分散システム１では、第２のパケット転送装置３０の負荷分散を実現することができる。このため、例えば、或る第２のパケット転送装置３０に高ｂｐｓフローのパケットが集中する事態や高ｐｐｓフローのパケットが集中する事態を防止することができ、第２のパケット転送装置３０の転送容量を最大限に活かすことができるようになる。
　また、実施例１における負荷分散システム１は、フロー特性統計情報をデータベース５０に記憶する。そして、第１のパケット転送装置２０は、パケットを受信すると、受信したパケットが構成するフローの特性をデータベース５０を参照して判定する。このため、第１のパケット転送装置２０は、フロー特性を効率良く正確に判定することができる。
　また、統計情報収集装置４０は第２のパケット転送装置３０からフロー特性通知を受信する毎にデータベース５０を更新するため、データベース５０は、フロー特性統計情報を記憶することができる。
　また、データベース５０は５－ｔｕｐｌｅではなく宛先情報に対応付けて「フロー特性のカウンタ」及び「スコア」をフロー毎に記憶するため、第１のパケット転送装置２０は、フロー特性を効率良く判定することができる。
　また、統計情報収集装置４０は、データベース５０のレコードを置換するときに「スコア」が「０」であるレコードを削除対象とし、「スコア」が「０」であるレコードがない場合には、経過時間にｗ／ａを加算した値を用いてＬＲＵにより削除対象を選択する。このため、第１のパケット転送装置２０は、レコード数を抑えつつフロー特性を正確に判定することができる。
　（実施例２）
　時間経過によってパケットを送受信するサーバの用途が変化すると、宛先情報が同一でもフロー特性が変化する。このような状況に対処するため、実施例２では、データベース５０は、「フロー特性のカウンタ」を複数の期間に分けて記憶する。
　図９は、実施例２におけるデータベース５０の一例を示す図である。図９に示すように、「フロー特性のカウンタ」は、０～１ヶ月前の情報をカウントするカウンタ、１～２ヶ月前の情報をカウントするカウンタ、及び２～３ヶ月前の情報をカウントするカウンタに分けられる。図９では１ヶ月であるが、期間は、２週間、２ヶ月など他の単位でも良い。また、「フロー特性のカウンタ」は、期間毎に「スコア」の計算に用いられる重み係数を有する。
　０～１ヶ月前のショートカウンタの値（Ａ）とロングカウンタの値（Ｂ）と重み係数（Ｃ）、１～２ヶ月前のショートカウンタの値（Ｄ）とロングカウンタの値（Ｅ）と重み係数（Ｆ）、及び２～３ヶ月前のショートカウンタの値（Ｇ）とロングカウンタの値（Ｈ）と重み係数（Ｉ）を用いて「スコア」は以下のように計算される。
　「スコア」＝｛（Ａ－Ｂ）×Ｃ＋（Ｄ－Ｅ）×Ｆ＋（Ｇ－Ｈ）×Ｉ｝÷｛（Ａ＋Ｂ）×Ｃ＋（Ｄ＋Ｅ）×Ｆ＋（Ｇ＋Ｈ）×Ｉ｝
　なお、図９では、Ｃ＝１０、Ｆ＝５、Ｉ＝１として「スコア」が計算されている。例えば、「宛先ＩＰアドレス」が「２０．０．０．１５」であり「宛先ポート」が「４４３」であるフローの「スコア」は以下のように計算される。
　「スコア」＝｛（１０００－０）×１０＋（０－１０００）×５＋（０－１０００）×１｝÷｛（１０００＋０）×１０＋（０＋１０００）×５＋（０＋１０００）×１｝＝｛１００００－５０００－１０００｝÷｛１００００＋５０００＋１０００｝＝０．２５
　以上のように、実施例２における負荷分散システム１では、データベース５０はショートカウンタとロングカウンタの組を期間毎に複数有し、統計情報収集装置４０は「スコア」を各組のショートカウンタとロングカウンタの差及び重み係数に基づいて計算する。このため、第１のパケット転送装置２０は、フロー特性が変化する場合にもフロー特性を正確に判定することができる。
　＜ハードウェア構成＞
　最後に、本発明の実施の形態における負荷監視装置１０、第１のパケット転送装置２０、第２のパケット転送装置３０及び統計情報収集装置４０のハードウェア構成について説明する。本発明の実施の形態における負荷監視装置１０、第１のパケット転送装置２０、第２のパケット転送装置３０及び統計情報収集装置４０は、例えば図１０に示すコンピュータ５００を１台以上用いることにより実現される。図１０は、コンピュータ５００のハードウェア構成の一例を示す図である。
　図１０に示すコンピュータ５００は、ＣＰＵ（Central　Processing　Unit）５０１と、ＲＡＭ５０２と、ＲＯＭ（Read　Only　Memory）５０３と、外部Ｉ／Ｆ５０４と、通信Ｉ／Ｆ５０５と、補助記憶装置５０６とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。
　ＣＰＵ５０１は、ＲＯＭ５０３や補助記憶装置５０６等からプログラムやデータをＲＡＭ５０２上に読み出して処理を実行する演算装置である。
　ＲＡＭ５０２は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ５０３は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ５０３には、例えば、ＯＳ設定やネットワーク設定等が格納されている。
　外部Ｉ／Ｆ５０４は、外部装置とのインタフェースである。外部装置には、記録媒体５０４ａ等がある。コンピュータ５００は、外部Ｉ／Ｆ５０４を介して、記録媒体５０４ａ等の読み取りや書き込み等を行うことができる。
　記録媒体５０４ａには、例えば、フレキシブルディスク、ＣＤ（Compact　Disc）、ＤＶＤ（Digital　Versatile　Disk）、ＳＤメモリカード（Secure　Digital　memory　card）、ＵＳＢ（Universal　Serial　Bus）メモリカード等がある。
　通信Ｉ／Ｆ５０５は、他の装置と通信を行うためのインタフェースである。なお、第１のパケット転送装置２０及び第２のパケット転送装置３０は、複数の通信Ｉ／Ｆ５０５を有する。
　補助記憶装置５０６は、例えばＨＤＤ（Hard　Disk　Drive）やＳＳＤ（Solid　State　Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置５０６に格納されているプログラムやデータには、例えば、ＯＳ、当該ＯＳ上において各種機能を実現するアプリケーションプログラム等がある。
　本発明の実施の形態における負荷監視装置１０、第１のパケット転送装置２０、第２のパケット転送装置３０及び統計情報収集装置４０は、図１０に示すコンピュータ５００を１台以上用いることにより、上述した各種処理を実行することができる。例えば、負荷監視装置１０が有する各機能部は、補助記憶装置５０６に格納された１以上のプログラムがＣＰＵ５０１等に実行させる処理により実現される。また、例えば、第１のパケット転送装置２０が有する各機能部は、補助記憶装置５０６に格納された１以上のプログラムがＣＰＵ５０１等に実行させる処理や通信Ｉ／Ｆ５０５等により実現される。
　なお、負荷監視装置１０は、例えばディスプレイ等の表示装置と、例えばキーボードやマウス等の入力装置とのうちの少なくとも一方を有していても良い。
　本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上記の実施の形態では、負荷分散を行うパケット転送装置を第１のパケット転送装置２０、負荷分散の対象となるパケット転送装置を第２のパケット転送装置３０としたが、これは、或るパケット転送装置が常に第１のパケット転送装置２０又は第２のパケット転送装置３０のいずれかとして機能することを意味するものではない。例えば、同一のパケット転送装置が第１のパケット転送装置２０として機能し、かつ、第２のパケット転送装置３０としても機能しても良い。
　１　　　　　負荷分散システム
　１０　　　　負荷監視装置
　２０　　　　第１のパケット転送装置
　３０　　　　第２のパケット転送装置
　４０　　　　統計情報収集装置
　５０　　　　データベース
　１０１　　　流量監視部
　１０２　　　負荷分散決定部
　１０３　　　命令送信部
　２０１　　　命令受信部
　２０２　　　経路テーブル変更部
　２０３　　　入力ポート
　２０４　　　フロー情報取得部
　２０５　　　アプリ判定部
　２０６　　　経路決定部
　２０７　　　ルーティング部
　２０８　　　出力ポート
　２０９　　　入力バッファ
　３０１　　　統計情報記録部
　Ｎ１、Ｎ２　ネットワーク

Claims (6)

  1. 　パケットにより構成されるフローがショートパケットが多い傾向のフロー又はロングパケットが多い傾向のフローのいずれであるかを示すフロー特性に関する情報を該パケットの宛先情報に対応付けて記憶する記憶手段と、
    　入力ポートがパケットを受信すると、該パケットにより構成されるフローのフロー特性を前記記憶手段に基づいて判定する判定手段と、
    　前記判定手段により判定されたフロー特性に応じて、複数のパケット転送装置のうち、前記フロー特性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記入力ポートが受信したパケットを出力する出力手段と、
    　を有することを特徴とする負荷分散システム。
  2. 　前記パケット転送装置がフローの転送を完了すると、該フローの宛先情報とフロー特性を前記パケット転送装置から受信して前記記憶手段を更新する更新手段
    　を有することを特徴とする請求項１に記載の負荷分散システム。
  3. 　前記フロー特性に関する情報は、ショートパケットが多い傾向のフローの数を示すショートカウンタと、ロングパケットが多い傾向のフローの数を示すロングカウンタと、前記ショートカウンタとロングカウンタの差に基づくスコアを含み、
    　前記判定手段は、前記スコアに基づいて前記フロー特性を判定することを特徴とする請求項２に記載の負荷分散システム。
  4. 　前記更新手段は、前記記憶手段のエントリを置換するときに、前記スコアが０であるエントリがある場合は、前記スコアが０であるエントリを置換されるエントリとして選択し、前記スコアが０であるエントリがない場合は、各エントリが前記記憶手段に登録されてからの経過時間に前記スコアの逆数に基づく第１の値を加えた第２の値を用いてＬＲＵに従って、置換されるエントリを選択することを特徴とする請求項３に記載の負荷分散システム。
  5. 　前記フロー特性に関する情報は、前記ショートカウンタとロングカウンタの組を期間毎に複数含み、前記スコアは、各組のショートカウンタとロングカウンタの差に基づく値であることを特徴とする請求項３又は４に記載の負荷分散システム。
  6. 　パケットにより構成されるフローがショートパケットが多い傾向のフロー又はロングパケットが多い傾向のフローのいずれであるかを示すフロー特性に関する情報を該パケットの宛先情報に対応付けて記憶手段に記憶する手順と、
    　入力ポートがパケットを受信すると、該パケットにより構成されるフローのフロー特性を前記記憶手段に基づいて判定する判定手順と、
    　前記判定手順により判定されたフロー特性に応じて、複数のパケット転送装置のうち、前記フロー特性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記入力ポートが受信したパケットを出力する出力手順と、
    　を負荷分散システムが実行することを特徴とする負荷分散方法。
PCT/JP2019/030813 2018-08-07 2019-08-06 負荷分散システム及び負荷分散方法 WO2020031996A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/265,991 US11632331B2 (en) 2018-08-07 2019-08-06 Load distribution system and load distribution method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018148940A JP7003873B2 (ja) 2018-08-07 2018-08-07 負荷分散システム及び負荷分散方法
JP2018-148940 2018-08-07

Publications (1)

Publication Number Publication Date
WO2020031996A1 true WO2020031996A1 (ja) 2020-02-13

Family

ID=69414777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030813 WO2020031996A1 (ja) 2018-08-07 2019-08-06 負荷分散システム及び負荷分散方法

Country Status (3)

Country Link
US (1) US11632331B2 (ja)
JP (1) JP7003873B2 (ja)
WO (1) WO2020031996A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015233221A (ja) * 2014-06-10 2015-12-24 日本電信電話株式会社 統計情報メモリシステム、ネットワーク機器、および統計情報蓄積方法
JP2016525846A (ja) * 2013-07-31 2016-08-25 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ データ・パケットを処理するための方法、システム、およびコンピュータ・プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004350078A (ja) 2003-05-23 2004-12-09 Fujitsu Ltd 方路分散伝送システム
FR2908575B1 (fr) * 2006-11-09 2009-03-20 At & T Corp Methode et appareil pour fournir un equilibrage de charge base sur le flux
US7729278B2 (en) * 2007-02-14 2010-06-01 Tropos Networks, Inc. Wireless routing based on data packet classifications
JP5014282B2 (ja) * 2008-08-06 2012-08-29 アラクサラネットワークス株式会社 通信データ統計装置、通信データ統計方法およびプログラム
US10749795B2 (en) * 2018-07-06 2020-08-18 Citrix Systems, Inc. Systems and methods for selecting communication paths for applications sensitive to bursty packet drops

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016525846A (ja) * 2013-07-31 2016-08-25 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ データ・パケットを処理するための方法、システム、およびコンピュータ・プログラム
JP2015233221A (ja) * 2014-06-10 2015-12-24 日本電信電話株式会社 統計情報メモリシステム、ネットワーク機器、および統計情報蓄積方法

Also Published As

Publication number Publication date
JP2020025202A (ja) 2020-02-13
JP7003873B2 (ja) 2022-01-21
US11632331B2 (en) 2023-04-18
US20210297357A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US10257066B2 (en) Interconnect congestion control in a storage grid
US10075396B2 (en) Methods and systems for managing distributed media access control address tables
US10404622B2 (en) Servers, switches, and systems with virtual interface to external network connecting hardware and integrated networking driver
US10135714B2 (en) Servers, switches, and systems with switching module implementing a distributed network operating system
US9680714B2 (en) Methods, systems, and fabrics implementing a distributed network operating system
US9742697B2 (en) Integrated server with switching capabilities and network operating system
US10581734B2 (en) Methods, systems, and fabrics implementing a distributed network operating system
US9304782B2 (en) Network switch, systems, and servers implementing boot image delivery
US20110134761A1 (en) Dynamically provisioning virtual machines
JP6015744B2 (ja) 輻輳制御方法、輻輳制御装置、通信システム及び輻輳制御プログラム
WO2020036162A1 (ja) 負荷分散システム及び負荷分散方法
WO2013146808A1 (ja) コンピュータシステム、及び通信経路変更方法
JP6888566B2 (ja) 負荷分散システム及び負荷分散方法
JP7255675B2 (ja) 仮想マシン監視装置、仮想マシン監視方法およびプログラム
WO2020031996A1 (ja) 負荷分散システム及び負荷分散方法
JP6669807B2 (ja) 計算機システムおよび計算機
WO2020162185A1 (ja) 負荷分散システム及び負荷分散方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19848093

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19848093

Country of ref document: EP

Kind code of ref document: A1