WO2019163518A1 - 負荷分散システム及び負荷分散方法 - Google Patents

負荷分散システム及び負荷分散方法 Download PDF

Info

Publication number
WO2019163518A1
WO2019163518A1 PCT/JP2019/004266 JP2019004266W WO2019163518A1 WO 2019163518 A1 WO2019163518 A1 WO 2019163518A1 JP 2019004266 W JP2019004266 W JP 2019004266W WO 2019163518 A1 WO2019163518 A1 WO 2019163518A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow
packet
packet transfer
load
load distribution
Prior art date
Application number
PCT/JP2019/004266
Other languages
English (en)
French (fr)
Inventor
明寛 木村
岩田　英明
昭宏 岡田
土屋　英雄
俊介 本間
克真 宮本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/971,848 priority Critical patent/US11128569B2/en
Publication of WO2019163518A1 publication Critical patent/WO2019163518A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H04L45/745—Address table lookup; Address filtering
    • H04L45/7453—Address table lookup; Address filtering using hashing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/628—Queue scheduling characterised by scheduling criteria for service slots or service orders based on packet size, e.g. shortest packet first

Definitions

  • the present invention relates to a load distribution system and a load distribution method.
  • a technology for distributing the load of a packet transfer device such as a router is conventionally known.
  • a technique is known in which a plurality of packet transfer apparatuses and a plurality of transfer paths are prepared as packet transfer destinations, and traffic is evenly applied to the respective transfer paths to distribute the load of the packet transfer apparatus.
  • a technique called ECMP (Equal Cost Multi Path) or ECMP routing is also known.
  • ECMP is a load distribution technique in which traffic is evenly applied to a transfer path having an equal cost among a plurality of transfer paths described above.
  • bps bits per second
  • pps packets per second
  • these transfer capacities have upper limit values specific to the packet transfer apparatus.
  • bps may be limited by the line rate of physical NIC (Network Interface Card)
  • OS Operating System
  • applications May be limited by speed.
  • traffic such as video has the property that there are many long packets. For this reason, when traffic such as moving images is concentrated, the transfer capacity of the data amount is depleted, while the transfer capacity of the number of packets has a margin.
  • traffic such as VoIP (Voice over Internet Protocol) and telemetry has a property that there are many short packets. For this reason, when traffic such as VoIP and telemetering is concentrated, the transfer capacity of the data amount has room, but the transfer capacity of the number of packets is exhausted.
  • VoIP Voice over Internet Protocol
  • the tendency of the packet length in a flow of a certain traffic (that is, which of the short packets or the long packets is more) can be roughly estimated by the type of application that handles the flow.
  • the embodiment of the present invention has been made in view of the above points, and aims to realize load distribution according to the nature of the flow.
  • the flow constituted by the packet is either a flow that tends to have many long packets or a flow that tends to have many short packets.
  • a determination unit that determines whether there is a flow attribute, and a packet in a load state that indicates that the load due to the flow of the flow attribute is low among a plurality of packet transfer apparatuses according to the flow attribute determined by the determination unit Output means for outputting the packet to a transfer apparatus.
  • the purpose is to realize load balancing according to the nature of the flow.
  • FIG. 1 is a diagram illustrating an example of a functional configuration of a load distribution system in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an ECMP route table according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of a flow of an ECMP route table change process in Embodiment 1.
  • FIG. 6 is a diagram for explaining an example of a flow of packet transfer processing in Embodiment 1.
  • FIG. FIG. 10 is a diagram illustrating an example of a functional configuration of a load distribution system according to a second embodiment.
  • FIG. 10 is a diagram illustrating an example of an ECMP route table according to the second embodiment.
  • FIG. 10 is a diagram for explaining an example of a flow of an ECMP route table change process in Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of a flow of packet transfer processing in Embodiment 2.
  • FIG. It is a figure which shows an example of the hardware constitutions of a computer.
  • the flow property is referred to as “flow attribute”, and the flow attribute indicates “high bps flow” indicating a flow with many long packets and a flow with many short packets. Assume that there is a “high pps flow”.
  • the flow means a packet (traffic) or a group of packets having the same flow information.
  • the flow information is specified by header information included in this packet, and is, for example, 5-tuple (source IP (Internet Protocol) address, destination IP address, source port number, destination port number, protocol type).
  • an application that handles a flow with many long packets for example, a video browsing application or the like can be cited.
  • examples of applications that handle flows with many short packets include voice call applications using VoIP, applications that perform telemetry, and the like.
  • FIG. 1 is a diagram showing an example of the overall configuration of a load distribution system 1 according to an embodiment of the present invention.
  • the load distribution system 1 includes a load monitoring device 10, a first packet transfer device 20, and a second packet transfer device 30.
  • the load monitoring device 10 is, for example, a computer or a computer system, and monitors the traffic flow rate of the second packet transfer device 30 that is a load distribution target. Then, the load monitoring device 10 performs load distribution (or cancels load distribution) when the traffic flow of the second packet transfer device 30 exceeds a predetermined threshold (or falls below the predetermined threshold). Is transmitted to the first packet transfer apparatus 20.
  • the first packet transfer device 20 is a router or the like, for example, and transfers a packet from the network N1 side to the second packet transfer device 30. At this time, the first packet transfer device 20 refers to a predetermined table used for load distribution, and selects the second packet transfer device 30 corresponding to the flow attribute among the plurality of second packet transfer devices 30. Transfer the packet.
  • the first packet transfer device 20 changes a predetermined table used for load distribution in accordance with an instruction from the load monitoring device 10.
  • the second packet transfer device 30 is, for example, a router, and transfers the packet transferred from the first packet transfer device 20 to the network N2 side.
  • second packet transfer apparatus 30-1 when each of the plurality of second packet transfer apparatuses 30 is distinguished, they are expressed as “second packet transfer apparatus 30-1”, “second packet transfer apparatus 30-2”, and the like.
  • the configuration of the load distribution system 1 shown in FIG. 1 is an example, and other configurations may be used.
  • the first packet transfer device 20 and the second packet transfer device 30 may be virtual routers or the like constructed on a computer or the like by network virtualization technology.
  • Example 1 of the load distribution system 1 according to the embodiment of the present invention will be described.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the load distribution system 1 according to the first embodiment.
  • the load monitoring apparatus 10 includes a flow rate monitoring unit 101, a load distribution determination unit 102, and a command transmission unit 103.
  • the flow rate monitoring unit 101 monitors the traffic flow rate of the second packet transfer device 30 from the viewpoints of the data amount (bps) and the number of packets (pps) from the statistical information of the second packet transfer device 30. That is, the flow rate monitoring unit 101 obtains the data amount (bps) and the number of packets (pps) as monitoring results for each second packet transfer device 30.
  • the data amount (bps) obtained as the monitoring result is represented as “bps result value”
  • the number of packets (pps) obtained as the monitoring result is represented as “pps result value”.
  • the load distribution determination unit 102 determines whether or not to perform load distribution. That is, the load distribution determination unit 102 determines whether the bps result value exceeds or falls below a preset bps threshold value. Similarly, the load distribution determining unit 102 determines whether the pps result value exceeds or falls below a preset pps threshold value.
  • the load distribution determination unit 102 determines to perform load distribution.
  • the load distribution determining unit 102 determines to cancel the load distribution.
  • the load distribution determination unit 102 determines to perform load distribution.
  • the load distribution determining unit 102 determines to cancel the load distribution.
  • the command transmission unit 103 transmits a predetermined command to the first packet transfer apparatus 20 when the load distribution determination unit 102 determines to perform load distribution or when it is determined to cancel load distribution.
  • the command includes “threshold type”, “command type”, and “identification information of the target device”.
  • the “threshold type” is a type of a threshold that exceeds the monitoring result or a threshold that the monitoring result falls below, and is set to either information indicating the bps threshold or information indicating the pps threshold.
  • information indicating whether load distribution is performed or canceled is set.
  • “Identification information of the target device” is identification information of the second packet transfer device 30 whose monitoring result exceeds or falls below the threshold, and for example, the IP address of the second packet transfer device 30 is set.
  • the ID, the MAC (Media Access Control) address, the host name, and the like of the second packet transfer device 30 may be set in the “identification information of the target device”.
  • the first packet transfer apparatus 20 includes an instruction receiving unit 201, a route table changing unit 202, an input port 203, a flow information acquiring unit 204, and an application determining unit. 205, a route determination unit 206, a routing unit 207, an output port 208, and an input buffer 209.
  • Each of these functional units is realized, for example, by processing that one or more programs installed in the first packet transfer apparatus 20 cause the CPU or the like to execute.
  • the command receiving unit 201 receives a command from the load monitoring device 10.
  • the route table changing unit 202 changes the ECMP route table 1000 according to the command received by the command receiving unit 201.
  • the ECMP route table 1000 is a table that stores route information as entries.
  • the ECMP path table 1000 is stored in, for example, an auxiliary storage device or a dedicated memory device. Details of the ECMP path table 1000 according to the first embodiment will be described later.
  • the input port 203 receives a packet from the network N1 side.
  • the input port 203 stores the received packet in the input buffer 209.
  • the input buffer 209 is a storage area for temporarily storing received packets, and is realized by, for example, a RAM (Random Access Memory), an auxiliary storage device, a dedicated memory device, or the like.
  • the flow information acquisition unit 204 generates a hash value from the flow information (for example, 5-tuple) of the packet stored in the input buffer 209.
  • the flow information acquisition unit 204 refers to the flow table 2000 and determines whether there is an entry including a hash value that matches the generated hash value.
  • the flow table 2000 is a table that stores, as an entry, flow transfer information in which a hash value is associated with information indicating the output port 208 (output port information).
  • the output port information is information for specifying any one of the plurality of output ports 208.
  • the flow table 2000 is stored in, for example, a RAM, an auxiliary storage device, a dedicated memory device, or the like.
  • the flow information acquisition unit 204 determines that the corresponding entry exists, the flow information acquisition unit 204 notifies the routing unit 207 of the entry. On the other hand, if the flow information acquisition unit 204 determines that the corresponding entry does not exist, the flow information acquisition unit 204 determines that the packet is a new flow packet, and notifies the application determination unit 205 that the corresponding entry does not exist. At this time, the flow information acquisition unit 204 notifies the application determination unit 205 of, for example, 5-tuple or L7 information of the packet (for example, L7 header information) and a hash value.
  • the entry (flow transfer information) stored in the flow table 2000 may be deleted (cleared) every predetermined time by the route determination unit 206 or the like, for example.
  • the application determination unit 205 In response to the notification from the flow information acquisition unit 204, the application determination unit 205 identifies the application of the new flow using the 5-tuple or L7 information, and the flow attribute (high bps flow or high pps flow of the new flow) Any one). Then, the application determination unit 205 notifies the route determination unit 206 of the identified flow attribute. At this time, the application determination unit 205 notifies the route determination unit 206 of, for example, 5-tuple, a flow attribute, and a hash value.
  • the route determination unit 206 refers to the ECMP route table 1000 and determines the output port 208 from the flow attribute specified by the application determination unit 205. Further, the path determination unit 206 stores the flow transfer information in which the information indicating the determined output port 208 is associated with the hash value in the flow table 2000. The route determination unit 206 notifies the routing unit 207 of the entry (flow transfer information) stored in the flow table 2000.
  • the routing unit 207 acquires the output port information included in the entry (flow transfer information) notified from the flow information acquisition unit 204 or the route determination unit 206. Then, the routing unit 207 transmits the packet to the output port 208 indicated by the acquired output port information.
  • the output port 208 outputs the packet received from the routing unit 207.
  • the output port 208 exists, for example, for each second packet transfer device 30.
  • the output port 208 includes an output port 208-1 corresponding to the second packet transfer device 30-1, an output port 208-2 corresponding to the second packet transfer device 30-2, and the like.
  • the output port 208 may be a physical port or a logical port.
  • FIG. 3 is a diagram illustrating an example of the ECMP path table 1000 according to the first embodiment.
  • the ECMP route table 1000 stores route information as an entry.
  • the route information includes “destination network”, “subnet mask”, “gateway list”, “output port information”, “load state of data amount (bps)”, and “number of packets (pps)”. ) Load state ".
  • the IP address or default of the network to which the packet is transferred is set.
  • the subnet mask a subnet mask corresponding to the destination network is set.
  • the IP address of the gateway (second packet transfer device 30) corresponding to the destination network is set.
  • IP addresses of one or more gateways are set for one destination network.
  • “eth1” indicating the output port 208-2 is associated with the gateway “192.168.1.1”. This indicates that when a packet is transmitted from the gateway “192.168.1.1”, the packet is transmitted from the output port 208-2. The same applies to other gateways.
  • the data amount (bps) load state for each gateway (IP address) set in the “gateway list”, the data amount (bps) load state in the gateway is set.
  • the data amount (bps) load state in the corresponding gateway is “low load”. It is shown that.
  • the load state of the data amount (bps) in the corresponding gateway is “high load”.
  • the load state of the packet number (pps) in the gateway is set for each gateway (IP address) set in the “gateway list”.
  • IP address IP address
  • the load state of the number of packets (pps) in the corresponding gateway is “low load”. It is shown that.
  • “1” is set in the “load state of the number of packets (pps)”, it indicates that the load state of the number of packets (pps) in the corresponding gateway is “high load”.
  • the ECMP route table 1000 stores, for each destination network, route information including one or more gateways for the destination network, and output port information and load state of each gateway. ing.
  • each gateway (second packet transfer device 30) exceeds (or falls below) a threshold value
  • the load state corresponding to the gateway is changed,
  • load distribution is performed by transmitting the packet from a low-load gateway according to the flow attribute.
  • FIG. 4 is a diagram for explaining an example of a flow of changing the ECMP path table 1000 according to the first embodiment.
  • the flow rate monitoring unit 101 of the load monitoring device 10 acquires the bps result value and the pps result value of the second packet transfer device 30 from the statistical information of the second packet transfer device 30 (step S101).
  • the flow rate monitoring unit 101 acquires the bps result value and the pps result value of each second packet transfer device 30 at predetermined time intervals.
  • the statistical information can be acquired by, for example, netstat.
  • the load distribution determining unit 102 of the load monitoring apparatus 10 determines whether to implement or cancel the load distribution (step S102). That is, the load distribution determination unit 102 determines whether the bps result value exceeds or falls below the bps threshold value. Similarly, the load distribution determination unit 102 determines whether the pps result value exceeds or falls below the pps threshold value.
  • the bbs threshold value and the pps threshold value may be determined to be the same for all the second packet transfer devices 30 or may be determined for each second packet transfer device 30. Alternatively, for example, one or more second packet transfer apparatuses 30 may be grouped according to a predetermined standard, and a value may be determined for each group.
  • the load distribution determination unit 102 determines to perform load distribution.
  • the load distribution determining unit 102 determines to cancel the load distribution.
  • the load distribution determination unit 102 determines to perform load distribution.
  • the load distribution determining unit 102 determines to cancel the load distribution.
  • step S102 when neither load distribution execution nor load distribution cancellation is determined, the load monitoring apparatus 10 returns to step S101 described above.
  • the instruction transmission unit 103 of the load monitoring apparatus 10 transmits a predetermined instruction to the first packet transfer apparatus 20. (Step S103).
  • the command receiving unit 201 of the first packet transfer device 20 receives a command from the load monitoring device 10 (step S104).
  • the route table changing unit 202 of the first packet transfer device 20 changes the ECMP route table 1000 according to the command received by the command receiving unit 201 (step S105).
  • bps threshold is set in “threshold type”
  • execution of load distribution is set in “command type”
  • 192.168.1.0 is set in “identification information of target device”. If the notification is received, the routing table changing unit 202 “data load (bps) load state” for the gateway having the IP address “192.168.1.0” for each entry in the ECMP routing table 1000. Is changed to “1”.
  • the route table changing unit 202 sets the “data amount (bps) load state” for the gateway whose IP address is “192.168.1.2” for each entry in the ECMP route table 1000 to “ Change to "0”.
  • pps threshold is set in “threshold type”
  • execution of load distribution is set in “command type”
  • 192.168.1.1 is set in “identification information of target device”.
  • pps threshold value is set in “threshold type”
  • release of load distribution is set in “command type”
  • 192.168.1.0 is set in “identification information of target device”.
  • the ECMP path table 1000 When the bps result value or the pps result value of the second packet transfer apparatus 30 that is a load distribution target exceeds or falls below the threshold, the ECMP path table 1000 The load state of the second packet transfer device 30 is changed in each entry stored in the. Thereby, the load state (the load state of the data amount (bps) and the load state of the number of packets (pps)) of each second packet transfer device 30 is managed by each entry stored in the ECMP route table 1000. .
  • FIG. 5 is a diagram for explaining an example of the flow of packet transfer processing in the first embodiment.
  • the input port 203 of the first packet transfer apparatus 20 receives a packet from the network N1 side (step S201).
  • the input port 203 of the first packet transfer apparatus 20 stores the packet received in the above step S201 in the input buffer 209 (step S202).
  • the flow information acquisition unit 204 of the first packet transfer apparatus 20 generates a hash value from the flow information (for example, 5-tuple) of the packet stored in the input buffer 209 (step S203).
  • a hash value from the flow information (for example, 5-tuple) of the packet stored in the input buffer 209 (step S203).
  • An arbitrary hash function can be used for generating the hash value.
  • the flow information acquisition unit 204 of the first packet transfer device 20 stores in the flow table 2000 an entry (flow transfer information) that includes a hash value that matches the hash value generated in step S203. It is determined whether or not (step S204).
  • step S204 If it is determined in step S204 that the entry is stored in the flow table 2000, the first packet transfer apparatus 20 proceeds to the process of step S208 described later.
  • step S204 if it is determined in step S204 that the entry is not stored in the flow table 2000, the application determination unit 205 of the first packet transfer device 20 uses the 5-tuple or L7 information to The flow attribute is specified (step S205). That is, the application determination unit 205 specifies whether the flow attribute of the flow by the packet is “high bps flow” or “high pps flow”. This can be specified, for example, by determining the type of application that handles the flow using the protocol type included in 5-tuple, application information included in L7 information, and the like.
  • the route determination unit 206 of the first packet transfer apparatus 20 refers to the ECMP route table 1000 to determine the output port 208 from the flow attribute specified in step S205 (step S206). For example, the route determination unit 206 determines the output port 208 by the following steps S1 to S3.
  • the route determination unit 206 searches the ECMP route table 1000 for an entry corresponding to the network address of the destination IP address included in the 5-tuple notified from the application determination unit 205. At this time, the route determination unit 206 searches for an entry by, for example, a longest match. When an entry corresponding to the network address is searched, the route determination unit 206 refers to this entry. On the other hand, when an entry corresponding to the network address is not found, the route determination unit 206 refers to an entry in which “default” is set in the destination network.
  • the route determination unit 206 searches for a gateway with a low load state from the “gateway list” included in the referenced entry according to the flow attribute.
  • the route determination unit 206 selects “data amount (bps) load state” from the “gateway list” included in the entry.
  • the gateways in which “0” is set are searched in order from the top.
  • the route determination unit 206 determines that the “number of packets (pps)” in the “gateway list” included in the entry.
  • the gateways in which “0” is set in the “load state” are searched in order from the top.
  • the route determination unit 206 determines the output port 208 indicated by the output port information corresponding to the gateway searched in S2 as the output port 208 of the packet.
  • the route determination unit 206 determines the output port 208 indicated by the output port information corresponding to the high-load gateway as the output port 208 of the packet. For example, when the flow attribute identified in step S205 above is “High bps flow” and there is no gateway in which “0” is set in “Load state of data amount (bps)”, the route determination unit 206 The output port 208 indicated by the output port information corresponding to the gateway in which “1” is set in the “load state of data amount (bps)” is determined as the output port 208 of the packet.
  • the route determination unit 206 determines the output port 208 indicated by the output port information corresponding to the gateway for which “1” is set in the “load state of the number of packets (pps)” as the output port 208 of the packet.
  • the route determination unit 206 may move the gateway corresponding to the determined output port 208 to the end of the “gateway list”. good. For example, when the output port information “eth0” of the gateway “192.168.1.0” of the destination network “default” is determined as the output port 208 in the ECMP route table 1000 illustrated in FIG. 3, the gateway “192. 168.1.0 "may be moved to the end of the list (ie, behind the gateway” 192.168.1.2 "). Thus, further load distribution can be expected by changing the output port 208 for the same destination network in round robin.
  • the route determination unit 206 of the first packet transfer apparatus 20 associates the hash value notified from the application determination unit 205 with the information (output port information) indicating the output port 208 determined in step S206 above.
  • the attached flow transfer information is stored in the flow table 2000 (step S207).
  • the routing unit 207 of the first packet transfer apparatus 20 acquires the output port information from the corresponding entry (the entry determined to have the same hash value in the above step S204 or the entry stored in the above step S207) ( Step S208). Then, the routing unit 207 transmits the packet to the output port 208 indicated by the acquired output port information.
  • the output port 208 of the first packet transfer device 20 outputs the packet received from the routing unit 207 (step S209).
  • the load distribution system 1 when the load distribution system 1 according to the first embodiment transfers a packet from the first packet transfer device 20 to the second packet transfer device 30, the load distribution system 1 is low in accordance with the flow attribute of the flow of the packet.
  • the packet is transferred to the second packet transfer device 30 in the loaded state.
  • the load distribution of the second packet transfer device 30 can be realized. For this reason, for example, it is possible to prevent a situation where high bps flow packets are concentrated on a certain second packet transfer apparatus 30 and a situation where high pps flow packets are concentrated. You will be able to make the most of the capacity.
  • Example 2 of the load distribution system 1 according to the embodiment of the present invention will be described.
  • differences from the first embodiment will be mainly described, and the description of the same components as those in the first embodiment will be omitted as appropriate.
  • FIG. 6 is a diagram illustrating an example of a functional configuration of the load distribution system 1 according to the second embodiment.
  • the functional configuration of the load monitoring apparatus 10 in the second embodiment is the same as that in the first embodiment, and a description thereof is omitted.
  • the first packet transfer device 20 includes an instruction receiving unit 201, a route table changing unit 202, an input port 203, an application determining unit 205, a route determining unit 206, A routing unit 207, an output port 208, and an input buffer 209 are included.
  • the functions of the route table changing unit 202, the application determining unit 205, the route determining unit 206, and the routing unit 207 are different from those of the first embodiment. Therefore, hereinafter, each of these functional units will be described.
  • the route table changing unit 202 changes the ECMP route table 3000 according to the command received by the command receiving unit 201.
  • the ECMP path table 3000 is composed of four tables: an ECMP path table 3000-1, an ECMP path table 3000-2, an ECMP path table 3000-3, and an ECMP path table 3000-4.
  • the ECMP route table 3000-1 is a table that stores high priority route information among the route information for the high bps flow as an entry.
  • the ECMP route table 3000-2 is a table that stores low-priority route information among the route information for the high bps flow as an entry.
  • the ECMP route table 3000-3 is a table that stores, as entries, high-priority route information among route information for high pps flows.
  • the ECMP route table 3000-4 is a table that stores, as entries, low-priority route information out of route information for high pps flows.
  • the high priority and the low priority are priorities that are referred to when the output port 208 is determined.
  • the high priority entry is referred to more preferentially than the low priority entry.
  • the Details of the ECMP route table 3000 according to the second embodiment will be described later.
  • the application determination unit 205 uses the flow information (for example, 5-tuple) of the packet stored in the input buffer 209 or the L7 information (for example, L7 header information) of the packet, And the flow attribute of the flow (either a high bps flow or a high pps flow) is specified. Then, the application determination unit 205 notifies the route determination unit 206 of the identified flow attribute. At this time, the application determination unit 205 notifies the route determination unit 206 of, for example, 5-tuple and a flow attribute.
  • the flow information for example, 5-tuple
  • L7 information for example, L7 header information
  • the route determination unit 206 refers to the ECMP route table 3000 and determines the output port 208 from the flow attribute specified by the application determination unit 205. Further, the route determination unit 206 notifies the routing unit 207 of information (output port information) indicating the determined output port 208.
  • the routing unit 207 transmits the packet to the output port 208 indicated by the output port information notified from the route determination unit 206.
  • FIG. 7 is a diagram illustrating an example of the ECMP path table 3000 according to the second embodiment.
  • the ECMP path table 3000 includes four ECMP path tables 3000-1, ECMP path table 3000-2, ECMP path table 3000-3, and ECMP path table 3000-4. It consists of two tables.
  • Each ECMP route table 3000 stores route information as an entry. The route information includes “destination network”, “subnet mask”, “gateway”, and “output port information”.
  • the IP address of the network to which the packet is transferred is set.
  • the subnet mask a subnet mask corresponding to the destination network is set.
  • “Gateway” is set with the IP address of the gateway (second packet transfer device 30) corresponding to the destination network.
  • the ECMP route table 3000 stores, for each destination network, route information including the gateway for the destination network and the output port information of the gateway.
  • each gateway (second packet transfer device 30) exceeds (or falls below) a threshold value
  • route information including the IP address of the gateway is stored.
  • the load distribution is performed by changing the table to be transmitted and transmitting the packet from the low-load gateway according to the flow attribute when the packet is transferred.
  • FIG. 8 is a diagram for explaining an example of the flow of changing the ECMP path table 3000 according to the second embodiment. Note that the processing in steps S301 to S304 in FIG. 8 is the same as that in steps S101 to S104 in FIG.
  • step S304 the route table changing unit 202 of the first packet transfer device 20 changes the ECMP route table 3000 according to the command received by the command receiving unit 201 (step S305).
  • the route table changing unit 202 deletes the route information in which the network address corresponding to the IP address “192.168.1.0” is set to “destination network” from the ECMP route table 3000-1, The deleted route information is added to the ECMP route table 3000-2. In other words, the route table changing unit 202 changes the route information from high priority to low priority.
  • the route table changing unit 202 deletes the route information in which the network address corresponding to the IP address “192.168.1.2” is set to “destination network” from the ECMP route table 3000-2, The deleted route information is added to the ECMP route table 3000-1. In other words, the route table changing unit 202 changes the route information from low priority to high priority.
  • the route table changing unit 202 deletes the route information in which the network address corresponding to the IP address “192.168.1.1” is set to “destination network” from the ECMP route table 3000-3, The deleted route information is added to the ECMP route table 3000-4. In other words, the route table changing unit 202 changes the route information from high priority to low priority.
  • the route table changing unit 202 deletes the route information in which the network address corresponding to the IP address “192.168.1.2” is set to “destination network” from the ECMP route table 3000-4, The deleted route information is added to the ECMP route table 3000-3. In other words, the route table changing unit 202 changes the route information from low priority to high priority.
  • the load distribution system 1 has the bps result value when the bps result value or the pps result value of the second packet transfer apparatus 30 that is the load distribution target exceeds or falls below the threshold value.
  • the priority of the entry is changed among the entries stored in the ECMP route table 3000 for the high bps flow or the ECMP route table 3000 for the high pps flow.
  • FIG. 9 is a diagram for explaining an example of the flow of packet transfer processing in the second embodiment. Note that the processing in steps S401 to S402 in FIG. 9 is the same as the processing in steps S201 to S202 in FIG.
  • the application determination unit 205 of the first packet transfer device 20 receives the flow information (for example, 5-tuple) of the packet stored in the input buffer 209 or the L7 information (for example, L7 of the packet). Using the header information or the like, the flow attribute (either high bps flow or high pps flow) of the flow by the packet is specified (step S403).
  • the flow information for example, 5-tuple
  • the L7 information for example, L7 of the packet.
  • the route determination unit 206 of the first packet transfer apparatus 20 determines the output port 208 with reference to the corresponding ECMP route table 3000 (step S404).
  • the route determination unit 206 refers to the ECMP route table 3000-1 and corresponds to the network address corresponding to the destination IP address of the packet. It is determined whether there is an entry for which “Destination Network” is set.
  • the route determination unit 206 changes the output port 208 indicated by the output port information set in the “output port information” of the entry to the packet.
  • the output port 208 is determined.
  • the route determination unit 206 uses “round-robin” to output “output port information” for each of the plurality of entries. It is sufficient to determine one output port from the output port information set to “”.
  • the route determination unit 206 refers to the ECMP route table 3000-2 and finds a network address corresponding to the destination IP address of the packet. It is determined whether or not there is an entry set in “destination network”.
  • the route determination unit 206 sets the output port 208 indicated by the output port information set in the “output port information” of the entry to the packet.
  • the output port 208 is determined.
  • the route determination unit 206 uses “round-robin” to output “output port information” for each of the plurality of entries. It is sufficient to determine one output port from the output port information set to “”.
  • the route determination unit 206 is set in “output port information” of an entry in which “default” is set in “destination network”.
  • the output port 208 indicated by the output port information may be determined as the output port 208 of the packet.
  • the route determination unit 206 refers to the ECMP route table 3000-3 and corresponds to the destination IP address of the packet. It is determined whether or not there is an entry in which the network address to be set is “destination network”.
  • the route determination unit 206 changes the output port 208 indicated by the output port information set in the “output port information” of the entry to the packet.
  • the output port 208 is determined.
  • the route determination unit 206 uses “round-robin” to output “output port information” for each of the plurality of entries. It is sufficient to determine one output port from the output port information set to “”.
  • the route determination unit 206 refers to the ECMP route table 3000-4 and finds a network address corresponding to the destination IP address of the packet. It is determined whether or not there is an entry set in “destination network”.
  • the route determination unit 206 changes the output port 208 indicated by the output port information set in the “output port information” of the entry to the packet.
  • the output port 208 is determined.
  • the route determination unit 206 uses “round-robin” to output “output port information” for each of the plurality of entries. It is sufficient to determine one output port from the output port information set to “”.
  • the route determination unit 206 is set to “output port information” of an entry in which “default” is set in “destination network”.
  • the output port 208 indicated by the output port information may be determined as the output port 208 of the packet.
  • the routing unit 207 of the first packet transfer apparatus 20 acquires output port information indicating the output port determined by the route determination unit 206 (step S405). Then, the routing unit 207 transmits the packet to the output port 208 indicated by the acquired output port information.
  • the output port 208 of the first packet transfer device 20 outputs the packet received from the routing unit 207 (step S406).
  • the load distribution system 1 according to the second embodiment transfers a packet from the first packet transfer apparatus 20 to the second packet transfer apparatus 30, the load distribution system 1 according to the flow attribute 4
  • the packets are transferred to the second packet transfer device 30 in a low load state.
  • the load distribution of the second packet transfer device 30 can be realized. Therefore, as in the first embodiment, for example, it is possible to prevent a situation where high bps flow packets are concentrated on a certain second packet transfer apparatus 30 and a situation where high pps flow packets are concentrated.
  • the transfer capacity of the packet transfer device 30 can be utilized to the maximum.
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of the computer 500.
  • auxiliary storage device 506 includes a CPU (Central Processing Unit) 501, a RAM 502, a ROM (Read Only Memory) 503, an external I / F 504, a communication I / F 505, and an auxiliary storage device 506. Each of these hardware is connected via a bus B so as to be able to communicate.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • I / F communication I / F 505
  • Each of these hardware is connected via a bus B so as to be able to communicate.
  • the CPU 501 is an arithmetic device that reads out programs and data from the ROM 503, the auxiliary storage device 506, and the like onto the RAM 502 and executes processing.
  • the RAM 502 is a volatile semiconductor memory that temporarily stores programs and data.
  • the ROM 503 is a non-volatile semiconductor memory that can retain programs and data even when the power is turned off.
  • the ROM 503 stores, for example, OS settings and network settings.
  • External I / F 504 is an interface with an external device.
  • the external device includes a recording medium 504a.
  • the computer 500 can read and write the recording medium 504a and the like via the external I / F 504.
  • Examples of the recording medium 504a include a flexible disk, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), a USB (Universal Serial Bus) memory card, and the like.
  • the communication I / F 505 is an interface for communicating with other devices.
  • the first packet transfer apparatus 20 and the second packet transfer apparatus 30 have a plurality of communication I / Fs 505.
  • the auxiliary storage device 506 is, for example, a hard disk drive (HDD) or a solid state drive (SSD), and is a non-volatile storage device that stores programs and data. Examples of programs and data stored in the auxiliary storage device 506 include an OS and application programs that implement various functions on the OS.
  • HDD hard disk drive
  • SSD solid state drive
  • the load monitoring apparatus 10, the first packet transfer apparatus 20, and the second packet transfer apparatus 30 execute the various processes described above by using one or more computers 500 shown in FIG. be able to.
  • each functional unit included in the load monitoring device 10 is realized by processing that one or more programs stored in the auxiliary storage device 506 cause the CPU 501 or the like to execute.
  • each functional unit included in the first packet transfer device 20 is realized by processing that the CPU 501 or the like executes by one or more programs stored in the auxiliary storage device 506, the communication I / F 505, or the like.
  • the load monitoring apparatus 10 may include at least one of a display device such as a display and an input device such as a keyboard and a mouse.
  • the packet transfer apparatus that performs load distribution is the first packet transfer apparatus 20 and the packet transfer apparatus that is the target of load distribution is the second packet transfer apparatus 30.
  • the packet transfer device always functions as either the first packet transfer device 20 or the second packet transfer device 30.
  • the same packet transfer device may function as the first packet transfer device 20 and may also function as the second packet transfer device 30.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

入力ポートがパケットを受信すると、該パケットにより構成されるフローが、ロングパケットが多い傾向のフロー又はショートパケットが多い傾向のフローのいずれであるかを示すフロー属性を判定する判定手段と、前記判定手段により判定されたフロー属性に応じて、複数のパケット転送装置のうち、前記フロー属性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記パケットを出力する出力手段と、を有することを特徴とする。

Description

負荷分散システム及び負荷分散方法
　本発明は、負荷分散システム及び負荷分散方法に関する。
　ルータ等のパケット転送装置の負荷を分散させる技術が従来から知られている。例えば、パケットの転送先として複数のパケット転送装置と複数の転送経路とを用意し、それぞれの転送経路にトラヒックを均等に印加することで、パケット転送装置の負荷を分散する技術が知られている。また、このような負荷分散技術として、ＥＣＭＰ（Equal Cost Multi Path）又はＥＣＭＰルーティングと呼ばれる技術も知られている。ＥＣＭＰでは、上述した複数の転送経路のうち、等コストとなる転送経路にトラヒックを均等に印加する負荷分散技術である。
　更に、ＥＣＭＰを用いた負荷分散システムにおいて、パケット転送装置の出力物理ポートの出力バッファを監視し、この出力バッファの使用量又はパケット流量が閾値を超えた場合、転送経路を切り替える技術が知られている（例えば、特許文献１）。
特開２００４－３５００７８号公報
　ところで、パケット転送装置における転送容量の指標として、ｂｐｓ（bits per second）で表されるデータ量の転送容量と、ｐｐｓ（packets per second）で表されるパケット数の転送容量とがある。また、これらの転送容量には、パケット転送装置に固有の上限値がある。例えば、パケット転送装置をネットワーク仮想化技術により実現した場合、ｂｐｓは物理ＮＩＣ（Network Interface Card）のラインレートに律速されることがあり、ｐｐｓはＯＳ（Operating System）やアプリケーション等のソフトウェアのパケット処理速度に律速されることがある。
　しかしながら、上記の従来技術では、トラヒックの性質を考慮していないため、例えば、パケット転送装置に印加されるトラヒックの性質に偏りがある場合等に、当該パケット転送装置の転送容量を最大限に活用することができないことがあった。
　例えば、動画等のトラヒックはロングパケットが多いという性質がある。このため、動画等のトラヒックが集中した場合、データ量の転送容量は枯渇する一方で、パケット数の転送容量には余裕がある状態となる。他方で、例えば、ＶｏＩＰ（Voice over Internet Protocol）やテレメトリング等のトラヒックはショートパケットが多いという性質がある。このため、ＶｏＩＰやテレメトリング等のトラヒックが集中した場合、データ量の転送容量には余裕がある一方で、パケット数の転送容量が枯渇する状態となる。
　これに対して、或るトラヒックのフローにおけるパケット長の傾向（すなわち、ショートパケット又はロングパケットのいずれが多いか）は、当該フローを扱うアプリケーションの種類によっておおよその推定ができると考えられる。
　本発明の実施の形態は、上記の点に鑑みてなされたもので、フローの性質に応じた負荷分散を実現することを目的とする。
　上記目的を達成するため、本発明の実施の形態は、入力ポートがパケットを受信すると、該パケットにより構成されるフローが、ロングパケットが多い傾向のフロー又はショートパケットが多い傾向のフローのいずれであるかを示すフロー属性を判定する判定手段と、前記判定手段により判定されたフロー属性に応じて、複数のパケット転送装置のうち、前記フロー属性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記パケットを出力する出力手段と、を有することを特徴とする。
　フローの性質に応じた負荷分散を実現することを目的とする。
本発明の実施の形態における負荷分散システムの全体構成の一例を示す図である。 実施例１における負荷分散システムの機能構成の一例を示す図である。 実施例１におけるＥＣＭＰ経路テーブルの一例を示す図である。 実施例１におけるＥＣＭＰ経路テーブルの変更処理の流れの一例を説明するための図である。 実施例１におけるパケット転送処理の流れの一例を説明するための図である。 実施例２における負荷分散システムの機能構成の一例を示す図である。 実施例２におけるＥＣＭＰ経路テーブルの一例を示す図である。 実施例２におけるＥＣＭＰ経路テーブルの変更処理の流れの一例を説明するための図である。 実施例２におけるパケット転送処理の流れの一例を説明するための図である。 コンピュータのハードウェア構成の一例を示す図である。
　以下、本発明の実施の形態について説明する。本発明の実施の形態では、フローの性質に応じて、負荷分散を行う負荷分散システム１について説明する。また、以降では、フローの性質のことを「フロー属性」と表し、フロー属性には、ロングパケットが多いフローであることを示す「高ｂｐｓフロー」と、ショートパケットが多いフローであることを示す「高ｐｐｓフロー」とがあるものとする。ここで、フローとは、フロー情報が同一のパケット（トラヒック）又はパケット群のことを言う。また、フロー情報は、このパケットに含まれるヘッダ情報により特定され、例えば、５－ｔｕｐｌｅ（送信元ＩＰ（Internet Protocol）アドレス、宛先ＩＰアドレス、送信元ポート番号、宛先ポート番号、プロトコルタイプ）のことを言う。
　なお、ロングパケットが多いフローを扱うアプリケーションとしては、例えば、動画閲覧アプリケーション等が挙げられる。一方で、ショートパケットが多いフローを扱うアプリケーションとしては、例えば、ＶｏＩＰを用いた音声通話アプリケーション、テレメトリングを行うアプリケーション等が挙げられる。
　＜全体構成＞
　まず、本発明の実施の形態における負荷分散システム１の全体構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における負荷分散システム１の全体構成の一例を示す図である。
　図１に示すように、本発明の実施の形態における負荷分散システム１には、負荷監視装置１０と、第１のパケット転送装置２０と、第２のパケット転送装置３０とが含まれる。
　負荷監視装置１０は、例えばコンピュータ又はコンピュータシステム等であり、負荷分散対象である第２のパケット転送装置３０のトラヒック流量を監視する。そして、負荷監視装置１０は、第２のパケット転送装置３０のトラヒック流量が所定の閾値を超えた場合（又は、所定の閾値を下回った場合）に、負荷分散の実施（又は負荷分散の解除）を示す命令を第１のパケット転送装置２０に送信する。
　第１のパケット転送装置２０は、例えばルータ等であり、ネットワークＮ１側からのパケットを第２のパケット転送装置３０に転送する。このとき、第１のパケット転送装置２０は、負荷分散に用いられる所定のテーブルを参照して、複数の第２のパケット転送装置３０のうち、フロー属性に応じた第２のパケット転送装置３０に当該パケットを転送する。
　また、第１のパケット転送装置２０は、負荷監視装置１０からの命令に応じて、負荷分散に用いられる所定のテーブルを変更する。
　第２のパケット転送装置３０は、例えばルータ等であり、第１のパケット転送装置２０から転送されたパケットをネットワークＮ２側に転送する。以降では、複数の第２のパケット転送装置３０の各々を区別する場合は、「第２のパケット転送装置３０－１」、「第２のパケット転送装置３０－２」等と表す。
　なお、図１に示す負荷分散システム１の構成は一例であって、他の構成であっても良い。例えば、第１のパケット転送装置２０及び第２のパケット転送装置３０は、ネットワーク仮想化技術によってコンピュータ上等に構築された仮想的なルータ等であっても良い。
　（実施例１）
　以降では、本発明の実施の形態における負荷分散システム１の実施例１について説明する。
　＜機能構成＞
　まず、実施例１における負荷分散システム１の機能構成について、図２を参照しながら説明する。図２は、実施例１における負荷分散システム１の機能構成の一例を示す図である。
　図１に示すように、実施例１における負荷監視装置１０は、流量監視部１０１と、負荷分散決定部１０２と、命令送信部１０３とを有する。
　流量監視部１０１は、第２のパケット転送装置３０の統計情報から、これらの第２のパケット転送装置３０のトラヒック流量をデータ量（ｂｐｓ）及びパケット数（ｐｐｓ）それぞれの観点で監視する。すなわち、流量監視部１０１は、各第２のパケット転送装置３０について、監視結果として、データ量（ｂｐｓ）及びパケット数（ｐｐｓ）を得る。以降では、監視結果とした得られたデータ量（ｂｐｓ）を「ｂｐｓ結果値」、監視結果として得られたパケット数（ｐｐｓ）を「ｐｐｓ結果値」と表す。
　負荷分散決定部１０２は、負荷分散を実施又は解除するかを決定する。すなわち、負荷分散決定部１０２は、ｂｐｓ結果値が、予め設定されたｂｐｓ閾値を超えたか又は下回ったかを判定する。同様に、負荷分散決定部１０２は、ｐｐｓ結果値が、予め設定されたｐｐｓ閾値を超えたか又は下回ったかを判定する。
　そして、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　同様に、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　命令送信部１０３は、負荷分散決定部１０２によって負荷分散を実施すると決定された場合又は負荷分散を解除すると判定された場合、所定の命令を第１のパケット転送装置２０に送信する。
　ここで、命令には、「閾値種別」と、「命令種別」と、「対象装置の識別情報」とが含まれる。「閾値種別」は、監視結果が超えた閾値又は監視結果が下回った閾値の種別であり、ｂｐｓ閾値を示す情報又はｐｐｓ閾値を示す情報のいずれかが設定される。「命令種別」は、負荷分散の実施又は解除のいずれであるかを示す情報が設定される。「対象装置の識別情報」は、監視結果が閾値を超えた又は下回った第２のパケット転送装置３０の識別情報であり、例えば、当該第２のパケット転送装置３０のＩＰアドレスが設定される。ただし、「対象装置の識別情報」には、ＩＰアドレス以外にも、例えば、当該第２のパケット転送装置３０のＩＤ、ＭＡＣ（Media Access Control）アドレス、ホスト名等が設定されても良い。
　また、図１に示すように、実施例１における第１のパケット転送装置２０は、命令受信部２０１と、経路テーブル変更部２０２と、入力ポート２０３と、フロー情報取得部２０４と、アプリ判定部２０５と、経路決定部２０６と、ルーティング部２０７と、出力ポート２０８と、入力バッファ２０９とを有する。これら各機能部は、例えば、第１のパケット転送装置２０にインストールされた１以上のプログラムがＣＰＵ等に実行させる処理により実現される。
　命令受信部２０１は、負荷監視装置１０からの命令を受信する。経路テーブル変更部２０２は、命令受信部２０１が受信した命令に応じて、ＥＣＭＰ経路テーブル１０００を変更する。ＥＣＭＰ経路テーブル１０００は、エントリとして経路情報を格納しているテーブルである。なお、ＥＣＭＰ経路テーブル１０００は、例えば、補助記憶装置や専用のメモリ装置等に格納されている。実施例１におけるＥＣＭＰ経路テーブル１０００の詳細については後述する。
　入力ポート２０３は、ネットワークＮ１側からのパケットを受信する。そして、入力ポート２０３は、受信したパケットを入力バッファ２０９に格納する。なお、入力バッファ２０９は、受信したパケットを一時的に格納しておくための記憶領域であり、例えばＲＡＭ（Random Access Memory）や補助記憶装置、専用のメモリ装置等により実現される。
　フロー情報取得部２０４は、入力バッファ２０９に格納されているパケットのフロー情報（例えば、５－ｔｕｐｌｅ）からハッシュ値を生成する。また、フロー情報取得部２０４は、フローテーブル２０００を参照して、生成したハッシュ値と一致するハッシュ値が含まれるエントリが存在するか否かを判定する。フローテーブル２０００は、エントリとして、ハッシュ値と、出力ポート２０８を示す情報（出力ポート情報）とが対応付けられたフロー転送情報を格納しているテーブルである。出力ポート情報は、複数の出力ポート２０８のうちのいずれか１つの出力ポート２０８を特定するための情報である。なお、フローテーブル２０００は、例えば、ＲＡＭや補助記憶装置、専用のメモリ装置等に格納されている。
　そして、フロー情報取得部２０４は、該当のエントリが存在すると判定した場合、当該エントリをルーティング部２０７に通知する。一方で、フロー情報取得部２０４は、該当のエントリが存在しないと判定した場合、当該パケットを新規フローのパケットと判断して、該当のエントリが存在しない旨をアプリ判定部２０５に通知する。このとき、フロー情報取得部２０４は、例えば、５－ｔｕｐｌｅ又は当該パケットのＬ７情報（例えば、Ｌ７のヘッダ情報等）とハッシュ値とをアプリ判定部２０５に通知する。
　なお、フローテーブル２０００に格納されているエントリ（フロー転送情報）は、例えば、経路決定部２０６等によって所定の時間毎に削除（クリア）されても良い。
　アプリ判定部２０５は、フロー情報取得部２０４からの通知に応じて、５－ｔｕｐｌｅ又はＬ７情報を用いて、新規フローのアプリケーションを特定し、当該新規フローのフロー属性（高ｂｐｓフロー又は高ｐｐｓフローのいずれか）を特定する。そして、アプリ判定部２０５は、特定したフロー属性を経路決定部２０６に通知する。このとき、アプリ判定部２０５は、例えば、５－ｔｕｐｌｅと、フロー属性と、ハッシュ値とを経路決定部２０６に通知する。
　経路決定部２０６は、ＥＣＭＰ経路テーブル１０００を参照して、アプリ判定部２０５が特定したフロー属性から出力ポート２０８を決定する。また、経路決定部２０６は、決定した出力ポート２０８を示す情報と、ハッシュ値とを対応付けたフロー転送情報をフローテーブル２０００に格納する。そして、経路決定部２０６は、フローテーブル２０００に格納したエントリ（フロー転送情報）をルーティング部２０７に通知する。
　ルーティング部２０７は、フロー情報取得部２０４又は経路決定部２０６から通知されたエントリ（フロー転送情報）に含まれる出力ポート情報を取得する。そして、ルーティング部２０７は、取得した出力ポート情報が示す出力ポート２０８に当該パケットを送信する。
　出力ポート２０８は、ルーティング部２０７から受け取ったパケットを出力する。ここで、出力ポート２０８は、例えば、第２のパケット転送装置３０毎に存在する。例えば、出力ポート２０８には、第２のパケット転送装置３０－１に対応する出力ポート２０８－１、第２のパケット転送装置３０－２に対応する出力ポート２０８－２等がある。なお、出力ポート２０８は、物理ポートであっても良いし、論理ポートであっても良い。
　ここで、実施例１におけるＥＣＭＰ経路テーブル１０００について、図３を参照しながら説明する。図３は、実施例１におけるＥＣＭＰ経路テーブル１０００の一例を示す図である。
　図３に示すように、実施例１におけるＥＣＭＰ経路テーブル１０００には、エントリとして経路情報が格納されている。また、経路情報には、「宛先ネットワーク」と、「サブネットマスク」と、「ゲートウェイのリスト」と、「出力ポート情報」と、「データ量（ｂｐｓ）の負荷状態」と、「パケット数（ｐｐｓ）の負荷状態」とが含まれる。
　「宛先ネットワーク」には、パケットの転送先のネットワークのＩＰアドレス又はｄｅｆａｕｌｔが設定される。「サブネットマスク」には、宛先ネットワークに対応するサブネットマスクが設定される。
　「ゲートウェイのリスト」には、宛先ネットワークに対応するゲートウェイ（第２のパケット転送装置３０）のＩＰアドレスが設定される。なお、「ゲートウェイのリスト」には、１つの宛先ネットワークに対して、１つ以上のゲートウェイのＩＰアドレスが設定される。
　「出力ポート情報」には、「ゲートウェイのリスト」に設定されている各ゲートウェイ（のＩＰアドレス）に対する出力ポート２０８を示す情報がそれぞれ設定される。
　図３に示す例では、ゲートウェイ「１９２．１６８．１．０」に対して、出力ポート２０８－１を示す「ｅｔｈ０」が対応付けられている。これは、ゲートウェイ「１９２．１６８．１．０」からパケットを送信する場合、出力ポート２０８－１から送信されることを示している。
　同様に、例えば、ゲートウェイ「１９２．１６８．１．１」に対して、出力ポート２０８－２を示す「ｅｔｈ１」が対応付けられている。これは、ゲートウェイ「１９２．１６８．１．１」からパケットを送信する場合、出力ポート２０８－２から送信されることを示している。他のゲートウェイについても同様である。
　「データ量（ｂｐｓ）の負荷状態」には、「ゲートウェイのリスト」に設定されている各ゲートウェイ（のＩＰアドレス）に対して、当該ゲートウェイにおけるデータ量（ｂｐｓ）の負荷状態が設定される。ここで、図３に示す例では、「データ量（ｂｐｓ）の負荷状態」に「０」が設定されている場合、該当のゲートウェイにおけるデータ量（ｂｐｓ）の負荷状態が「低負荷」であることを示している。一方で、「データ量（ｂｐｓ）の負荷状態」に「１」が設定されている場合、該当のゲートウェイにおけるデータ量（ｂｐｓ）の負荷状態が「高負荷」であることを示している。
　「パケット数（ｐｐｓ）の負荷状態」には、「ゲートウェイのリスト」に設定されている各ゲートウェイ（のＩＰアドレス）に対して、当該ゲートウェイにおけるパケット数（ｐｐｓ）の負荷状態が設定される。ここで、図３に示す例では、「パケット数（ｐｐｓ）の負荷状態」に「０」が設定されている場合、該当のゲートウェイにおけるパケット数（ｐｐｓ）の負荷状態が「低負荷」であることを示している。一方で、「パケット数（ｐｐｓ）の負荷状態」に「１」が設定されている場合、該当のゲートウェイにおけるパケット数（ｐｐｓ）の負荷状態が「高負荷」であることを示している。
　このように、実施例１におけるＥＣＭＰ経路テーブル１０００には、宛先ネットワーク毎に、当該宛先ネットワークに対する１以上のゲートウェイと、これらの各ゲートウェイの出力ポート情報及び負荷状態とが含まれる経路情報が格納されている。
　後述するように、実施例１では、各ゲートウェイ（第２のパケット転送装置３０）の負荷状態が閾値を超えた場合（又は下回った場合）に、当該ゲートウェイに対応する負荷状態を変更すると共に、パケットを転送する際に、フロー属性に応じて低負荷状態のゲートウェイからパケットを送信することで、負荷分散が行われる。
　＜ＥＣＭＰ経路テーブルの変更処理＞
　以降では、実施例１におけるＥＣＭＰ経路テーブル１０００の変更処理について、図４を参照しながら説明する。図４は、実施例１におけるＥＣＭＰ経路テーブル１０００の変更処理の流れの一例を説明するための図である。
　まず、負荷監視装置１０の流量監視部１０１は、第２のパケット転送装置３０の統計情報から、これらの第２のパケット転送装置３０のｂｐｓ結果値及びｐｐｓ結果値を取得する（ステップＳ１０１）。ここで、流量監視部１０１は、例えば、所定の時間毎に、各第２のパケット転送装置３０のｂｐｓ結果値及びｐｐｓ結果値を取得する。なお、統計情報は、例えば、ｎｅｔｓｔａｔ等により取得することができる。
　次に、負荷監視装置１０の負荷分散決定部１０２は、負荷分散を実施又は解除するかを決定する（ステップＳ１０２）。すなわち、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を超えたか又は下回ったかを判定する。同様に、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を超えたか又は下回ったかを判定する。なお、ｂｂｓ閾値及びｐｐｓ閾値は、全ての第２のパケット転送装置３０で同一の値が決められても良いし、第２のパケット転送装置３０毎に値が決められても良い。又は、例えば、１以上の第２のパケット転送装置３０を所定の基準でグループ化した上で、グループ毎に値が決められても良い。
　そして、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｂｐｓ結果値がｂｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　同様に、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を超えたと判定した場合、負荷分散を実施すると決定する。一方で、負荷分散決定部１０２は、ｐｐｓ結果値がｐｐｓ閾値を下回ったと判定した場合、負荷分散を解除すると決定する。
　ステップＳ１０２において、負荷分散の実施及び負荷分散の解除のいずれも決定されなかった場合、負荷監視装置１０は、上記のステップＳ１０１に戻る。
　一方で、ステップＳ１０２において、負荷分散の実施又は負荷分散の解除の少なくとも一方が決定された場合、負荷監視装置１０の命令送信部１０３は、所定の命令を第１のパケット転送装置２０に送信する（ステップＳ１０３）。
　第１のパケット転送装置２０の命令受信部２０１は、負荷監視装置１０からの命令を受信する（ステップＳ１０４）。
　次に、第１のパケット転送装置２０の経路テーブル変更部２０２は、命令受信部２０１が受信した命令に応じて、ＥＣＭＰ経路テーブル１０００を変更する（ステップＳ１０５）。
　具体的には、例えば、「閾値種別」に「ｂｐｓ閾値」、「命令種別」に「負荷分散の実施」、「対象装置の識別情報」に「１９２．１６８．１．０」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．０」であるゲートウェイに対する「データ量（ｂｐｓ）の負荷状態」を「１」に変更する。
　同様に、例えば、「閾値種別」に「ｂｐｓ閾値」、「命令種別」に「負荷分散の解除」、「対象装置の識別情報」に「１９２．１６８．１．２」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．２」であるゲートウェイに対する「データ量（ｂｐｓ）の負荷状態」を「０」に変更する。
　同様に、例えば、「閾値種別」に「ｐｐｓ閾値」、「命令種別」に「負荷分散の実施」、「対象装置の識別情報」に「１９２．１６８．１．１」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．１」であるゲートウェイに対する「パケット数（ｐｐｓ）の負荷状態」を「１」に変更する。
　同様に、例えば、「閾値種別」に「ｐｐｓ閾値」、「命令種別」に「負荷分散の解除」、「対象装置の識別情報」に「１９２．１６８．１．０」がそれぞれ設定されている通知を受信した場合、経路テーブル変更部２０２は、ＥＣＭＰ経路テーブル１０００の各エントリについて、ＩＰアドレスが「１９２．１６８．１．０」であるゲートウェイに対する「パケット数（ｐｐｓ）の負荷状態」を「０」に変更する。
　以上のように、実施例１における負荷分散システム１は、負荷分散対象である第２のパケット転送装置３０のｂｐｓ結果値又はｐｐｓ結果値が閾値を超えた場合又は下回った場合、ＥＣＭＰ経路テーブル１０００に格納されている各エントリにおいて、これらの第２のパケット転送装置３０の負荷状態を変更する。これにより、ＥＣＭＰ経路テーブル１０００に格納されている各エントリによって、各第２のパケット転送装置３０の負荷状態（データ量（ｂｐｓ）の負荷状態及びパケット数（ｐｐｓ）の負荷状態）が管理される。
　＜パケット転送処理＞
　以降では、実施例２におけるパケット転送処理について、図５を参照しながら説明する。図５は、実施例１におけるパケット転送処理の流れの一例を説明するための図である。
　まず、第１のパケット転送装置２０の入力ポート２０３は、ネットワークＮ１側からのパケットを受信する（ステップＳ２０１）。
　次に、第１のパケット転送装置２０の入力ポート２０３は、上記のステップＳ２０１で受信したパケットを入力バッファ２０９に格納する（ステップＳ２０２）。
　次に、第１のパケット転送装置２０のフロー情報取得部２０４は、入力バッファ２０９に格納されているパケットのフロー情報（例えば、５－ｔｕｐｌｅ）からハッシュ値を生成する（ステップＳ２０３）。なお、ハッシュ値の生成に用いられるハッシュ関数は任意のものを用いることができる。
　次に、第１のパケット転送装置２０のフロー情報取得部２０４は、上記のステップＳ２０３で生成したハッシュ値と一致するハッシュ値が含まれるエントリ（フロー転送情報）がフローテーブル２０００に格納されているか否かを判定する（ステップＳ２０４）。
　ステップＳ２０４において、当該エントリがフローテーブル２０００に格納されていると判定された場合、第１のパケット転送装置２０は、後述するステップＳ２０８の処理に進む。
　一方で、ステップＳ２０４において、当該エントリがフローテーブル２０００に格納されていないと判定された場合、第１のパケット転送装置２０のアプリ判定部２０５は、５－ｔｕｐｌｅ又はＬ７情報を用いて、当該パケットのフロー属性を特定する（ステップＳ２０５）。すなわち、アプリ判定部２０５は、当該パケットによるフローのフロー属性が「高ｂｐｓフロー」又は「高ｐｐｓフロー」のいずれであるかを特定する。これは、例えば、５－ｔｕｐｌｅに含まれるプロトコルタイプやＬ７情報に含まれるアプリケーション情報等を用いて、当該フローを扱うアプリケーションの種別を判定することで特定することができる。
　次に、第１のパケット転送装置２０の経路決定部２０６は、ＥＣＭＰ経路テーブル１０００を参照して、上記のステップＳ２０５で特定したフロー属性から出力ポート２０８を決定する（ステップＳ２０６）。経路決定部２０６は、例えば、次のＳ１～Ｓ３の手順により出力ポート２０８を決定する。
　Ｓ１）まず、経路決定部２０６は、アプリ判定部２０５から通知された５－ｔｕｐｌｅに含まれる宛先ＩＰアドレスのネットワークアドレスに対応するエントリをＥＣＭＰ経路テーブル１０００から検索する。このとき、経路決定部２０６は、例えば、ロンゲストマッチでエントリを検索する。当該ネットワークアドレスに対応するエントリが検索された場合、経路決定部２０６は、このエントリを参照する。一方で、当該ネットワークアドレスに対応するエントリが検索されなかった場合、経路決定部２０６は、宛先ネットワークに「ｄｅｆａｕｌｔ」が設定されているエントリを参照する。
　Ｓ２）次に、経路決定部２０６は、フロー属性に応じて、参照しているエントリに含まれる「ゲートウェイのリスト」の中から低負荷状態のゲートウェイを検索する。
　例えば、上記のステップＳ２０５で特定したフロー属性が「高ｂｐｓフロー」である場合、経路決定部２０６は、当該エントリに含まれる「ゲートウェイのリスト」のうち、「データ量（ｂｐｓ）の負荷状態」に「０」が設定されているゲートウェイを上から順番に検索する。
　一方で、例えば、上記のステップＳ２０５で特定したフロー属性が「高ｐｐｓフロー」である場合、経路決定部２０６は、当該エントリに含まれる「ゲートウェイのリスト」のうち、「パケット数（ｐｐｓ）の負荷状態」に「０」が設定されているゲートウェイを上から順番に検索する。
　Ｓ３）そして、経路決定部２０６は、上記のＳ２で検索されたゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。
　なお、上記のＳ２でゲートウェイが検索されなかった場合、経路決定部２０６は、高負荷状態のゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。例えば、上記のステップＳ２０５で特定したフロー属性が「高ｂｐｓフロー」で、「データ量（ｂｐｓ）の負荷状態」に「０」が設定されているゲートウェイが存在しない場合、経路決定部２０６は、「データ量（ｂｐｓ）の負荷状態」に「１」が設定されているゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。同様に、例えば、上記のステップＳ２０５で特定したフロー属性が「高ｐｐｓフロー」で、「パケット数（ｐｐｓ）の負荷状態」に「０」が設定されているゲートウェイが存在しない場合、経路決定部２０６は、「パケット数（ｐｐｓ）の負荷状態」に「１」が設定されているゲートウェイに対応する出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。
　ここで、同一の宛先ネットワークに対する出力ポート２０８をラウンドロビンで変更したい場合は、経路決定部２０６は、決定した出力ポート２０８に対応するゲートウェイを、「ゲートウェイのリスト」の最後尾に移動させても良い。例えば、図３に示すＥＣＭＰ経路テーブル１０００において、宛先ネットワーク「ｄｅｆａｕｌｔ」のゲートウェイ「１９２．１６８．１．０」の出力ポート情報「ｅｔｈ０」が出力ポート２０８に決定された場合、このゲートウェイ「１９２．１６８．１．０」をリストの最後尾（すなわち、ゲートウェイ「１９２．１６８．１．２」の後ろ）に移動させても良い。これにより、同一の宛先ネットワークに対する出力ポート２０８をラウンドロビンで変更することで、更なる負荷分散が期待できる。
　次に、第１のパケット転送装置２０の経路決定部２０６は、アプリ判定部２０５から通知されたハッシュ値と、上記のステップＳ２０６で決定した出力ポート２０８を示す情報（出力ポート情報）とを対応付けたフロー転送情報をフローテーブル２０００に格納する（ステップＳ２０７）。
　第１のパケット転送装置２０のルーティング部２０７は、該当のエントリ（上記のステップＳ２０４でハッシュ値が一致すると判定されたエントリ又は上記のステップＳ２０７で格納されたエントリ）から出力ポート情報を取得する（ステップＳ２０８）。そして、ルーティング部２０７は、取得した出力ポート情報が示す出力ポート２０８に当該パケットを送信する。
　第１のパケット転送装置２０の出力ポート２０８は、ルーティング部２０７から受け取ったパケットを出力する（ステップＳ２０９）。
　以上のように、実施例１における負荷分散システム１は、第１のパケット転送装置２０から第２のパケット転送装置３０にパケットを転送する際に、当該パケットによるフローのフロー属性に応じて、低負荷状態の第２のパケット転送装置３０に当該パケットを転送する。これにより、実施例１における負荷分散システム１では、第２のパケット転送装置３０の負荷分散を実現することができる。このため、例えば、或る第２のパケット転送装置３０に高ｂｐｓフローのパケットが集中する事態や高ｐｐｓフローのパケットが集中する事態を防止することができ、第２のパケット転送装置３０の転送容量を最大限に活かすことができるようになる。
　（実施例２）
　以降では、本発明の実施の形態における負荷分散システム１の実施例２について説明する。なお、実施例２では、主に、実施例１との相違点について説明し、実施例１と同様の構成要素については、適宜、その説明を省略する。
　＜機能構成＞
　まず、実施例２における負荷分散システム１の機能構成について、図６を参照しながら説明する。図６は、実施例２における負荷分散システム１の機能構成の一例を示す図である。なお、実施例２における負荷監視装置１０の機能構成は、実施例１と同様である、その説明を省略する。
　図６に示すように、実施例２における第１のパケット転送装置２０は、命令受信部２０１と、経路テーブル変更部２０２と、入力ポート２０３と、アプリ判定部２０５と、経路決定部２０６と、ルーティング部２０７と、出力ポート２０８と、入力バッファ２０９とを有する。これらの各機能部のうち、経路テーブル変更部２０２と、アプリ判定部２０５と、経路決定部２０６と、ルーティング部２０７との機能が実施例１と異なる。そこで、以降では、これらの各機能部について説明する。
　経路テーブル変更部２０２は、命令受信部２０１が受信した命令に応じて、ＥＣＭＰ経路テーブル３０００を変更する。ＥＣＭＰ経路テーブル３０００は、ＥＣＭＰ経路テーブル３０００－１と、ＥＣＭＰ経路テーブル３０００－２と、ＥＣＭＰ経路テーブル３０００－３と、ＥＣＭＰ経路テーブル３０００－４との４つのテーブルから構成されている。
　ＥＣＭＰ経路テーブル３０００－１は、高ｂｐｓフロー用の経路情報のうち、高優先度の経路情報をエントリとして格納しているテーブルである。ＥＣＭＰ経路テーブル３０００－２は、高ｂｐｓフロー用の経路情報のうち、低優先度の経路情報をエントリとして格納しているテーブルである。ＥＣＭＰ経路テーブル３０００－３は、高ｐｐｓフロー用の経路情報のうち、高優先度の経路情報をエントリとして格納しているテーブルである。ＥＣＭＰ経路テーブル３０００－４は、高ｐｐｓフロー用の経路情報のうち、低優先度の経路情報をエントリとして格納しているテーブルである。なお、高優先度及び低優先度とは、出力ポート２０８の決定の際に参照される優先度のことであり、高優先度のエントリの方が低優先度のエントリよりも優先的に参照される。実施例２におけるＥＣＭＰ経路テーブル３０００の詳細については後述する。
　アプリ判定部２０５は、入力バッファ２０９に格納されているパケットのフロー情報（例えば、５－ｔｕｐｌｅ）又は当該パケットのＬ７情報（例えば、Ｌ７のヘッダ情報等）を用いて、当該パケットによるフローのアプリケーションを特定し、当該フローのフロー属性（高ｂｐｓフロー又は高ｐｐｓフローのいずれか）を特定する。そして、アプリ判定部２０５は、特定したフロー属性を経路決定部２０６に通知する。このとき、アプリ判定部２０５は、例えば、５－ｔｕｐｌｅと、フロー属性とを経路決定部２０６に通知する。
　経路決定部２０６は、ＥＣＭＰ経路テーブル３０００を参照して、アプリ判定部２０５が特定したフロー属性から出力ポート２０８を決定する。また、経路決定部２０６は、決定した出力ポート２０８を示す情報（出力ポート情報）をルーティング部２０７に通知する。
　ルーティング部２０７は、経路決定部２０６から通知された出力ポート情報が示す出力ポート２０８に当該パケットを送信する。
　ここで、実施例２におけるＥＣＭＰ経路テーブル３０００について、図７を参照しながら説明する。図７は、実施例２におけるＥＣＭＰ経路テーブル３０００の一例を示す図である。
　図７に示すように、実施例２におけるＥＣＭＰ経路テーブル３０００は、ＥＣＭＰ経路テーブル３０００－１と、ＥＣＭＰ経路テーブル３０００－２と、ＥＣＭＰ経路テーブル３０００－３と、ＥＣＭＰ経路テーブル３０００－４との４つのテーブルから構成されている。また、各ＥＣＭＰ経路テーブル３０００には、エントリとして経路情報が格納されている。経路情報には、「宛先ネットワーク」と、「サブネットマスク」と、「ゲートウェイ」と、「出力ポート情報」とが含まれる。
　「宛先ネットワーク」には、パケットの転送先のネットワークのＩＰアドレスが設定される。「サブネットマスク」には、宛先ネットワークに対応するサブネットマスクが設定される。
　「ゲートウェイ」には、宛先ネットワークに対応するゲートウェイ（第２のパケット転送装置３０）のＩＰアドレスが設定される。
　「出力ポート情報」には、「ゲートウェイ」に設定されているゲートウェイ（のＩＰアドレス）に対する出力ポート２０８を示す情報が設定される。
　このように、実施例２におけるＥＣＭＰ経路テーブル３０００には、宛先ネットワーク毎に、当該宛先ネットワークに対するゲートウェイと、このゲートウェイの出力ポート情報とが含まれる経路情報が格納されている。
　後述するように、実施例２では、各ゲートウェイ（第２のパケット転送装置３０）の負荷状態が閾値を超えた場合（又は下回った場合）に、当該ゲートウェイのＩＰアドレスが含まれる経路情報が格納されるテーブルを変更すると共に、パケットを転送する際に、フロー属性に応じて低負荷状態のゲートウェイからパケットを送信することで、負荷分散が行われる。
　＜ＥＣＭＰ経路テーブルの変更処理＞
　以降では、実施例２におけるＥＣＭＰ経路テーブル３０００の変更処理について、図８を参照しながら説明する。図８は、実施例２におけるＥＣＭＰ経路テーブル３０００の変更処理の流れの一例を説明するための図である。なお、図８のステップＳ３０１～ステップＳ３０４の処理は、図４のステップＳ１０１～ステップＳ１０４とそれぞれ同様であるため、その説明を省略する。
　ステップＳ３０４に続いて、第１のパケット転送装置２０の経路テーブル変更部２０２は、命令受信部２０１が受信した命令に応じて、ＥＣＭＰ経路テーブル３０００を変更する（ステップＳ３０５）。
　具体的には、例えば、「閾値種別」に「ｂｐｓ閾値」、「命令種別」に「負荷分散の実施」、「対象装置の識別情報」に「１９２．１６８．１．０」がそれぞれ設定されている通知を受信したとする。この場合、経路テーブル変更部２０２は、ＩＰアドレス「１９２．１６８．１．０」に対応するネットワークアドレスが「宛先ネットワーク」に設定された経路情報をＥＣＭＰ経路テーブル３０００－１から削除した上で、この削除した経路情報をＥＣＭＰ経路テーブル３０００－２に追加する。言い換えれば、経路テーブル変更部２０２は、当該経路情報を、高優先度から低優先度に変更する。
　同様に、例えば、「閾値種別」に「ｂｐｓ閾値」、「命令種別」に「負荷分散の解除」、「対象装置の識別情報」に「１９２．１６８．１．２」がそれぞれ設定されている通知を受信したとする。この場合、経路テーブル変更部２０２は、ＩＰアドレス「１９２．１６８．１．２」に対応するネットワークアドレスが「宛先ネットワーク」に設定された経路情報をＥＣＭＰ経路テーブル３０００－２から削除した上で、この削除した経路情報をＥＣＭＰ経路テーブル３０００－１に追加する。言い換えれば、経路テーブル変更部２０２は、当該経路情報を、低優先度から高優先度に変更する。
　同様に、例えば、「閾値種別」に「ｐｐｓ閾値」、「命令種別」に「負荷分散の実施」、「対象装置の識別情報」に「１９２．１６８．１．１」がそれぞれ設定されている通知を受信したとする。この場合、経路テーブル変更部２０２は、ＩＰアドレス「１９２．１６８．１．１」に対応するネットワークアドレスが「宛先ネットワーク」に設定された経路情報をＥＣＭＰ経路テーブル３０００－３から削除した上で、この削除した経路情報をＥＣＭＰ経路テーブル３０００－４に追加する。言い換えれば、経路テーブル変更部２０２は、当該経路情報を、高優先度から低優先度に変更する。
　同様に、例えば、「閾値種別」に「ｂｐｓ閾値」、「命令種別」に「負荷分散の解除」、「対象装置の識別情報」に「１９２．１６８．１．２」がそれぞれ設定されている通知を受信したとする。この場合、経路テーブル変更部２０２は、ＩＰアドレス「１９２．１６８．１．２」に対応するネットワークアドレスが「宛先ネットワーク」に設定された経路情報をＥＣＭＰ経路テーブル３０００－４から削除した上で、この削除した経路情報をＥＣＭＰ経路テーブル３０００－３に追加する。言い換えれば、経路テーブル変更部２０２は、当該経路情報を、低優先度から高優先度に変更する。
　以上のように、実施例２における負荷分散システム１は、負荷分散対象である第２のパケット転送装置３０のｂｐｓ結果値又はｐｐｓ結果値が閾値を超えた場合又は下回った場合、ｂｐｓ結果値又はｐｐｓ結果値に応じて、高ｂｐｓフロー用のＥＣＭＰ経路テーブル３０００又は高ｐｐｓフロー用のＥＣＭＰ経路テーブル３０００に格納されているエントリのうち、該当のエントリの優先度を変更する。
　＜パケット転送処理＞
　以降では、実施例２におけるパケット転送処理について、図９を参照しながら説明する。図９は、実施例２におけるパケット転送処理の流れの一例を説明するための図である。なお、図９のステップＳ４０１～ステップＳ４０２の処理は、図５のステップＳ２０１～ステップＳ２０２の処理とそれぞれ同様であるため、その説明を省略する。
　ステップＳ２０２に続いて、第１のパケット転送装置２０のアプリ判定部２０５は、入力バッファ２０９に格納されているパケットのフロー情報（例えば、５－ｔｕｐｌｅ）又は当該パケットのＬ７情報（例えば、Ｌ７のヘッダ情報等）を用いて、当該パケットによるフローのフロー属性（高ｂｐｓフロー又は高ｐｐｓフローのいずれか）を特定する（ステップＳ４０３）。
　次に、第１のパケット転送装置２０の経路決定部２０６は、該当のＥＣＭＰ経路テーブル３０００を参照して、出力ポート２０８を決定する（ステップＳ４０４）。
　例えば、上記のステップＳ４０３で特定されたフロー属性が「高ｂｐｓフロー」である場合、経路決定部２０６は、ＥＣＭＰ経路テーブル３０００－１を参照して、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが存在するか否かを判定する。
　そして、ＥＣＭＰ経路テーブル３０００－１に当該エントリが存在すると判定された場合、経路決定部２０６は、当該エントリの「出力ポート情報」に設定されている出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。なお、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが複数存在する場合、経路決定部２０６は、ラウンドロビンにより、これら複数のエントリそれぞれの「出力ポート情報」に設定されている出力ポート情報から１つの出力ポートを決定すれば良い。
　一方で、ＥＣＭＰ経路テーブル３０００－１に当該エントリが存在しないと判定された場合、経路決定部２０６は、ＥＣＭＰ経路テーブル３０００－２を参照して、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが存在するか否かを判定する。
　そして、ＥＣＭＰ経路テーブル３０００－２に当該エントリが存在すると判定された場合、経路決定部２０６は、当該エントリの「出力ポート情報」に設定されている出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。なお、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが複数存在する場合、経路決定部２０６は、ラウンドロビンにより、これら複数のエントリそれぞれの「出力ポート情報」に設定されている出力ポート情報から１つの出力ポートを決定すれば良い。
　なお、ＥＣＭＰ経路テーブル３０００－２に当該エントリが存在しないと判定された場合、経路決定部２０６は、「宛先ネットワーク」に「ｄｅｆａｕｌｔ」が設定されているエントリの「出力ポート情報」に設定されている出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定すれば良い。
　同様に、例えば、上記のステップＳ４０３で特定されたフロー属性が「高ｐｐｓフロー」である場合、経路決定部２０６は、ＥＣＭＰ経路テーブル３０００－３を参照して、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが存在するか否かを判定する。
　そして、ＥＣＭＰ経路テーブル３０００－３に当該エントリが存在すると判定された場合、経路決定部２０６は、当該エントリの「出力ポート情報」に設定されている出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。なお、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが複数存在する場合、経路決定部２０６は、ラウンドロビンにより、これら複数のエントリそれぞれの「出力ポート情報」に設定されている出力ポート情報から１つの出力ポートを決定すれば良い。
　一方で、ＥＣＭＰ経路テーブル３０００－３に当該エントリが存在しないと判定された場合、経路決定部２０６は、ＥＣＭＰ経路テーブル３０００－４を参照して、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが存在するか否かを判定する。
　そして、ＥＣＭＰ経路テーブル３０００－４に当該エントリが存在すると判定された場合、経路決定部２０６は、当該エントリの「出力ポート情報」に設定されている出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定する。なお、当該パケットの宛先ＩＰアドレスに対応するネットワークアドレスが「宛先ネットワーク」に設定されているエントリが複数存在する場合、経路決定部２０６は、ラウンドロビンにより、これら複数のエントリそれぞれの「出力ポート情報」に設定されている出力ポート情報から１つの出力ポートを決定すれば良い。
　なお、ＥＣＭＰ経路テーブル３０００－４に当該エントリが存在しないと判定された場合、経路決定部２０６は、「宛先ネットワーク」に「ｄｅｆａｕｌｔ」が設定されているエントリの「出力ポート情報」に設定されている出力ポート情報が示す出力ポート２０８を、当該パケットの出力ポート２０８に決定すれば良い。
　次に、第１のパケット転送装置２０のルーティング部２０７は、経路決定部２０６により決定された出力ポートを示す出力ポート情報を取得する（ステップＳ４０５）。そして、ルーティング部２０７は、取得した出力ポート情報が示す出力ポート２０８に当該パケットを送信する。
　第１のパケット転送装置２０の出力ポート２０８は、ルーティング部２０７から受け取ったパケットを出力する（ステップＳ４０６）。
　以上のように、実施例２における負荷分散システム１は、第１のパケット転送装置２０から第２のパケット転送装置３０にパケットを転送する際に、当該パケットによるフローのフロー属性に応じて、４つのＥＣＭＰ経路テーブル３０００のうち、優先度の高い順に、当該フロー属性に対応するＥＣＭＰ経路テーブル３０００を参照することで、低負荷状態の第２のパケット転送装置３０に当該パケットを転送する。これにより、実施例２における負荷分散システム１では、第２のパケット転送装置３０の負荷分散を実現することができる。このため、実施例１と同様に、例えば、或る第２のパケット転送装置３０に高ｂｐｓフローのパケットが集中する事態や高ｐｐｓフローのパケットが集中する事態を防止することができ、第２のパケット転送装置３０の転送容量を最大限に活かすことができるようになる。
　＜ハードウェア構成＞
　最後に、本発明の実施の形態における負荷監視装置１０、第１のパケット転送装置２０及び第２のパケット転送装置３０のハードウェア構成について説明する。本発明の実施の形態における負荷監視装置１０、第１のパケット転送装置２０及び第２のパケット転送装置３０は、例えば図１０に示すコンピュータ５００を１台以上用いることにより実現される。図１０は、コンピュータ５００のハードウェア構成の一例を示す図である。
　図１０に示すコンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１と、ＲＡＭ５０２と、ＲＯＭ（Read Only Memory）５０３と、外部Ｉ／Ｆ５０４と、通信Ｉ／Ｆ５０５と、補助記憶装置５０６とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。
　ＣＰＵ５０１は、ＲＯＭ５０３や補助記憶装置５０６等からプログラムやデータをＲＡＭ５０２上に読み出して処理を実行する演算装置である。
　ＲＡＭ５０２は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ５０３は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ５０３には、例えば、ＯＳ設定やネットワーク設定等が格納されている。
　外部Ｉ／Ｆ５０４は、外部装置とのインタフェースである。外部装置には、記録媒体５０４ａ等がある。コンピュータ５００は、外部Ｉ／Ｆ５０４を介して、記録媒体５０４ａ等の読み取りや書き込み等を行うことができる。
　記録媒体５０４ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
　通信Ｉ／Ｆ５０５は、他の装置と通信を行うためのインタフェースである。なお、第１のパケット転送装置２０及び第２のパケット転送装置３０は、複数の通信Ｉ／Ｆ５０５を有する。
　補助記憶装置５０６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置５０６に格納されているプログラムやデータには、例えば、ＯＳ、当該ＯＳ上において各種機能を実現するアプリケーションプログラム等がある。
　本発明の実施の形態における負荷監視装置１０、第１のパケット転送装置２０及び第２のパケット転送装置３０は、図１０に示すコンピュータ５００を１台以上用いることにより、上述した各種処理を実行することができる。例えば、負荷監視装置１０が有する各機能部は、補助記憶装置５０６に格納された１以上のプログラムがＣＰＵ５０１等に実行させる処理により実現される。また、例えば、第１のパケット転送装置２０が有する各機能部は、補助記憶装置５０６に格納された１以上のプログラムがＣＰＵ５０１等に実行させる処理や通信Ｉ／Ｆ５０５等により実現される。
　なお、負荷監視装置１０は、例えばディスプレイ等の表示装置と、例えばキーボードやマウス等の入力装置とのうちの少なくとも一方を有していても良い。
　本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上記の実施の形態では、負荷分散を行うパケット転送装置を第１のパケット転送装置２０、負荷分散の対象となるパケット転送装置を第２のパケット転送装置３０としたが、これは、或るパケット転送装置が常に第１のパケット転送装置２０又は第２のパケット転送装置３０のいずれかとして機能することを意味するものではない。例えば、同一のパケット転送装置が第１のパケット転送装置２０として機能し、かつ、第２のパケット転送装置３０としても機能しても良い。
　１　　　　　負荷分散システム
　１０　　　　負荷監視装置
　２０　　　　第１のパケット転送装置
　３０　　　　第２のパケット転送装置
　１０１　　　流量監視部
　１０２　　　負荷分散決定部
　１０３　　　命令送信部
　２０１　　　命令受信部
　２０２　　　経路テーブル変更部
　２０３　　　入力ポート
　２０４　　　フロー情報取得部
　２０５　　　アプリ判定部
　２０６　　　経路決定部
　２０７　　　ルーティング部
　２０８　　　出力ポート
　２０９　　　入力バッファ
　Ｎ１、Ｎ２　ネットワーク

Claims (7)

  1. 　入力ポートがパケットを受信すると、該パケットにより構成されるフローが、ロングパケットが多い傾向のフロー又はショートパケットが多い傾向のフローのいずれであるかを示すフロー属性を判定する判定手段と、
    　前記判定手段により判定されたフロー属性に応じて、複数のパケット転送装置のうち、前記フロー属性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記パケットを出力する出力手段と、
    　を有することを特徴とする負荷分散システム。
  2. 　前記複数のパケット転送装置の各々について、前記ロングパケットに関するトラヒック流量を表すｂｐｓ値と、前記ショートパケットに関するトラヒック流量を表すｐｐｓ値とを監視する監視手段と、
    　前記監視手段により監視されている前記複数のパケット転送装置のうちの少なくとも１台のパケット転送装置について、前記ｂｐｓ値が所定の第１の閾値を超えた場合、前記少なくとも１台のパケット転送装置の負荷状態を、前記ロングパケットが多い傾向のフローによる負荷が高いことを示す負荷状態に変更する第１の変更手段と、
    　前記監視手段により監視されている前記複数のパケット転送装置のうちの少なくとも１台のパケット転送装置について、前記ｐｐｓ値が所定の第２の閾値を超えた場合、前記少なくとも１台のパケット転送装置の負荷状態を、前記ショートパケットが多い傾向のフローによる負荷が高いことを示す負荷状態に変更する第２の変更手段と、
    　を有することを特徴とする請求項１に記載の負荷分散システム。
  3. 　前記第１の変更手段は、
    　前記監視手段により監視されている前記複数のパケット転送装置のうちの少なくとも１台のパケット転送装置について、前記ｂｐｓ値が前記第１の閾値を下回った場合、前記少なくとも１台のパケット転送装置の負荷状態を、前記ロングパケットが多い傾向のフローによる負荷が低いことを示す負荷状態に変更し、
    　前記第２の変更手段は、
    　前記監視手段により監視されている前記複数のパケット転送装置のうちの少なくとも１台のパケット転送装置について、前記ｐｐｓ値が前記第２の閾値を下回った場合、前記少なくとも１台のパケット転送装置の負荷状態を、前記ショートパケットが多い傾向のフローによる負荷が低いことを示す負荷状態に変更する、
    　ことを特徴とする請求項２に記載の負荷分散システム。
  4. 　前記第１の変更手段及び前記第２の変更手段は、
    　前記複数のパケット転送装置それぞれの負荷状態を示す情報を更新する又は前記複数のパケット転送装置それぞれの識別情報を第１のテーブルから第２のテーブル若しくは第２のテーブルから第１のテーブルに移動させることで、前記負荷状態を変更する、
    　ことを特徴とする請求項２又は３に記載の負荷分散システム。
  5. 　前記判定手段は、
    　前記パケットの５－ｔｕｐｌｅ又はＬ７情報の少なくとも一方を用いて、前記フロー属性を判定する、ことを特徴とする請求項１乃至４の何れか一項に記載の負荷分散システム。
  6. 　前記入力ポートが受信したパケットの５－ｔｕｐｌｅからハッシュ値を生成するハッシュ手段を有し、
    　前記出力手段は、
    　前記パケットの５－ｔｕｐｌｅのハッシュ値と、前記複数のパケット転送装置のうち、前記５－ｔｕｐｌｅに含まれる宛先ＩＰアドレスに対応するネットワークにパケットを転送するパケット転送装置であって、前記フロー属性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置の識別情報とが対応付けられたテーブルを参照して、前記ハッシュ手段により生成されたハッシュ値に対応する識別情報によって識別されるパケット転送装置に対して前記パケットを出力する、
    　ことを特徴とする請求項１乃至５の何れか一項に記載の負荷分散システム。
  7. 　入力ポートがパケットを受信すると、該パケットにより構成されるフローが、ロングパケットが多い傾向のフロー又はショートパケットが多い傾向のフローのいずれであるかを示すフロー属性を判定する判定手順と、
    　前記判定手順により判定されたフロー属性に応じて、複数のパケット転送装置のうち、前記フロー属性のフローによる負荷が少ないことを示す負荷状態のパケット転送装置に対して前記パケットを出力する出力手順と、
    　を負荷分散システムが実行することを特徴とする負荷分散方法。
PCT/JP2019/004266 2018-02-23 2019-02-06 負荷分散システム及び負荷分散方法 WO2019163518A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/971,848 US11128569B2 (en) 2018-02-23 2019-02-06 Load distribution system and load distribution method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018030587A JP6888566B2 (ja) 2018-02-23 2018-02-23 負荷分散システム及び負荷分散方法
JP2018-030587 2018-02-23

Publications (1)

Publication Number Publication Date
WO2019163518A1 true WO2019163518A1 (ja) 2019-08-29

Family

ID=67688392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004266 WO2019163518A1 (ja) 2018-02-23 2019-02-06 負荷分散システム及び負荷分散方法

Country Status (3)

Country Link
US (1) US11128569B2 (ja)
JP (1) JP6888566B2 (ja)
WO (1) WO2019163518A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636019B2 (en) * 2019-07-11 2023-04-25 Walmart Apollo, Llc Systems and methods for dynamically simulating load to an application under test
JP2022139868A (ja) 2021-03-12 2022-09-26 マツダ株式会社 車載通信装置及び通信管理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033628A (ja) * 2004-07-20 2006-02-02 Fujitsu Ltd パケット中継方法及び装置
JP2015233221A (ja) * 2014-06-10 2015-12-24 日本電信電話株式会社 統計情報メモリシステム、ネットワーク機器、および統計情報蓄積方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004350078A (ja) 2003-05-23 2004-12-09 Fujitsu Ltd 方路分散伝送システム
CN104348740B (zh) * 2013-07-31 2018-04-10 国际商业机器公司 数据包处理方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033628A (ja) * 2004-07-20 2006-02-02 Fujitsu Ltd パケット中継方法及び装置
JP2015233221A (ja) * 2014-06-10 2015-12-24 日本電信電話株式会社 統計情報メモリシステム、ネットワーク機器、および統計情報蓄積方法

Also Published As

Publication number Publication date
US11128569B2 (en) 2021-09-21
JP2019146099A (ja) 2019-08-29
JP6888566B2 (ja) 2021-06-16
US20210014165A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US10257066B2 (en) Interconnect congestion control in a storage grid
US8218561B2 (en) Flow redirection employing state information
JP5850131B2 (ja) ネットワークシステム、リソース使用率改善方法
WO2011074516A1 (ja) ネットワークシステムとその制御方法、及びコントローラ
JP2014161083A (ja) スイッチシステム、スイッチ制御方法、及び記憶媒体
EP3014851A1 (en) System and method for distribution of policy enforcement point
US20100002714A1 (en) PCI express network
US11997024B2 (en) Mapping NVMe-over-fabric packets using virtual output queues
WO2020062268A1 (zh) 在网络中的负载均衡和报文重排序方法及装置
US8630296B2 (en) Shared and separate network stack instances
WO2019163518A1 (ja) 負荷分散システム及び負荷分散方法
Agache et al. Increasing Datacenter Network Utilisation with {GRIN}
JP5995279B2 (ja) ネットワーク機器、方法、及びプログラム
US10764177B2 (en) Efficient implementation of complex network segmentation
JP7052634B2 (ja) 負荷分散システム及び負荷分散方法
JP6829156B2 (ja) ネットワーク負荷分散装置および方法
JP2014187430A (ja) 通信システム、中継装置、通信方法、及びプログラム
EP3026851B1 (en) Apparatus, network gateway, method and computer program for providing information related to a specific route to a service in a network
JP4034315B2 (ja) パケット中継装置
JP5625938B2 (ja) 通信装置、通信システム及び通信プログラム
JP5846018B2 (ja) データ伝送装置、データ伝送システム及びデータ伝送方法
WO2020162185A1 (ja) 負荷分散システム及び負荷分散方法
US11632331B2 (en) Load distribution system and load distribution method
WO2020184381A1 (ja) 処理装置、情報処理システム、情報処理方法、及びプログラム
JP2017204785A (ja) 通信装置、通信システム、及び通信装置のパケット転送方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19757341

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19757341

Country of ref document: EP

Kind code of ref document: A1