WO2019167802A1 - 制御装置、及び制御方法 - Google Patents

制御装置、及び制御方法 Download PDF

Info

Publication number
WO2019167802A1
WO2019167802A1 PCT/JP2019/006614 JP2019006614W WO2019167802A1 WO 2019167802 A1 WO2019167802 A1 WO 2019167802A1 JP 2019006614 W JP2019006614 W JP 2019006614W WO 2019167802 A1 WO2019167802 A1 WO 2019167802A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
unit
units
balancer
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/006614
Other languages
English (en)
French (fr)
Inventor
育生 大谷
紀貴 堀米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US16/977,139 priority Critical patent/US11509573B2/en
Publication of WO2019167802A1 publication Critical patent/WO2019167802A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/42—Centralised routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/56—Routing software
    • H04L45/566—Routing instructions carried by the data packet, e.g. active networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/58—Association of routers
    • H04L45/586—Association of routers of virtual routers

Definitions

  • the present invention relates to a control device and a control method.
  • the load balancer distributes processing requests (packets) to multiple, and the dispatched processing requests are distributed to the same number of servers (CPUs) as the dispatchers, and the distributed servers perform processing.
  • the technique to perform is disclosed (refer patent document 1).
  • Patent Document 1 states that, when the load balancer B acquires a processing request from the external device 5, it distributes the processing request to one of a plurality of dispatchers D (D1, D2, D3) by round robin or the like. Have been described.
  • JP 2014-032530 A (paragraph 0033, FIG. 2)
  • the load balancer described in Patent Document 1 does not describe whether a physical CPU is mounted and realized by software, or is realized by hardware logic without mounting a physical CPU. . If the load balancer is configured with dedicated hardware, the speed is higher than that realized by software, while the number of distribution logic and distribution destinations is fixed.
  • the present invention has been made to solve such a problem, and an object thereof is to provide a control device and a control method capable of flexibly changing the sorting logic.
  • the control device of the invention is a communication unit (for example, NIC) that receives packets from a network and a plurality of first controls that function as a plurality of virtual control units (for example, VMs 1a, 1b, etc , A distribution circuit (for example, Balancer 10a) that distributes the received packet into a plurality, and a plurality of second control units (for example, Dispatcher 4a,...) That distribute the packets distributed by the distribution circuit to the plurality of virtual control units. ..), And the distribution circuit is configured by PLD (Programmable Logic Device).
  • PLD Programmable Logic Device
  • the packet received by the distribution circuit is distributed to the second control unit.
  • the second control unit distributes the distributed packet to a plurality of virtual control units. Since a plurality of second control units are provided by the distribution circuit, the number of first control units constituting the plurality of virtual control units can be increased.
  • the distribution circuit configured by the PLD distributes the packets to the plurality of second control units, it is more flexible than configuring the dedicated hardware, and the distribution logic can be changed on a case-by-case basis. . In addition, it is possible to achieve higher speed than distributing packets by software.
  • one or both of the first control unit and the second control unit can be configured as a functional unit of a CPU core or a CPU device.
  • the invention according to claim 2 is the control device according to claim 1, wherein the distribution circuit includes a plurality of types of distribution units that can be switched, and the plurality of types of distribution units are set or managed. It is characterized by being switched by the control of the unit.
  • a plurality of types of sorting units can be switched to one of them on a case-by-case basis. That is, the distribution logic can be changed flexibly.
  • the invention according to claim 3 is the control device according to claim 1, wherein the distribution circuit includes a plurality of first output units connected to the second control unit in a one-to-one relationship, and the second control unit. And a second output unit that is not connected to the control unit, and further includes a management unit that manages which of the first output unit and the second output unit is a distribution path.
  • the distribution circuit can be provided with a larger number of output units (for example, output units of the CPU_IF function unit 11) than the number of second control units (for example, Dispatcher). That is, the distribution circuit can constitute the maximum number of output units (first output unit or second output unit) up to the limit on hardware.
  • the invention according to claim 4 is the control device according to claim 1, wherein the distribution circuit includes a plurality of first output units connected to the second control unit in a one-to-one relationship, and the second control unit. And a second output unit not connected to the control unit, wherein an output signal path of the second output unit is blocked.
  • the distribution circuit can constitute the maximum number of output units (first output unit or second output unit) up to the limit on hardware.
  • the invention according to claim 5 is the control device according to claim 3 or claim 4, wherein the distribution circuit uses a round robin to send a packet to be transmitted to the second output unit. It is characterized by redistributing to the output unit.
  • the plurality of first output units load-balance the second control units that are connected one-to-one. Further, the second output unit does not have a load.
  • the invention according to claim 6 is the control device according to claim 1, wherein the distribution circuit includes a plurality of first output units that are connected to the second control unit on a one-to-one basis, and the other output unit. A plurality of second output units connected to the second control unit, and any one of the second control units merges signals from the plurality of second output units. .
  • the invention according to claim 7 is the control apparatus according to claim 1, wherein any one of the second control units (for example, Dispatcher) distributes the packet to the virtual control unit connected to the control unit.
  • the packet is distributed to another virtual control unit connected to another second control unit.
  • any of the second control units distributes packets to other virtual control units through other second control units, and does not pass through other virtual control units.
  • the packet is distributed to the control unit.
  • a communication unit that receives a packet from a network, the received packet is divided into a plurality, a distribution circuit configured with a PLD, and a plurality of packets that are processed by the distribution circuit
  • the PLD is reconfigured in any of a plurality of types of sorting units (for example, Balancer function unit A12a, Balancer function unit B12b, Balancer function unit C12c, Balancer function unit D12d). That is, the distribution circuit can change the distribution logic on a case-by-case basis.
  • a plurality of types of sorting units for example, Balancer function unit A12a, Balancer function unit B12b, Balancer function unit C12c, Balancer function unit D12d.
  • the distribution circuit switches to one of the first output units based on the contents of a specific field of the packet, and each second control unit distributes to each virtual control unit using the identifier. Function can be realized.
  • control apparatus which is 1st Embodiment of this invention. It is a block diagram of the control apparatus which is 2nd Embodiment of this invention. It is a block diagram of the control apparatus which is 3rd Embodiment of this invention. It is a block diagram of the control apparatus which is 4th Embodiment of this invention. It is a block diagram of the control apparatus which is 5th Embodiment of this invention. It is a block diagram of the control apparatus which is a comparative example of this invention.
  • the present embodiment an embodiment of the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings.
  • Each figure is only schematically shown so that the present invention can be fully understood.
  • symbol is attached
  • FIG. 1 is an overall configuration diagram of a control system according to the first embodiment of the present invention.
  • the control device 100a includes a plurality of first control units 3a, 3b, 3c, 3d, the same number of second control units 6a, 6b, 6c, 6d, a balancer 10a serving as a distribution circuit, and communication And the NIC 20 as a unit.
  • the first control unit 3a is a CPU core as a physical CPU (Central Processing Unit), and by executing a program (program module), a plurality of virtual control units 1a and 1b that are VMs (Virtual Machines) The functions of the first buffers 2a and 2b, which are the queues, are realized.
  • the virtual controllers 1a and 1b are virtual computers that operate on the hypervisor.
  • the first buffers 2a and 2b are queues that output signals (packets) distributed from the second control unit 6a to the virtual control units 1a and 1b on a first-in first-out basis.
  • the second control unit 6a is a CPU core as a physical CPU, and implements the functions of the Dispatcher 4a and the second buffer 5a that is a queue by executing a program. Note that one or both of the plurality of first control units 3a, 3b, 3c, and 3d and the same number of second control units 6a, 6b, 6c, and 6d are functional units of the CPU core. It can also be realized as a functional unit of a CPU device incorporating a plurality of CPU cores.
  • the Dispatcher 4a has a function of distributing to the virtual control units 1a and 1b based on an identifier such as a destination IP address.
  • the 1st control part 3b implement
  • the second control unit 6b realizes functions of the Dispatcher 4b and the second buffer 5b.
  • the 1st control part 3c implement
  • the second control unit 6c realizes the functions of the Dispatcher 4c and the second buffer 5c.
  • the first control unit 3d realizes the functions of the plurality of virtual control units 1g and 1h and the plurality of first buffers 2g and 2h.
  • the second control unit 6d realizes the functions of the Dispatcher 4d and the second buffer 5d.
  • the NIC 20 is a Network Interface Card, and is a communication unit connected to a network such as a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the Balancer 10a is a distribution circuit that includes a CPU_IF function unit 11, a Balancer function unit 12, a NIC_IF function unit 13, and general-purpose IFs 14a and 14b.
  • the CPU_IF function unit 11 is hardware that has four output units and manages an interface with the second control units 6a, 6b, 6c, and 6d. Note that, as in a control device 100e (FIG. 5) which is a fifth embodiment described later, the CPU_IF function unit 11 may be configured by a CPU that realizes a function such as round robin.
  • the NIC_IF function unit 13 is hardware that controls an interface with the NIC 20.
  • the general-purpose IFs 14a and 14b are general-purpose queues.
  • the general-purpose IF 14 a is a FIFO (First In First Out) memory (hardware) that relays between the CPU_IF function unit 11 and the balancer function unit 12.
  • the general-purpose IF 14 b is a FIFO memory that relays between the balancer function unit 12 and the NIC_IF function unit 13.
  • the Balancer function unit 12 is hardware that distributes a packet received by the NIC 20 into a plurality, and is a distribution unit configured by PLD (Programmable Logic Device), for example, FPGA (Field Programmable Gate Array).
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the distributed packets are output to the four second buffers 5a, 5b, 5c, and 5d via the general-purpose IF 14a and the CPU_IF function unit 11.
  • the balancer function unit 12 can realize an arbitrary distribution logic by using the PLD. That is, the balancer function unit 12 can be changed in function to any of different types of balancer function units (distribution units) such as the balancer function unit A12a, balancer function unit B12b, balancer function unit C12c, balancer function unit D12d, and the like. .
  • the Balancer function unit 12 can change the function on a case-by-case basis by reconfiguring the Gate Array using FPGA.
  • the balancer function unit 12 looks at a specific field of a packet, and if it can be processed with an equivalent flow, it is assigned to the same destination, or is assigned regardless of the nature of the packet, such as round robin. Or something. In addition, it can be said that what distributes to the same distribution destination has high directivity, and round robin with random distribution destination can have low directivity. Also, if the same flow is distributed to the same distribution destination, the randomness is low, and it can be distributed to a static virtual control unit (VM). Further, if the distribution is performed regardless of the nature of the packet, the randomness is high, and the distribution can be effectively performed when the number of virtual control units (VMs) and the arrangement location dynamically change.
  • VMs virtual control units
  • the balancer function unit 12 includes balancers having different functions such as a balancer function unit A12a, a balancer function unit B12b, a balancer function unit C12c, a balancer function unit D12d, and the like. You may comprise.
  • control device 100a configures the balancer function unit 12 with FPGA hardware. Therefore, a plurality of balancer function units 12a are reconfigured on a case-by-case basis or set as options. , 12b, 12c, 12d.
  • the Balancer 10a of the control device 100a of the first embodiment includes the Balancer function unit 12, and the number that can be distributed by the Balancer function unit 12 is equal to the number of the second control units 6a, 6b, 6c, and 6d. It was assumed. In the present embodiment, it is assumed that the number that can be distributed by the balancer function unit 12 is larger than the number of the second control units 6a, 6b, 6c, and 6d.
  • FIG. 2 is a configuration diagram of a control apparatus according to the second embodiment of the present invention.
  • the control device 100b includes a plurality of first control units 3a, 3b, 3c, and the same number of second control units 6a, 6b, 6c as the first control unit, A balancer 10a as a distribution circuit and a NIC 20 as a communication unit are provided.
  • the 1st control part 3c implement achieves the function of several virtual control part 1e, 1f, 1g, 1h and several 1st buffer 2e, 2f, 2g, 2h. Since the number of virtual control units is larger than that of the first control units 3a and 3b, it is possible to perform parallel processing of light processing.
  • the second control unit 6c realizes the functions of the Dispatcher 4c and the second buffer 5c.
  • the Balancer 10a includes the Balancer function unit 12 (FIG. 1) in which the number that can be assigned is greater than the number of the second control units 6a, 6b, and 6c. That is, the balancer 10a includes a first output unit (distribution path) that is connected to the second control units 6a, 6b, and 6c on a one-to-one basis, and a second output unit (distribution path) that is not connected to the second control units 6a, 6b, and 6c. And have.
  • the Balancer function unit 12 FIG. 1
  • the balancer 10a includes a first output unit (distribution path) that is connected to the second control units 6a, 6b, and 6c on a one-to-one basis, and a second output unit (distribution path) that is not connected to the second control units 6a, 6b, and 6c. And have.
  • control device 100b includes a management unit 30a that manages the second control units 6a, 6b, and 6c, a management unit 30b that manages the balancer 10a, and a notification IF that connects the management unit 30a and the management unit 30b so that they can communicate with each other. And is configured.
  • Management units 30a and 30b specify the function of Balancer 10a.
  • the management units 30a and 30b have a function of designating a second output unit of the balancer function unit 12 (FIG. 1) as a distribution unit.
  • the balancer function unit 12 is connected to the second control units 6a, 6b, and 6c. Use the first output. That is, the management units 30a and 30b change the number of interfaces (output units) without changing the circuit of the Balancer 10a.
  • the balancer function unit 12 includes balancers having different functions such as a balancer function unit A12a, a balancer function unit B12b, a balancer function unit C12c, a balancer function unit D12d, and the management units 30a and 30b switch between the function units. You may comprise.
  • the balancer 10a can configure the maximum number of balancer function units 12 that can be assigned by the FPGA. And the 1st output part connected to the 2nd control parts 6a, 6b, and 6c is used, and the 2nd output part which is not connected to the 2nd control parts 6a, 6b, and 6c becomes unused.
  • the management units 30a and 30b do not use a part of the distribution interface of the balancer function unit 10a. It can be configured not to be transmitted.
  • FIG. 3 is a configuration diagram of a control apparatus according to the third embodiment of the present invention.
  • the control device 100c includes a plurality of first control units 3a, 3b, and 3c, the same number of second control units 6a, 6b, and 6c as the first control unit, and a balancer function unit 12.
  • a balancer 10a having (FIG. 1), a buffer 5e as a functional unit, and a NIC 20 as a communication unit are provided.
  • the second control unit 6c realizes the functions of the Dispatcher 4c and the second buffer 5c.
  • the buffer 5e may be realized by a new control unit, or may be realized by any of the first control units 3a, 3b, 3c and the second control units 6a, 6b, 6c.
  • the balancer 10a has four output units, a second buffer 5a of the second control unit 6a, a second buffer 5b of the second control unit 6b, a second buffer 5c of the second control unit 6c, and a buffer 5e. It is connected.
  • the buffer 5e stores a dummy “full” and is configured not to transmit a packet (information) from the balancer 10a.
  • the balancer 10a has three packets for the second buffer 5a of the second controller 6a, the second buffer 5b of the second controller 6b, and the second buffer 5c of the second controller 6c. Sort out.
  • the balancer 10a reduces the number of interfaces without changing its circuit.
  • the control device 100c of the third embodiment uses one of the second buffer 5c and the buffer 5e, but may use the second buffer 5c and the buffer 5e.
  • FIG. 4 is a configuration diagram of a control device according to the fourth embodiment of the present invention.
  • the control device 100d includes a plurality of first control units 3a, 3b, and 3c, the same number of second control units 6a, 6b, and 6c as the first control unit, and a balancer function unit 12.
  • a balancer 10a having (FIG. 1) and a NIC 20 as a communication unit are provided.
  • the number that can be distributed by the Balancer function unit 12 is set to the maximum number of FPGA capabilities.
  • the second control unit 6c realizes functions of the Dispatcher 4c and the plurality of second buffers 5c and 5d.
  • the balancer 10a has four output units, a second buffer 5a of the second control unit 6a, a second buffer 5b of the second control unit 6b, and two second buffers 5c and 5d of the second control unit 6c, It is connected.
  • the Dispatcher 4c merges the packets (signals) received from the two second buffers 5c and 5d, and distributes the merged signals to the first buffers 2e, 2f, 2g, and 2h of the first control unit 3c.
  • the balancer function unit 12 (FIG. 1) of the balancer 10a can distribute packets without making a part of the distribution interface of the balancer function unit 10a unused.
  • the control device 100b reduces the number of interfaces without changing the circuit of the balancer 10a. Further, the control device 100c of the third embodiment is configured to store a dummy “full” in the second buffer 5e so that information (packet) transmission is disabled. In the case of the control device 100c, the packet is transmitted to the second buffers 5a, 5b, 5c.
  • FIG. 5 is a configuration diagram of a control device according to the fifth embodiment of the present invention.
  • the control device 100e includes a plurality of first control units 3a, 3b, and 3c, the same number of second control units 6a, 6b, and 6c as the first control unit, and a balancer function unit 12.
  • a balancer 10a having (FIG. 1), a buffer 5e as a functional unit, and a NIC 20 as a communication unit are provided.
  • the number of balancer function units 12 that can be distributed is set to the maximum number of FPGA capabilities.
  • the second control unit 6c realizes the functions of the Dispatcher 4c and the second buffer 5c.
  • the balancer 10a has four output units, a second buffer 5a of the second control unit 6a, a second buffer 5b of the second control unit 6b, a second buffer 5c of the second control unit 6c, and a buffer 5e. It is connected. However, as in the third embodiment, the buffer 5e stores a dummy “full” and is configured not to transmit information (packets) from the balancer 10a.
  • the balancer 10a includes a plurality of third buffers 15a, 15b, 15c, and 15d, a plurality of fourth buffers 15e, 15f, 15g, and 15h, and a distribution function unit 16.
  • the plurality of third buffers 15a, 15b, 15c, and 15d and the plurality of fourth buffers 15e, 15f, 15g, and 15h correspond to the CPU_IF function 11 (FIG. 1) of the first embodiment. Since the fourth buffer 15h is connected to the buffer 5e in which the dummy “full” is stored, the packet cannot be transmitted to the second control unit 6c.
  • the distribution function unit 16 distributes the packet received from the NIC 20 to the plurality of third buffers 15a, 15b, 15c, and 15d. That is, the distribution function unit 16 corresponds to the balancer function unit 12 (FIG. 1) of the first embodiment.
  • the packets distributed to the third buffers 15a, 15b, 15c, and 15d are transmitted to the fourth buffers 15e, 15f, 15g, and 15h.
  • packets distributed to the third buffers 15a, 15b, 15c, and 15d are distributed to the fourth buffers 15e, 15f, and 15g based on a distribution logic such as round robin.
  • packets distributed to the third buffers 15a, 15b, and 15c are transmitted to the fourth buffers 15e, 15f, and 15g as a rule. Further, the packet distributed to the third buffer 15d should be distributed to the fourth buffer 15h, but is distributed to the other fourth buffers 15e, 15f, and 15g by round robin. The packets distributed to the fourth buffers 15e, 15f, and 15g are transmitted to the second buffers 5a, 5b, and 5c.
  • the balancer 10a avoids a mismatch between the number of functions of the distribution function unit 16 and the number of outputs (the number of the fourth buffers 15e, 15f, 15g, and 15h).
  • the management units 30a and 30b designate unused distribution interfaces. Specifically, the management units 30a and 30b designate the buffer 15h as unused. As a result, the packets distributed to the third buffer 15d are distributed to the fourth buffers 15e, 15f, and 15g by round robin.
  • FIG. 6 is a configuration diagram of a control device which is a comparative example of the present invention.
  • the control device 100f is used to compare with the control devices 100a to 100e of the embodiment.
  • the control device 100f includes a plurality of first control units 3a, 3b, 3d, and 3e, the same number of second control units 6a, 6b, 6d, and 6e, a balancer 10b as a distribution circuit, and communication And the NIC 20 as a unit.
  • the first control unit 3a is a CPU core as a physical CPU, and realizes functions of a plurality of virtual control units 1a and 1b and a plurality of first buffers 2a and 2b.
  • the virtual controllers 1a and 1b are virtual computers that operate on the hypervisor.
  • the first buffers 2a and 2b output signals (packets) distributed from the second control unit 6a to the virtual machines 1a and 1b in a first-in first-out manner.
  • the second control unit 6a is a CPU core as a physical CPU, and implements the functions of the Dispatcher 4a and the second buffer 5a by executing a program.
  • the 1st control part 3b implement
  • the second control unit 6b realizes functions of the Dispatcher 4b and the second buffer 5b.
  • the first control unit 3d realizes the functions of the plurality of virtual control units 1e and 1f and the plurality of first buffers 2e and 2f.
  • the second control unit 6d realizes the functions of the Dispatcher 4d and the second buffer 5d.
  • the first controller 3e realizes the functions of the plurality of virtual controllers 1g and 1h and the plurality of first buffers 2g and 2h.
  • the second control unit 6e realizes the functions of the Dispatcher 4e and the second buffer 5e.
  • the NIC 20 is a Network Interface Card and is a communication unit connected to a network.
  • Balancer 10b is realized with dedicated hardware, not PLD, and only realizes a single distribution function.
  • the balancer 10b distributes the packets received by the NIC 20 to the second controllers 6a, 6b, 6d, and 6e with a fixed single logic.
  • the Balancer 10b is realized by dedicated hardware, so it is fast, while the number of distribution logic and distribution destinations is fixed.
  • the balancer 10a of the control device 100a of the first embodiment is configured by a PLD, for example, an FPGA. Therefore, the Balancer function unit 12 can change the function to any one of the Balancer function unit A12a, the Balancer function unit B12b, the Balancer function unit C12c, the Balancer function unit D12d, and the like by reconfiguring the Gate Array.
  • the balancer function unit 12 includes a balancer function unit A12a, a balancer function unit B12b, a balancer function unit C12c, a balancer function unit D12d, and the like, and each function unit can be switched by option setting.
  • the number of distribution functions of the balancer 10a is different from the number of second control units 6a, 6b, and 6c that are distribution destinations.
  • the present invention is not limited to the above-described embodiment, and various modifications such as the following are possible, for example.
  • the first buffers 2a, 2b, 2c, 2d, 2e, 2f, 2g, and 2h and the second buffers 5a, 5b, 5c, 5d, and 5e according to each embodiment have a function of performing first-in first-out. However, it is also possible to write data at a predetermined address and take it out.
  • the Dispatchers 4a, 4b, 4c, and 4d in each of the embodiments are connected to the plurality of virtual controllers (for example, the virtual controller of the first controller 3a) of the first controllers 3a, 3b, 3c, and 3d. It was distributed to the control units 1a and 1b).
  • the Dispatcher 4a distributes all of the virtual controllers 1a, 1b, 1c, 1d, 1e, 1f, 1g, and 1h, and the other Dispatchers 4b, 4c, and 4d also include all the virtual controllers 1a, 1b, 1c, 1d, You may comprise so that it may distribute to any of 1e, 1f, 1g, and 1h.
  • the Dispatchers 4a, 4b, 4c, and 4d of each of the embodiments are connected to the plurality of virtual controllers (for example, the virtual controller of the first controller 3a) of the first controllers 3a, 3b, 3c, and 3d. It was distributed to the control units 1a and 1b).
  • Each Dispatcher 4a, 4b, 4c, 4d is not only a plurality of virtual control units of the first control units 3a, 3b, 3c, 3d connected to the Dispatcher 4a, 4b, 4c, 4d, but also other Dispatchers (for example, the Dispatcher 4a 4d) may be assigned.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】振り分けロジックを柔軟に変更する。 【解決手段】ネットワークからパケットを受信する通信部（ＮＩＣ２０）と、複数の仮想制御部（ＶＭ１ａ，１ｂ，１ｃ・・・）として機能する複数の第１制御部３ａ，３ｂ，３ｃ，３ｄと、受信したパケットを複数に振り分ける振分回路（Balancer１０ａ）と、振分回路が振り分けたパケットを複数の仮想制御部（ＶＭ１ａ，１ｂ，１ｃ・・・）に振り分ける複数の第２制御部（Dispatcher４ａ，４ｂ，４ｃ，４ｄ）とを備え、振分回路は、ＰＬＤで構成されている。

Description

制御装置、及び制御方法
　本発明は、制御装置、及び制御方法に関する。
　ロードバランサ（Balancer）が処理要求（パケット）を複数に振り分け、振り分けられた処理要求を、複数のディスパッチャ（Dispatcher）が、該ディスパッチャと同数のサーバ（ＣＰＵ）に振り分け、振り分けられたサーバが処理を実行する技術が開示されている（特許文献１参照）。また、特許文献１には、「ロードバランサＢは、外部装置５から処理要求を取得すると、ラウンドロビン等によりその処理要求を複数のディスパッチャＤ（Ｄ１，Ｄ２，Ｄ３）のいずれかに振り分ける」と記載されている。
特開２０１４－０３２５３０号公報（段落００３３、図２）
　ここで、特許文献１に記載のロードバランサは、物理ＣＰＵを搭載し、ソフトウェアで実現しているのか、物理ＣＰＵを搭載することなく、ハードウェアロジックで実現しているのかまでは記載されていない。仮に、ロードバランサを専用ハードウェアで構成すれば、ソフトウェアで実現するよりも、高速になる一方、振り分けロジックや振り分け先の数が固定されてしまう。
　本発明は、このような問題点を解決するためになされたものであり、振り分けロジックを柔軟に変更することができる制御装置、及び制御方法を提供することを目的とする。
　請求項１に係る発明の制御装置は、ネットワークからパケットを受信する通信部（例えば、ＮＩＣ）と、複数の仮想制御部（例えば、ＶＭ１ａ，１ｂ，・・・）として機能する複数の第１制御部と、受信した前記パケットを複数に振り分ける振分回路（例えば、Balancer１０ａ）と、前記振分回路が振り分けたパケットを前記複数の仮想制御部に振り分ける複数の第２制御部（例えば、Dispatcher４ａ，・・・）とを備え、前記振分回路は、ＰＬＤ（Programmable Logic Device）で構成されていることを特徴とする。
　これによれば、振分回路が受信したパケットを第２制御部に振り分ける。そして、第２制御部は、振り分けられたパケットを複数の仮想制御部に振り分ける。振分回路によって、第２制御部を複数備えられるので、複数の仮想制御部を構成する第１制御部の数を増加させることができる。
　ここで、ＰＬＤで構成された振分回路が複数の第２制御部にパケットを振り分けるので、専用ハードウェアで構成するよりも、柔軟性が高く、ケースバイケースで振り分けロジックを変更することができる。また、ソフトウェアでパケットを振り分けるよりも、高速化を実現することができる。なお、第１制御部及び第２制御部の何れか一方又は双方は、ＣＰＵコアやＣＰＵデバイスの機能部として構成することができる。
　請求項２に係る発明は、請求項１に記載の制御装置であって、前記振分回路は、切替え可能な複数種類の振分部を備え、前記複数種類の振分部は、設定又は管理部の制御により、切り替えられることを特徴とする。
　これによれば、複数種類の振分部は、その何れかにケースバイケースで切り替えられる。つまり、振り分けロジックを柔軟に変更することができる。
　請求項３に係る発明は、請求項１に記載の制御装置であって、前記振分回路は、前記第２制御部と１対１接続されている複数の第１出力部と、前記第２制御部と接続されていない第２出力部とを有し、前記第１出力部と前記第２出力部との何れを振り分け経路とするかを管理する管理部をさらに備えることを特徴とする。
　これによれば、振分回路は、第２制御部（例えば、Dispatcher）の数よりも多い数の出力部（例えば、CPU_IF機能部１１の出力部）を備えておくことができる。つまり、振分回路は、ハードウェア上の限界まで、最大数の出力部（第１出力部又は第２出力部）を構成することができる。
　請求項４に係る発明は、請求項１に記載の制御装置であって、前記振分回路は、前記第２制御部と１対１接続されている複数の第１出力部と、前記第２制御部と接続されていない第２出力部とを有し、前記第２出力部の出力信号経路が遮断されることを特徴とする。
　これによれば、振分回路は、ハードウェア上の限界まで、最大数の出力部（第１出力部又は第２出力部）を構成することができる。
　請求項５に係る発明は、請求項３又は請求項４に記載の制御装置であって、前記振分回路は、前記第２出力部に送信されるべきパケットを、ラウンドロビンを用いて第１出力部に振り分け直すことを特徴とする。
　これによれば、複数の第１出力部は、１対１接続されている第２制御部を負荷分散する。また、第２出力部は、負荷を有さない。
　請求項６に係る発明は、請求項１に記載の制御装置であって、前記振分回路は、前記第２制御部と１対１接続されている複数の第１出力部と、他の前記第２制御部と接続されている複数の第２出力部とを有し、他の何れかの前記第２制御部は、複数の前記第２出力部からの信号をマージすることを特徴とする。
　これによれば、第１出力部の数と第２出力部の数との和が第２制御部の数よりも多くても、全ての出力部（第１出力部及び第２出力部）を使用することができる。
　請求項７に係る発明は、請求項１に記載の制御装置であって、何れかの前記第２制御部（例えば、Dispatcher）は、自身に接続される前記仮想制御部にパケットを振り分けると共に、他の第２制御部に接続されている他の前記仮想制御部にパケットを振り分けることを特徴とする。
　これによれば、何れかの第２制御部は、他の第２制御部を介して、他の前記仮想制御部にパケットを振り分けたり、他の第２制御部を介することなく、他の仮想制御部にパケットを振り分けたりする。
　請求項８に係る発明は、ネットワークからパケットを受信する通信部と、受信した前記パケットを複数に振り分け、ＰＬＤで構成された振分回路と、前記振分回路が振り分けたパケットを処理する複数の制御部を備える制御装置が実行される制御方法であって、前記ＰＬＤが異なる種類の振分部に再構成させられるステップを有することを特徴とする。
　これによれば、ＰＬＤは、複数種類の振分部（例えば、Balancer機能部Ａ１２ａ、Balancer機能部Ｂ１２ｂ、Balancer機能部Ｃ１２ｃ、Balancer機能部Ｄ１２ｄ）の何れかに再構成させられる。つまり、振分回路は、ケースバイケースで振り分けロジックを変更することができる。
　なお、振分回路は、パケットの特定のフィールドの内容に基づいて、何れかの第１出力部に切り替え、各々の第２制御部は、識別子を用いて、各々の仮想制御部に振り分ける振分機能を実現することができる。
　本発明によれば、振り分けロジックを柔軟に変更することが可能な制御装置を構成することができる。
本発明の第１実施形態である制御装置の構成図である。 本発明の第２実施形態である制御装置の構成図である。 本発明の第３実施形態である制御装置の構成図である。 本発明の第４実施形態である制御装置の構成図である。 本発明の第５実施形態である制御装置の構成図である。 本発明の比較例である制御装置の構成図である。
　以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
（第１実施形態）
　図１は、本発明の第１実施形態である制御システムの全体構成図である。
　制御装置１００ａは、複数の第１制御部３ａ，３ｂ，３ｃ，３ｄと、該第１制御部と同数の第２制御部６ａ，６ｂ，６ｃ，６ｄと、振分回路としてのBalancer１０ａと、通信部としてのＮＩＣ２０とを備えて構成される。
　第１制御部３ａは、物理ＣＰＵ（Central Processing Unit）としてのＣＰＵコアであり、プログラム（プログラムモジュール）を実行することにより、複数のＶＭ（Virtual Machine）である仮想制御部１ａ，１ｂと、複数のキューである第１バッファ２ａ，２ｂとの機能を実現する。仮想制御部１ａ，１ｂは、ハイパバイザ上で動作する仮想的なコンピュータである。第１バッファ２ａ，２ｂは、第２制御部６ａから振り分けられた信号（パケット）を先入れ先出しで仮想制御部１ａ，１ｂに出力するキューである。
　第２制御部６ａは、物理ＣＰＵとしてのＣＰＵコアであり、プログラムを実行することにより、Dispatcher４ａと、キューである第２バッファ５ａとの機能を実現する。なお、複数の第１制御部３ａ，３ｂ，３ｃ，３ｄと、該第１制御部と同数の第２制御部６ａ，６ｂ，６ｃ，６ｄとの何れか一方又は双方は、ＣＰＵコアの機能部としても実現可能であり、また、複数のＣＰＵコアを内蔵するＣＰＵデバイスの機能部としても実現可能である。
　Dispatcher４ａは、例えば、宛先ＩＰアドレス等の識別子に基づいて、仮想制御部１ａ，１ｂに振り分ける機能を有する。同様に、第１制御部３ｂは、複数の仮想制御部１ｃ，１ｄと、複数の第１バッファ２ｃ，２ｄとの機能を実現する。第２制御部６ｂは、Dispatcher４ｂと、第２バッファ５ｂとの機能を実現する。また、第１制御部３ｃは、複数の仮想制御部１ｅ，１ｆと、複数の第１バッファ２ｅ，２ｆとの機能を実現する。第２制御部６ｃは、Dispatcher４ｃと、第２バッファ５ｃとの機能を実現する。また、第１制御部３ｄは、複数の仮想制御部１ｇ，１ｈと、複数の第１バッファ２ｇ，２ｈとの機能を実現する。第２制御部６ｄは、Dispatcher４ｄと、第２バッファ５ｄとの機能を実現する。ＮＩＣ２０は、Network Interface Cardであり、ＬＡＮ(Local Area Network)やＷＡＮ(Wide Area Network)等のネットワークに接続される通信部である。
　Balancer１０ａは、CPU_IF機能部１１と、Balancer機能部１２と、NIC_IF機能部１３と、汎用ＩＦ１４ａ，１４ｂとを備えて構成される振分回路である。CPU_IF機能部１１は、４つの出力部を有し、第２制御部６ａ，６ｂ，６ｃ，６ｄとのインタフェースを司るハードウェアである。なお、後記する第５実施形態である制御装置１００ｅ（図５）のように、CPU_IF機能部１１は、ラウンドロビン等の機能を実現するＣＰＵで構成されることもある。
　NIC_IF機能部１３は、ＮＩＣ２０とのインタフェースを司るハードウェアである。汎用ＩＦ１４ａ，１４ｂは、汎用のキューである。特に、汎用ＩＦ１４ａは、CPU_IF機能部１１とBalancer機能部１２との間を中継するＦＩＦＯ（First In First Out）メモリ（ハードウェア）である。汎用ＩＦ１４ｂは、Balancer機能部１２とNIC_IF機能部１３との間を中継するＦＩＦＯメモリである。
　Balancer機能部１２は、ＮＩＣ２０が受信したパケットを複数に振り分けるハードウェアであり、ＰＬＤ（Programmable Logic Device）、例えば、ＦＰＧＡ（Field Programmable Gate Array）で構成される振分部である。そして、振り分けられたパケットは、汎用ＩＦ１４ａ、及びCPU_IF機能部１１を介して、４つの第２バッファ５ａ，５ｂ，５ｃ，５ｄに出力される。Balancer機能部１２は、ＰＬＤを用いることにより、任意の振り分けロジックを実現することができる。つまり、Balancer機能部１２は、Balancer機能部Ａ１２ａ、Balancer機能部Ｂ１２ｂ、Balancer機能部Ｃ１２ｃ、Balancer機能部Ｄ１２ｄ等の異なる種類のBalancer機能部（振分部）の何れかに機能変更することができる。また、Balancer機能部１２は、ＦＰＧＡを用い、Gate Arrayを再構成することにより、ケースバイケースで機能変更することができる。
　例えば、Balancer機能部１２は、パケットの特定のフィールドを見て、同等のフローで処理可能であれば、同じ振り分け先に振り分けるものであったり、ラウンドロビンのように、パケットの性質に無関係に振り分けるものであったりする。なお、同じ振り分け先に振り分けるものは、指向性が高いということができ、振り分け先がランダムなラウンドロビンは、指向性が低いということができる。また、同等のフローを示したものを同じ振り分け先に振り分ければ、ランダム性が低く、静的な仮想制御部（ＶＭ）に振り分けることができる。また、パケットの性質によらずに振り分ければ、ランダム性が高く、仮想制御部（ＶＭ）の数や配置場所が動的に変動する場合に有効に振り分けることができる。
　また、Balancer機能部１２は、Balancer機能部Ａ１２ａ、Balancer機能部Ｂ１２ｂ、Balancer機能部Ｃ１２ｃ、Balancer機能部Ｄ１２ｄ等の異なる機能のBalancerを有し、オプション設定により、各機能部を切り替えることができるように構成しても構わない。
　以上説明したように、本実施形態の制御装置１００ａは、Balancer機能部１２をＦＰＧＡのハードウェアで構成するので、ケースバイケースで再構成したり、オプション設定することにより、複数のBalancer機能部１２ａ，１２ｂ，１２ｃ，１２ｄの何れかに切り替えることができる。
（第２実施形態）
　前記第１実施形態の制御装置１００ａのBalancer１０ａは、Balancer機能部１２を備え、Balancer機能部１２が振り分けることができる数と、第２制御部６ａ，６ｂ，６ｃ，６ｄの数とが等しいことを前提としていた。本実施形態では、Balancer機能部１２が振り分け可能な数の方が第２制御部６ａ，６ｂ，６ｃ，６ｄの数よりも多いことを前提とする。
　図２は、本発明の第２実施形態である制御装置の構成図である。
　制御装置１００ｂは、前記第１実施形態の制御装置１００ａと同様に、複数の第１制御部３ａ，３ｂ，３ｃと、該第１制御部と同数の第２制御部６ａ，６ｂ，６ｃと、振分回路としてのBalancer１０ａと、通信部としてのＮＩＣ２０とを備える。ここで、第１制御部３ｃは、複数の仮想制御部１ｅ，１ｆ，１ｇ，１ｈと、複数の第１バッファ２ｅ，２ｆ，２ｇ，２ｈとの機能を実現する。第１制御部３ａ，３ｂよりも仮想制御部の数が多いので、処理が軽い制御を並列処理することができる。第２制御部６ｃは、Dispatcher４ｃと、第２バッファ５ｃとの機能を実現する。
　ここで、Balancer１０ａは、振り分け可能な数が第２制御部６ａ，６ｂ，６ｃの数よりも多いBalancer機能部１２（図１）を備えているものとする。つまり、Balancer１０ａは、第２制御部６ａ，６ｂ，６ｃと１対１接続する第１出力部（振り分け経路）と、第２制御部６ａ，６ｂ，６ｃに接続されない第２出力部（振り分け経路）とを有している。さらに、制御装置１００ｂは、第２制御部６ａ，６ｂ，６ｃを管理する管理部３０ａと、Balancer１０ａを管理する管理部３０ｂと、管理部３０ａと管理部３０ｂとを通信可能に接続する通知用ＩＦとを備えて構成される。
　管理部３０ａ，３０ｂは、Balancer１０ａの機能を指定する。具体的には、管理部３０ａ，３０ｂは、振分部としてのBalancer機能部１２（図１）の第２出力部を指定する機能を有する。ここでは、管理部３０ａ，３０ｂは、第２制御部６ａ，６ｂ，６ｃの数が３つであるので、Balancer機能部１２は、第２制御部６ａ，６ｂ，６ｃに接続されている３つの第１出力部を使用する。つまり、管理部３０ａ，３０ｂは、Balancer１０ａの回路を変更することなく、インタフェース（出力部）の数を変更する。また、Balancer機能部１２は、Balancer機能部Ａ１２ａ、Balancer機能部Ｂ１２ｂ、Balancer機能部Ｃ１２ｃ、Balancer機能部Ｄ１２ｄ等の異なる機能のBalancerを有し、管理部３０ａ，３０ｂが各機能部を切り替えるように構成しても構わない。
　制御装置１００ｂによれば、Balancer１０ａは、最大限の振り分け可能数のBalancer機能部１２を、ＦＰＧＡで構成することができる。そして、第２制御部６ａ，６ｂ，６ｃに接続されている第１出力部を使用し、第２制御部６ａ，６ｂ，６ｃに接続されていない第２出力部が未使用になる。
（第３実施形態）
　前記第２実施形態では、管理部３０ａ，３０ｂがBalancer機能部１０ａの振り分けインタフェースの一部を未使用にしたが、Balancer１０ａに接続される第２制御部６ａ，６ｂ，６ｃの何れかまでパケットが送信されないように構成することができる。
　図３は、本発明の第３実施形態である制御装置の構成図である。
　制御装置１００ｃは、前記第２実施形態と同様に、複数の第１制御部３ａ，３ｂ，３ｃと、該第１制御部と同数の第２制御部６ａ，６ｂ，６ｃと、Balancer機能部１２（図１）を有するBalancer１０ａと、機能部としてのバッファ５ｅと、通信部としてのＮＩＣ２０とを備える。ここで、Balancer機能部１２の振り分け可能な数は、ＦＰＧＡの能力の最大数に設定されているものとする。第２制御部６ｃは、Dispatcher４ｃと、第２バッファ５ｃとの機能を実現する。なお、バッファ５ｅは、新たな制御部が実現しても、第１制御部３ａ，３ｂ，３ｃ及び第２制御部６ａ，６ｂ，６ｃ何れが実現しても構わない。
　Balancer１０ａは、４つの出力部を有し、第２制御部６ａの第２バッファ５ａと、第２制御部６ｂの第２バッファ５ｂと、第２制御部６ｃの第２バッファ５ｃと、バッファ５ｅと接続されている。また、バッファ５ｅは、ダミー「full」が格納されており、Balancer１０ａからパケット（情報）が伝送されないように構成されている。
　この構成により、Balancer１０ａは、第２制御部６ａの第２バッファ５ａと、第２制御部６ｂの第２バッファ５ｂと、第２制御部６ｃの第２バッファ５ｃとに対して、パケットを３つに振り分ける。Balancer１０ａは、その回路を変更することなく、インタフェースの数が減少する。
（第４実施形態）
　前記第３実施形態の制御装置１００ｃは、第２バッファ５ｃ及びバッファ５ｅの一方の第２バッファ５ｃを使用したが、第２バッファ５ｃ及びバッファ５ｅを使用することもできる。
　図４は、本発明の第４実施形態である制御装置の構成図である。
　制御装置１００ｄは、前記第３実施形態と同様に、複数の第１制御部３ａ，３ｂ，３ｃと、該第１制御部と同数の第２制御部６ａ，６ｂ，６ｃと、Balancer機能部１２（図１）を有するBalancer１０ａと、通信部としてのＮＩＣ２０とを備える。ここで、Balancer機能部１２の振り分け可能な数は、ＦＰＧＡの能力の最大数に設定されている。第２制御部６ｃは、Dispatcher４ｃと、複数の第２バッファ５ｃ，５ｄとの機能を実現する。
　Balancer１０ａは、４つの出力部を有し、第２制御部６ａの第２バッファ５ａと、第２制御部６ｂの第２バッファ５ｂと、第２制御部６ｃの２つの第２バッファ５ｃ，５ｄと接続されている。Dispatcher４ｃは、２つの第２バッファ５ｃ，５ｄから受け取るパケット（信号）をマージ（併合）し、マージされた信号を第１制御部３ｃの第１バッファ２ｅ，２ｆ，２ｇ，２ｈに振り分ける。
　このため、Balancer１０ａのBalancer機能部１２（図１）は、Balancer機能部１０ａの振り分けインタフェースの一部を未使用にすることなく、パケットを振り分けることができる。
（第５実施形態）
　前記第２実施形態の制御装置１００ｂは、Balancer１０ａの回路を変更することなく、インタフェースの数を減少させた。また、前記第３実施形態の制御装置１００ｃは、第２バッファ５ｅにダミー「full」を格納し、情報（パケット）伝送不可になるように構成していた。制御装置１００ｃの場合において、パケットは、第２バッファ５ａ，５ｂ，５ｃに送信される。
　図５は、本発明の第５実施形態である制御装置の構成図である。
　制御装置１００ｅは、前記第３実施形態と同様に、複数の第１制御部３ａ，３ｂ，３ｃと、該第１制御部と同数の第２制御部６ａ，６ｂ，６ｃと、Balancer機能部１２（図１）を有するBalancer１０ａと、機能部としてのバッファ５ｅと、通信部としてのＮＩＣ２０とを備える。Balancer機能部１２の振り分け可能な数は、ＦＰＧＡの能力の最大数に設定されている。第２制御部６ｃは、Dispatcher４ｃと、第２バッファ５ｃとの機能を実現する。
　Balancer１０ａは、４つの出力部を有し、第２制御部６ａの第２バッファ５ａと、第２制御部６ｂの第２バッファ５ｂと、第２制御部６ｃの第２バッファ５ｃと、バッファ５ｅと接続されている。但し、バッファ５ｅは、前記第３実施形態のように、ダミー「full」が格納されており、Balancer１０ａから情報（パケット）が伝送されないように構成されている。
　Balancer１０ａは、複数の第３バッファ１５ａ，１５ｂ，１５ｃ，１５ｄと、複数の第４バッファ１５ｅ，１５ｆ，１５ｇ，１５ｈと、振分機能部１６とを備えて構成される。ここで、複数の第３バッファ１５ａ，１５ｂ，１５ｃ，１５ｄ、及び複数の第４バッファ１５ｅ，１５ｆ，１５ｇ，１５ｈは、前記第１実施形態のＣＰＵ_ＩＦ機能１１（図１）に相当する。第４バッファ１５ｈは、ダミー「full」が格納されているバッファ５ｅに接続されているので、パケットを第２制御部６ｃに送信することができない。
　振分機能部１６は、ＮＩＣ２０から受信したパケットを複数の第３バッファ１５ａ，１５ｂ，１５ｃ，１５ｄに振り分ける。つまり、振分機能部１６は、前記第１実施形態のBalancer機能部１２（図１）に相当する。第３バッファ１５ａ，１５ｂ，１５ｃ，１５ｄに振り分けられたパケットは、原則的に、第４バッファ１５ｅ，１５ｆ，１５ｇ，１５ｈに送信される。しかしながら、第３バッファ１５ｈは使用不可なので、第３バッファ１５ａ，１５ｂ，１５ｃ，１５ｄに振り分けられたパケットは、ラウンドロビン等の振り分けロジックに基づいて、第４バッファ１５ｅ，１５ｆ，１５ｇに振り分けられる。
　例えば、第３バッファ１５ａ，１５ｂ，１５ｃに振り分けられたパケットは、原則通り、第４バッファ１５ｅ，１５ｆ，１５ｇに送信される。さらに、また、第３バッファ１５ｄに振り分けられたパケットは、第４バッファ１５ｈに振り分けられるべきであるが、他の第４バッファ１５ｅ，１５ｆ，１５ｇにラウンドロビンで振り分けられる。そして、第４バッファ１５ｅ，１５ｆ，１５ｇに振り分けられたパケットは、第２バッファ５ａ，５ｂ，５ｃに送信される。
　つまり、Balancer１０ａは、振分機能部１６の機能数と、出力数（第４バッファ１５ｅ，１５ｆ，１５ｇ，１５ｈの数）との不一致を回避する。
　また、前記第２実施形態では、管理部３０ａ，３０ｂ（図２）が未使用な振り分けインタフェースを指定していた。具体的に、管理部３０ａ，３０ｂは、バッファ１５ｈを未使用に指定する。これにより、第３バッファ１５ｄに振り分けられたパケットは、第４バッファ１５ｅ，１５ｆ，１５ｇにラウンドロビンで振り分けられる。
（比較例）
　図６は、本発明の比較例である制御装置の構成図である。
　以下、制御装置１００ｆを用いて、前記実施形態の制御装置１００ａ～１００ｅと比較する。制御装置１００ｆは、複数の第１制御部３ａ，３ｂ，３ｄ，３ｅと、該第１制御部と同数の第２制御部６ａ，６ｂ，６ｄ，６ｅと、振分回路としてのBalancer１０ｂと、通信部としてのＮＩＣ２０とを備えて構成される。
　第１制御部３ａは、物理ＣＰＵとしてのＣＰＵコアであり、複数の仮想制御部１ａ，１ｂと、複数の第１バッファ２ａ，２ｂとの機能を実現する。仮想制御部１ａ，１ｂは、ハイパバイザ上で動作する仮想的なコンピュータである。第１バッファ２ａ，２ｂは、第２制御部６ａから振り分けられた信号（パケット）を先入れ先出しで仮想マシン１ａ，１ｂに出力する。
　第２制御部６ａは、物理ＣＰＵとしてのＣＰＵコアであり、プログラムを実行することにより、Dispatcher４ａと、第２バッファ５ａとの機能を実現する。同様に、第１制御部３ｂは、複数の仮想制御部１ｃ，１ｄと、複数の第１バッファ２ｃ，２ｄとの機能を実現する。第２制御部６ｂは、Dispatcher４ｂと、第２バッファ５ｂとの機能を実現する。また、第１制御部３ｄは、複数の仮想制御部１ｅ，１ｆと、複数の第１バッファ２ｅ，２ｆとの機能を実現する。第２制御部６ｄは、Dispatcher４ｄと、第２バッファ５ｄとの機能を実現する。また、第１制御部３ｅは、複数の仮想制御部１ｇ，１ｈと、複数の第１バッファ２ｇ，２ｈとの機能を実現する。第２制御部６ｅは、Dispatcher４ｅと、第２バッファ５ｅとの機能を実現する。ＮＩＣ２０は、Network Interface Cardであり、ネットワークに接続される通信部である。
　Balancer１０ｂは、ＰＬＤでなく、専用ハードウェアで実現されており、単一の振分機能のみを実現する。Balancer１０ｂは、ＮＩＣ２０が受信したパケットを固定された単一ロジックで第２制御部６ａ，６ｂ，６ｄ，６ｅに振り分ける。
　Balancer１０ｂは、専用ハードウェアで実現されているので、高速である一方、振り分けロジックや振り分け先の数が固定されている。しかしながら、前記第１実施形態の制御装置１００ａのBalancer１０ａはＰＬＤ、例えばＦＰＧＡで構成されている。このため、Balancer機能部１２は、Gate Arrayを再構成することにより、Balancer機能部Ａ１２ａ、Balancer機能部Ｂ１２ｂ、Balancer機能部Ｃ１２ｃ、Balancer機能部Ｄ１２ｄ等の何れかに機能変更することができる。また、Balancer機能部１２は、Balancer機能部Ａ１２ａ、Balancer機能部Ｂ１２ｂ、Balancer機能部Ｃ１２ｃ、Balancer機能部Ｄ１２ｄ等を有し、オプション設定により、各機能部を切り替えることができる。
　また、前記第２，３，４実施形態の制御装置１００ｂ，１００ｃ，１００ｄは、Balancer１０ａの振り分け機能の数と、振り分け先である第２制御部６ａ，６ｂ，６ｃの数とが異なっている。
　（変形例）
　本発明は前記した実施形態に限定されるものではなく、例えば、以下のような種々の変形が可能である。
（１）前記各実施形態の第１バッファ２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆ，２ｇ，２ｈや、第２バッファ５ａ，５ｂ，５ｃ，５ｄ，５ｅは、先入れ先だしを行う機能を有していたが、所定のアドレスにデータを書き込み、それを取り出すものであっても構わない。
（２）前記各実施形態のDispatcher４ａ，４ｂ，４ｃ，４ｄは、それぞれに接続している第１制御部３ａ，３ｂ，３ｃ，３ｄの複数の仮想制御部（例えば、第１制御部３ａの仮想制御部１ａ，１ｂ）に振り分けていた。Dispatcher４ａは、全ての仮想制御部１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ，１ｇ，１ｈの何れかに振り分け、他のDispatcher４ｂ，４ｃ，４ｄも全ての仮想制御部１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ，１ｇ，１ｈの何れかに振り分けるように構成しても構わない。
（３）前記各実施形態のDispatcher４ａ，４ｂ，４ｃ，４ｄは、それぞれに接続している第１制御部３ａ，３ｂ，３ｃ，３ｄの複数の仮想制御部（例えば、第１制御部３ａの仮想制御部１ａ，１ｂ）に振り分けていた。各々のDispatcher４ａ，４ｂ，４ｃ，４ｄは、それぞれに接続している第１制御部３ａ，３ｂ，３ｃ，３ｄの複数の仮想制御部だけでなく、他のDispatcher（例えば、Dispatcher４ａがDispatcher４ｂ，４ｃ，４ｄ）に振り分けることもある。
　　１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ，１ｇ，１ｈ　仮想制御部
　　２，２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆ，２ｇ，２ｈ　第１バッファ（キュー）
　　３，３ａ，３ｂ，３ｃ　第１制御部
　　４，４ａ，４ｂ，４ｃ，４ｄ　Dispatcher
　　５，５ａ，５ｂ，５ｃ，５ｄ　第２バッファ（キュー）
　　５ｅ　バッファ（full）
　　６，６ａ，６ｂ，６ｃ，６ｄ　第２制御部
　　７ａ，７ｂ，７ｃ，　第３制御部
　　１０ａ　Balancer（振分回路、ＰＬＤ，ＦＰＧＡ）
　　１０ｂ　Balancer（専用ハードウェア）
　　１１　CPU_IF機能部（第１出力部，第２出力部）
　　１２　Balancer機能部
　　１２ａ，１２ｂ，１２ｃ，１２ｄ　Balancer機能部（振分部）
　　１３　NIC_IF機能部
　　１４ａ，１４ｂ　汎用ＩＦ（キュー）
　　１５ａ，１５ｂ，１５ｃ，１５ｄ　第３バッファ
　　１５ｅ，１５ｆ，１５ｇ，１５ｈ　第４バッファ
　　１６　振分機能部
　　２０　ＮＩＣ（通信部）
　　３０ａ，３０ｂ　管理部
　１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅ，１００ｆ，１００ｇ　制御装置

Claims (8)

  1. 　ネットワークからパケットを受信する通信部と、
    　複数の仮想制御部として機能する複数の第１制御部と、
    　受信した前記パケットを複数に振り分ける振分回路と、
    　前記振分回路が振り分けたパケットを前記複数の仮想制御部に振り分ける複数の第２制御部とを備え、
    　前記振分回路は、ＰＬＤで構成されている
    ことを特徴とする制御装置。
  2. 　請求項１に記載の制御装置であって、
    　前記振分回路は、切替え可能な複数種類の振分部を備え、
    　前記複数種類の振分部は、設定又は管理部の制御により、切り替えられる
    ことを特徴とする制御装置。
  3. 　請求項１に記載の制御装置であって、
    　前記振分回路は、前記第２制御部と１対１接続されている複数の第１出力部と、前記第２制御部と接続されていない第２出力部とを有し、
    　前記第１出力部と前記第２出力部との何れを振り分け経路とするかを管理する管理部をさらに備える
    ことを特徴とする制御装置。
  4. 　請求項１に記載の制御装置であって、
    　前記振分回路は、前記第２制御部と１対１接続されている複数の第１出力部と、前記第２制御部と接続されていない第２出力部とを有し、
    　前記第２出力部の出力信号経路が遮断される
    ことを特徴とする制御装置。
  5. 　請求項３又は請求項４に記載の制御装置であって、
    　前記振分回路は、前記第２出力部に送信されるべきパケットを、ラウンドロビンを用いて第１出力部に振り分け直す
    ことを特徴とする制御装置。
  6. 　請求項１に記載の制御装置であって、
    　前記振分回路は、何れか複数の前記第２制御部と１対１接続されている複数の第１出力部と、他の前記第２制御部と接続されている複数の第２出力部とを有し、
    　他の何れかの前記第２制御部は、複数の前記第２出力部からの信号をマージする
    ことを特徴とする制御装置。
  7. 　請求項１に記載の制御装置であって、
    　何れかの前記第２制御部は、自身に接続される前記仮想制御部にパケットを振り分けると共に、他の第２制御部に接続されている他の前記仮想制御部にパケットを振り分ける
    ことを特徴とする制御装置。
  8. 　ネットワークからパケットを受信する通信部と、
    　受信した前記パケットを複数に振り分け、ＰＬＤで構成された振分回路と、
    　前記振分回路が振り分けたパケットを処理する複数の制御部を備える制御装置が実行される制御方法であって、
    　前記ＰＬＤが異なる種類の振分部に再構成させられるステップを有することを特徴とする制御方法。
PCT/JP2019/006614 2018-03-02 2019-02-21 制御装置、及び制御方法 Ceased WO2019167802A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/977,139 US11509573B2 (en) 2018-03-02 2019-02-21 Control device and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018037025A JP6977621B2 (ja) 2018-03-02 2018-03-02 制御装置、及び制御方法
JP2018-037025 2018-03-02

Publications (1)

Publication Number Publication Date
WO2019167802A1 true WO2019167802A1 (ja) 2019-09-06

Family

ID=67806276

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006614 Ceased WO2019167802A1 (ja) 2018-03-02 2019-02-21 制御装置、及び制御方法

Country Status (3)

Country Link
US (1) US11509573B2 (ja)
JP (1) JP6977621B2 (ja)
WO (1) WO2019167802A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7087807B2 (ja) * 2018-08-08 2022-06-21 日本電信電話株式会社 サーバ、サーバシステム及びサーバのネットワーク帯域増加方法
US20220321403A1 (en) * 2021-04-02 2022-10-06 Nokia Solutions And Networks Oy Programmable network segmentation for multi-tenant fpgas in cloud infrastructures
WO2023243098A1 (ja) 2022-06-17 2023-12-21 日本電信電話株式会社 アクセラレータオフロード装置、アクセラレータオフロード方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160041A (ja) * 2010-01-29 2011-08-18 Nec Corp フロントエンドシステム、フロントエンド処理方法
JP2013105308A (ja) * 2011-11-14 2013-05-30 Nippon Telegr & Teleph Corp <Ntt> 負荷分散システム、負荷分散装置、負荷分散方法および負荷分散プログラム
JP2014032530A (ja) * 2012-08-03 2014-02-20 Nippon Telegr & Teleph Corp <Ntt> 分散処理システムおよび分散処理方法
JP2014106728A (ja) * 2012-11-27 2014-06-09 Canon Marketing Japan Inc マルチテナント型サービスシステム、情報処理装置、制御方法、及びプログラム
JP2017139597A (ja) * 2016-02-03 2017-08-10 日本電信電話株式会社 ネットワーク負荷分散装置および方法
JP2017220846A (ja) * 2016-06-09 2017-12-14 日本電信電話株式会社 保守減設システム、ノードおよび保守減設方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333570B2 (en) * 2000-03-14 2008-02-19 Altera Corporation Clock data recovery circuitry associated with programmable logic device circuitry
KR100567326B1 (ko) * 2003-12-24 2006-04-04 한국전자통신연구원 Ｓｏｎｅｔ／ｓｄｈ, ｐｄｈ, 그리고 이더넷 신호의 통합스위칭/전달 장치 및 그 방법
US7783839B2 (en) * 2007-01-08 2010-08-24 International Business Machines Corporation Using different algorithms to destage different types of data from cache
KR101399553B1 (ko) * 2007-03-09 2014-05-27 삼성전자주식회사 멀티미디어 스트림 전송 장치 및 방법
US9600332B2 (en) * 2009-04-28 2017-03-21 Cisco Technology, Inc. Server load balancing based on virtual utilization, physical utilization, and feedback
US8949431B2 (en) * 2011-08-24 2015-02-03 Radware, Ltd. Method for live migration of virtual machines
US9443269B2 (en) * 2012-02-16 2016-09-13 Novasparks, Inc. FPGA matrix architecture
US9430239B2 (en) * 2013-03-12 2016-08-30 Qualcomm Incorporated Configurable multicore network processor
US9130872B2 (en) * 2013-03-15 2015-09-08 Cisco Technology, Inc. Workload based service chain insertion in a network environment
US20150074222A1 (en) * 2013-09-12 2015-03-12 Guanfeng Liang Method and apparatus for load balancing and dynamic scaling for low delay two-tier distributed cache storage system
EP3076555A4 (en) * 2013-12-31 2017-01-04 Huawei Technologies Co., Ltd. Crc calculation method and apparatus
US11093468B1 (en) * 2014-03-31 2021-08-17 EMC IP Holding Company LLC Advanced metadata management
US9344373B2 (en) * 2014-06-13 2016-05-17 International Business Machines Corporation Packet I/O support for a logical switch router architecture
CA3021772C (en) * 2016-06-23 2021-10-12 Landmark Graphics Corporation Parallel, distributed processing in a heterogeneous, distributed environment
US11522763B2 (en) * 2017-11-29 2022-12-06 Nicira, Inc. Agent-based network scanning in software-defined networking (SDN) environments
US11036596B1 (en) * 2018-02-18 2021-06-15 Pure Storage, Inc. System for delaying acknowledgements on open NAND locations until durability has been confirmed

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160041A (ja) * 2010-01-29 2011-08-18 Nec Corp フロントエンドシステム、フロントエンド処理方法
JP2013105308A (ja) * 2011-11-14 2013-05-30 Nippon Telegr & Teleph Corp <Ntt> 負荷分散システム、負荷分散装置、負荷分散方法および負荷分散プログラム
JP2014032530A (ja) * 2012-08-03 2014-02-20 Nippon Telegr & Teleph Corp <Ntt> 分散処理システムおよび分散処理方法
JP2014106728A (ja) * 2012-11-27 2014-06-09 Canon Marketing Japan Inc マルチテナント型サービスシステム、情報処理装置、制御方法、及びプログラム
JP2017139597A (ja) * 2016-02-03 2017-08-10 日本電信電話株式会社 ネットワーク負荷分散装置および方法
JP2017220846A (ja) * 2016-06-09 2017-12-14 日本電信電話株式会社 保守減設システム、ノードおよび保守減設方法

Also Published As

Publication number Publication date
US11509573B2 (en) 2022-11-22
JP2019153019A (ja) 2019-09-12
US20210051097A1 (en) 2021-02-18
JP6977621B2 (ja) 2021-12-08

Similar Documents

Publication Publication Date Title
Lin et al. {PANIC}: A {High-Performance} programmable {NIC} for multi-tenant networks
EP3098718B1 (en) Multilayer quality of service (qos) for network functions virtualization platforms
Hassas Yeganeh et al. Kandoo: a framework for efficient and scalable offloading of control applications
US11586575B2 (en) System decoder for training accelerators
EP3340547B1 (en) Network interface card and data packet processing method
EP2559206B1 (en) Method of identifying destination in a virtual environment
US9548890B2 (en) Flexible remote direct memory access resource configuration in a network environment
István et al. Providing multi-tenant services with FPGAs: Case study on a key-value store
US12182617B2 (en) Execution job compute unit composition in computing clusters
US10909067B2 (en) Multi-node zero-copy mechanism for packet data processing
US10198538B1 (en) Relocate targets to different domains in an emulator
WO2019167802A1 (ja) 制御装置、及び制御方法
US20250068472A1 (en) Job target aliasing in disaggregated computing systems
US10423333B2 (en) System and method for scalable processing of abort commands in a host bus adapter system
Gundall et al. Application of virtualization technologies in novel industrial automation: Catalyst or show-stopper?
Chen et al. HyScaler: A dynamic, hybrid VNF scaling system for building elastic service function chains across multiple servers
JP5919937B2 (ja) 仮想化システム、管理サーバ、マイグレーション方法、マイグレーションプログラム業務間通信を考慮した仮想マシンのマイグレーション方法
US9344376B2 (en) Quality of service in multi-tenant network
Chen et al. Traffic-aware load balancing for M2M networks using SDN
EP3343843B1 (en) A control plane system and method for managing a data plane amongst a plurality of equipments
Hsieh et al. NF-switch: VNFs-enabled SDN switches for high performance service function chaining
KR20160073867A (ko) 네트워크 인터페이스 가상화 장치, 방법 및 이를 실행하기 위한 컴퓨터 프로그램
KR101833714B1 (ko) 가상 머신의 패킷을 처리하는 방법, 장치 및 컴퓨터 프로그램
JP2016058942A (ja) 通信制御装置、通信制御方法および通信制御プログラム
LEI ENHANCING THE EFFICIENCY AND SCALABILITY OF CLOUD NETWORKING SYSTEMS

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761267

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19761267

Country of ref document: EP

Kind code of ref document: A1