WO2015015652A1 - サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法 - Google Patents

サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法 Download PDF

Info

Publication number
WO2015015652A1
WO2015015652A1 PCT/JP2013/071074 JP2013071074W WO2015015652A1 WO 2015015652 A1 WO2015015652 A1 WO 2015015652A1 JP 2013071074 W JP2013071074 W JP 2013071074W WO 2015015652 A1 WO2015015652 A1 WO 2015015652A1
Authority
WO
WIPO (PCT)
Prior art keywords
server
packet
communication
bus
inter
Prior art date
Application number
PCT/JP2013/071074
Other languages
English (en)
French (fr)
Inventor
崇志 岡田
良 山縣
渡辺　憲一
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2013/071074 priority Critical patent/WO2015015652A1/ja
Publication of WO2015015652A1 publication Critical patent/WO2015015652A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/30—Peripheral units, e.g. input or output ports
    • H04L49/3009—Header conversion, routing tables or routing tags

Definitions

  • the present invention relates to a server system having an inter-server communication mechanism that enables communication between a plurality of servers, and a communication method between the plurality of servers.
  • PCI Express registered trademark, hereinafter referred to as PCI-SIG is widely used.
  • the PCIe specification defines three components: a root complex, an IO switch, and an endpoint.
  • the root complex is a component at the apex of the device tree for connecting the CPU, memory, and IO device, and is usually built in the server.
  • the endpoint is a component as a device having functions such as a graphic controller, LAN, and fiber channel.
  • the IO switch is a component for connecting the root complex, a plurality of endpoints, and another IO switch. In the device tree, the side near the root complex is called upstream, and the side near the end point is called downstream.
  • BUS # is assigned to all buses in the device tree composed of PCIe for the purpose of routing.
  • one area of an MMIO (Memory Mapped Input / Output) address space is allocated to each end point.
  • PCIe communication is performed in units of PCIe packets (hereinafter referred to as packets).
  • the IO switch performs packet routing in order to deliver the packet to the target IO device or root complex.
  • Typical routing methods defined by the PCIe specification include ID routing and address routing. ID routing is performed based on the destination BUS # included in the packet header. Address routing is performed by comparing the destination address included in the packet header with the MMIO address area assigned to each endpoint.
  • the communication path of PCIe is normally limited between a server having a root complex and an end point, and is not used for communication between servers in a general usage mode. This is because the basic PCIe specification does not allow a plurality of servers to exist in the same device tree.
  • Multi-root-I / O Virtualization has been standardized by PCI-SIG (Non-Patent Document 1), and there are a plurality of IO switches corresponding to the MR-IOV standard on the upstream side. It is possible to connect other servers.
  • an IO device compatible with the MR-IOV standard can be shared by a plurality of servers via an IO switch compatible with the MR-IOV standard.
  • a plurality of servers connected to the IO switch corresponding to the MR-IOV standard recognize different device trees. This device tree is called VirtualVHierarchy (hereinafter referred to as VH).
  • VH has the same topology as the PCIe device tree, and only one server can exist in one VH. Therefore, VH exists as many as the number of servers connected to the IO switch.
  • Each VH is distinguished by a unique VH #, and has a different bus topology for each VH, that is, an independent BUS # and address map for each VH. For this reason, ID routing and address routing cannot be applied to a route that crosses VH as it is, and communication that crosses VH is not supported even in the MR-IOV standard.
  • Patent Document 1 discloses that a communication mechanism for performing communication between servers in an environment in which a plurality of servers are connected to an IO switch is disclosed.
  • the communication mechanism accesses the communication mechanism via the IO switch
  • the communication mechanism accesses the second server via the IO switch
  • Communication is established.
  • the MR-IOV standard allows a configuration in which a plurality of servers are connected to one IO switch, but communication between servers is not defined in the standard. Further, Patent Document 1 discloses a communication mechanism that realizes communication between a plurality of servers. However, even if the technology disclosed in Patent Document 1 is applied to a system corresponding to the MR-IOV standard as it is, a bus is disclosed. Because the topology is different, communication between servers cannot be performed.
  • an object of the present invention is to enable communication between servers in a system corresponding to the MR-IOV standard.
  • a server system including an inter-server communication mechanism includes: a reception unit that receives a first packet from a communication source server; and a first packet received by the reception unit as a conversion unit.
  • the VH # and BUS # included in the header of the packet by referring to the conversion table based on the address included in the header of the packet, the address VH # to which the destination server belongs, the BUS # of the inter-server communication mechanism, and the destination server
  • a conversion unit that converts each of the first packet converted to the address of the internal memory, and a transmission unit that transmits the first packet converted by the conversion unit to the communication destination server.
  • the inter-server communication mechanism receives the second packet from the communication destination server, and the second packet received by the reception unit.
  • the BUS # of the communication source identifier and the BUS # of the communication destination identifier are converted into the BUS # of the communication source server and the BUS # of the inter-server communication mechanism, respectively, based on the VH # to which the communication source server belongs included in the header of And a transmission unit that transmits the second packet converted by the conversion unit to the communication source server.
  • the present invention is grasped as a communication method between the plurality of servers.
  • FIG. 1 is a diagram illustrating an example of the configuration of a computer system that communicates between a plurality of servers.
  • the IO switch 140 includes a plurality of ports on the upstream side and the downstream side, respectively.
  • a plurality of servers 110, 120, and 130 are connected to ports on the upstream side of the IO switch 140.
  • a plurality of IO devices 151 and 152 as endpoints and an inter-server communication mechanism 160 as endpoints are connected to the downstream side ports of the IO switch 140.
  • the inter-server communication mechanism 160 is an end point shared by the servers 110, 120, and 130.
  • the IO devices 151 and 152 may be endpoints occupied by any one of the servers 110, 120, and 130, or may be endpoints shared by a plurality of devices.
  • FIG. 1 shows an example of three servers 110, 120, and 130 connected to the IO switch 140, one server-to-server communication mechanism 160, and two IO devices 151 and 152. Good.
  • the server 110 includes a CPU (Central Processing Unit) 111, a memory 112, and a memory controller 114.
  • the memory controller 114 can interpret a memory read or write packet received from the IO switch 140 via the PCIe link and perform a read or write operation on the memory 112. Also, it operates as a root complex for the PCIe link.
  • the memory 112 stores a driver 113 that initializes and controls the inter-server communication mechanism 160.
  • the servers 120 and 130 have the same configuration, and have an area 135 in the memory 132 for explaining communication using the server 130 as a communication destination later. However, when the servers 110 and 120 are communication destinations, respectively. In the memories 112 and 122, an area corresponding to the area 132 may be secured.
  • the server 110 configures one VH of VH # 0 together with the IO device 151 and the inter-server communication mechanism 160 according to the MR-IOV standard
  • the server 130 configures VH # 2 together with the IO device 152 and the inter-server communication mechanism 160.
  • Configure VH In FIG. 1, VH of VH # 0 is shown in the range of the broken line, and VH of VH # 2 is shown in the range of the alternate long and short dash line.
  • the server 120 configures another VH of VH # 1, which is not shown here.
  • each VH independently assigns a BUS # at the time of initial setting. Therefore, regarding VH # 0 within the range of the broken line in FIG.
  • BUS # 0>, ⁇ BUS # 1>, ⁇ BUS # 2>, and ⁇ BUS # 3> are allotted, and BUS # is expressed (and) with respect to VH # 2 within the range of the one-dot chain line (BUS) # 0), (BUS # 1), (BUS # 2), and (BUS # 3) are assigned.
  • the inter-server communication mechanism 160 is shared by VH # 0 and VH # 1, but different BUS # s of ⁇ BUS # 3> and (BUS # 2) are assigned.
  • the server 110 transmits to BUS # 3 in VH # 0
  • the server 130 transmits to BUS # 3 in VH # 2, (BUS # 3)
  • the IO device 152 is reached.
  • the server 130 can reach the server communication mechanism 160 of (BUS # 2) by transmitting to BUS # 2 instead of BUS # 3 to transmit to the interserver communication mechanism 160.
  • the VH # is different, so the VH # 0 and VH # 2 are converted, and the inter-server communication mechanism between the different VH # 0 and VH # 2.
  • ⁇ BUS # 3> and (BUS # 2) are converted.
  • the address space is also assigned independently at the time of initialization in VH # 0 and VH # 2, the address is also converted.
  • FIG. 2 is a diagram illustrating an example of the internal configuration of the inter-server communication mechanism 160.
  • the inter-server communication mechanism includes an IO interface 200 and can transmit and receive PCIe packets. When receiving the packet, the IO interface 200 stores the packet in the reception packet buffer 201 and transmits the packet stored in the transmission packet buffer 202.
  • the inter-server communication mechanism 160 includes a packet type determination unit 203, a memory read / write packet conversion unit 204, and a memory return packet conversion unit 205.
  • the packet type determination unit 203 reads the packet header in the reception packet buffer 201 and determines whether it is a memory read packet, a memory write packet, or a memory return packet. When the determination result is a memory read packet or a memory write packet, the packet type determination unit 203 activates the memory read / write packet conversion unit 204 and sends the memory read / write packet conversion unit 204 and the transmission packet buffer 202 to the selection unit 207. Control to connect. When the determination result is a memory return packet, the memory return packet conversion unit 205 is activated and the selection unit 207 is controlled to connect the memory return packet conversion unit 205 and the transmission packet buffer 202. The conversion contents of the memory read / write packet conversion unit 204 and the memory return packet conversion unit 205 will be described later with reference to FIGS. 7 and 8, respectively, but both convert the packet header contents using the conversion table 206. To do.
  • the memory read packet is a packet for instructing to read data from a specific address
  • the packet for returning the read data is a memory return packet.
  • the memory write packet is a packet for writing data to a specific address
  • the write instruction and the write data are one packet, and if the data is written, the role of the packet is terminated and returned. No packet exists.
  • an address space area is assigned to each endpoint.
  • the server can access the endpoint by sending a memory write packet or a memory read packet to a specific area of the address space.
  • the communication source server implements mutual communication by using the memory read packet, the memory return packet, and the memory write packet to read and write to the memory of the communication destination server.
  • the operation sequence when the server 110 reads the memory from the server 130 so that the communication source is the server 110 and the communication destination is the server 130 and the server 110 receives a packet from the server 130 is shown in FIGS.
  • the driver 113 operating on the communication source server 110 transmits the memory read packet 301 to the inter-server communication mechanism 160 via the IO switch 140 (step 311).
  • the IO interface 200 receives the memory read packet 301 and stores it in the received packet buffer 201.
  • the packet type determination unit 203 determines the type of the memory read packet 301
  • the memory read / write packet conversion unit 204 converts the packet, and stores it in the transmission packet buffer 202 via the selection unit 207 (step). 312).
  • the IO interface 200 transmits the packet stored in the transmission packet buffer 202 as a converted memory read packet 302 to the communication destination server 130 via the IO switch 140 (step 313).
  • the driver 133 operating on the communication destination server 130 receives the converted memory read packet 302 and reads the contents of the area 135 of the memory 132 (step 314).
  • the driver 133 operating on the communication destination server 130 includes the read information in the memory return packet 303 and sends it back via the IO switch 140. (Step 315) (7)
  • the IO interface 200 receives the memory return packet 303 and stores it in the received packet buffer 201.
  • the memory return packet conversion unit 205 converts the packet, and stores the packet in the transmission packet buffer 202 via the selection unit 207 (step 316). ).
  • the IO interface 200 transmits the packet stored in the transmission packet buffer 202 as the converted memory return packet 304 to the communication source server 110 via the IO switch 140 (step 317).
  • the communication source server 110 receives the converted memory return packet 304 and successfully reads the memory 132 of the communication destination server 130.
  • the operation sequence when the communication source server 110 writes the memory to the communication destination server 130 is the memory read steps 311 to 313. It is the same operation.
  • the pre-conversion memory write packet 305 corresponds to the pre-conversion memory read packet 301
  • the post-conversion memory write packet 306 corresponds to the post-conversion memory read packet 302.
  • the read and write are different, and VH # and BUS are different. # And address conversion are the same.
  • the communication destination server 130 performs a write operation to the area 135 of the memory 132.
  • step 312 the operation of converting the memory read packet and the memory write packet in step 312, particularly the operation of converting the VH #, BUS #, and address will be described in further detail.
  • Fig. 4 shows the header format of the memory read packet and memory write packet defined in the MR-IOV standard.
  • the header of the memory read packet and the header of the memory write packet are common. Since the MR-IOV standard does not support communication across different VHs, there is one VH # in the header, which is common to the communication source and the communication destination.
  • the Requester ID (hereinafter referred to as “ReqID”) is an ID for identifying the communication source, and is composed of three types of numbers: BUS #, DEV #, and FUN #. In the PCIe bus topology, an end point is specified by a combination of these three types of numbers. Note that DEV # and FUN # are used to specify those functions when the endpoint has a plurality of functions.
  • the address is a communication destination address.
  • the communication destination is the IO devices 151 and 152 or the inter-server communication mechanism 160
  • the address is an MMIO address.
  • the communication source indicated by ReqID reads and writes to the address of the communication destination in accordance with the contents of the header packet shown in FIG.
  • VH # conversion will be described.
  • the inter-server communication mechanism 160 that has received the memory read packet 301 or the memory write packet 305 before conversion is used. Then, the VH # included in these received packets is converted into the VH # of the communication destination server 130 (hereinafter referred to as the communication destination VH #).
  • FIG. 6 shows an example of VH # mapping corresponding to addresses.
  • 0x1000 to 0x4000 (0x represents a hexadecimal number) is allocated as a memory area of the inter-server communication mechanism 160, and 0x1000 to 0x1FFF is for VH # 2, 0x2000 to 0x2FFF is for VH # 1.
  • 0x3000 to 0x3FFF are allocated for VH # 0, but since this is VH # 0 itself, this area may not be allocated.
  • VH # 0 since the area for VH # 0 is allocated in the server 120 and the server 130, it is possible to make the same area configuration in all the VHs by allocating all the VH # 0-2.
  • an address such as 0x1000 is assigned for each VH at the time of initial setting in accordance with the MR-IOV standard including PCIe, the address is not necessarily 0x1000, and is not necessarily the same address between different servers.
  • 0x1000 to 0x1FFF are assigned for VH # 2 for example, when the communication source server 110 accesses memory read from 0x1789 or memory write to 0x1789 in VH # 0, access to VH # 2 It becomes.
  • FIG. 7 is a diagram illustrating an example of a circuit of the memory read / write packet conversion unit 204.
  • the contents of the conversion table 206 shown in FIG. 7 are each value in the VH # 2 to which the communication destination server 130 belongs, and the address of the memory read packet 301 or write packet 305 before conversion stored in the reception packet buffer 201.
  • the conversion circuit 701 reads the upper digit value 1, converts the address item of the conversion table 206 into the VH # item value 2 corresponding to the value 1, and sets it to the VH # of the transmission packet buffer 202.
  • N is the upper digit of the address assigned to the area 135 at the time of initial setting of VH # 2.
  • 0x1000 to 0x1FFF of VH # 0 can be mapped to 0xN000 to 0xNFFF of VH # 2. Since this N is initialized for each different VH, it can be a different value.
  • the inter-server communication mechanism 160 since the inter-server communication mechanism 160 includes the conversion table 206 that defines the correspondence between VH # and N, N can be determined using the conversion table 206, and the address of the packet can be converted.
  • the conversion circuit 701 is an item in the area where the address item of the conversion table 206 corresponds to the value 1.
  • the copy circuit 702 reads the value 789 which is the lower digit of the address from the reception packet buffer 201 and copies it to the lower digit of the address of the transmission packet buffer 202. This converts the address from 0x1789 to 0xN789.
  • the lower digits of the addresses may be converted by providing an address conversion table or the like that associates the pre-conversion address and the post-conversion address one-to-one.
  • the communication source BUS # included in the ReqID is used as a return destination of the corresponding memory return packet. Therefore, in order for the inter-server communication mechanism 160 to receive the memory return packet 303, the BUS # of the communication source server 110 included in the ReqID of the memory read packet 301 before conversion is converted into the BUS # of the inter-server communication mechanism 160. To do. However, DEV # and FUN # do not need to be converted because they are not involved in routing.
  • the BUS # of the inter-server communication mechanism 160 is different for each different VH.
  • the inter-server communication mechanism 160 includes a conversion table 206 that defines the correspondence between VH # and BUS #. After determining the BUS # using the conversion table 206, the BUS # of the packet is converted. To do.
  • the conversion circuit 701 performs inter-server communication in which the address item of the conversion table 206 corresponds to the value 1.
  • the value is converted to the value 2 of the item of the mechanism BUS # and set to the BUS # of the ReqID of the transmission packet buffer 202.
  • the copy circuit 703 reads the value 0 of VH # stored in the reception packet buffer 201 for use in the conversion of the memory return packet 303 to be performed later. Then, copy, that is, save to the DEV # and FUN # of ReqID of the transmission packet buffer 202 is performed.
  • DEV # and FUN # are not used for routing, and the PCIe specification guarantees that the ReqID of the memory read packet 302 and the ReqID of the corresponding memory return packet 303 are the same. This can be used when the memory return packet 303 is converted.
  • each value in the packet that is shown in FIG. 4 but not shown in FIG. 7 is copied from the packet in the reception packet buffer 201 to the packet in the transmission packet buffer 202 as it is.
  • FIG. 5 is a diagram showing a header format of a memory return packet defined in the PCIe specification.
  • the ReqID in the header is a communication source and an ID indicating a return destination, and a Completer ID (hereinafter referred to as CompID) is a communication destination and an ID indicating a return source.
  • CompID Completer ID
  • FIG. 8 is a diagram illustrating an example of a circuit of the memory return packet conversion unit 205. The contents of the conversion table 206 shown in FIG. 8 are each value in VH # 0 to which the communication source server 110 belongs.
  • VH # has the value 2
  • VH # is transmitted to the communication source server 110 of VH # 0. Convert to value 0.
  • the VH # copied to the DEV # and FUN # of the ReqID of the post-conversion memory read packet 302 described with reference to FIG. 7 is used. Since the DEV # and FUN # of the post-change memory read packet 302 and the DEV # and FUN # of the ReqID of the pre-conversion memory return packet 303 are the same value and the VH # of the communication source, the copy circuit shown in FIG. 801 reads the value 0 of the communication source VH # from the reception packet buffer 201 and copies it to the VH # of the transmission packet buffer 202.
  • the conversion circuit 802 reads the value 0 of the communication source VH # and sets the value 0 of the communication source server BUS # corresponding to the value 0 of the VH # item of the conversion table 206 to the BUS # of ReqID of the transmission packet buffer 304. Set to.
  • the conversion circuit 802 sets the inter-server communication mechanism BUS # value 3 of the conversion table 206 to the CompID BUS # of the transmission packet buffer 304 based on the read VH # value 0 of the communication source.
  • the values shown in FIG. 8 other than the DEV # and FUN # of ReqID of the pre-conversion memory return packet 303 are not used.
  • the ReqID and CompID DEV # and FUN # of the post-conversion memory return packet 304 are not used for routing and are set to predetermined fixed values.
  • This fixed value is a value that can be received by the driver 113 of the communication source server 110.
  • the value K of the area of the conversion table 206 is the address of the area in the memory 112 of the server 110 used when the server 110 belonging to VH # 0 becomes the communication destination, and is not used here.
  • Each value in the packet that is shown in FIG. 5 but not shown in FIG. 8 is copied as it is from the packet in the reception packet buffer 201 to the packet in the transmission packet buffer 202.
  • the conversion table 206 is used as described with reference to FIGS. 7 and 8 show only the values to be used, but the values shown in FIG. 7 and the values shown in FIG. 8 are actually included as each row of one table, and the address of VH # 1 in FIG. Table rows such as value 2 are included, and if there are 4 or more VHs, as many table rows as VHs are included. Since each value of the conversion table 206 is determined at the time of initial setting defined in the MR-IOV standard including PCIe, the driver of the server belonging to each VH, for example, the driver 113 of the server 110 belonging to VH # 0 is shown in FIG.
  • a value related to VH # 0 of the conversion table 206 is set, and the driver 133 of the server 130 belonging to VH # 2 sets a value related to VH # 2 of the conversion table 206 shown in FIG. Similarly, a value related to VH # 1 of the conversion table 206 is set in the driver 123 of the server 120 belonging to the server 120. Note that a value related to VH # 0 of the conversion table 206 may be set via the driver 113 by the operation of the operator.
  • the inter-server communication mechanism 160 converts VH #, BUS #, and address in the MR-IOV configuration as described above, the memories 112 and 132 can be read from and written to each other between the servers 110 and 130. , 130 can be communicated with each other. Note that communication is possible not only between the servers 110 and 130 but also when more servers including the server 120 are provided. Further, it is possible to mount the inter-server communication mechanism 160 in the IO switch 140. In this case, the port connecting the inter-server communication mechanism 160 of the IO switch 140 can be used to connect another IO device. (Second Embodiment) In the above description, the inter-server communication mechanism 160 is implemented as a dedicated circuit as hardware as shown in FIGS. 2, 7, and 8, but can also be implemented as general computer software. When implemented by a computer, the computer can be used as a function other than the inter-server communication mechanism 160.
  • the computer has an interface corresponding to the PCIe specification corresponding to the IO interface 200 shown in FIG. 2, stores the conversion table 206 in a memory, and operates according to the flow described with reference to FIGS.
  • the memory read packet 302 After receiving any one of the memory read packet 301, the memory write packet 305, and the memory return packet 303, the memory read packet 302, the memory write packet 306, and the memory return packet 304 after the conversion are transmitted. It is a figure which shows the example of the flow which showed the operation
  • First it waits until a packet is received from any of the servers 110, 120, and 130, and receives the packet (step 901).
  • the received packet is stored in the received packet buffer 201 (step 902).
  • an empty packet area whose contents are not set is secured in the transmission packet buffer 202 (step 903).
  • the header of the packet stored in the reception packet buffer 201 is read out, and the type of the packet, which is a memory read packet, a memory write packet, or a memory return packet, is determined.
  • step 905 If the determined type is either a memory read packet or a memory write packet, the process proceeds to step 905, and processing corresponding to the packet conversion 312 in FIG. 3 is performed. This process will be described later with reference to FIG. If the determined type is a memory return packet, the process proceeds to step 906, and processing corresponding to the packet conversion 316 in FIG. 3 is performed. This process will be described later with reference to FIG.
  • steps 905 and 906 Since the processing in steps 905 and 906 is performed by copying or setting a value to an empty packet in the transmission packet buffer 202, the converted packet is transmitted from the transmission packet buffer 202 in step 907.
  • FIG. 10 is a diagram illustrating an example of a flow of conversion processing between a memory read packet and a memory write packet.
  • the conversion of the value in the packet is the same as the conversion described with reference to FIG.
  • the communication source VH # is saved by copying the VH # of the packet in the reception packet buffer 201 to the DEV # and FUN # of the ReqID of the packet in the transmission packet buffer (step 1001).
  • the lower digit value of the address is copied (step 1002).
  • the value of the lower digit of the address may be converted by the address conversion table.
  • the value of the upper digit of the address is acquired (step 1003).
  • the value of the upper digit of this address is a key for obtaining a value from the conversion table 206.
  • VH #, server-to-server communication mechanism BUS #, and area address are acquired from conversion table 206, and set to the empty packet VH #, ReqID BUS #, and upper digit of the address in transmission packet buffer 202 ( Steps 1004 to 1006).
  • each value of the packet in the reception packet buffer 201 other than these is copied to an empty packet in the transmission packet buffer 202.
  • the process returns to step 907 shown in FIG.
  • FIG. 11 is a diagram showing an example of a flow of memory return packet conversion processing.
  • the conversion of the value in the packet is the same as the conversion described with reference to FIG.
  • the communication source VH # saved in step 1001 is acquired from the DEV # and FUN # of ReqID of the packet in the reception packet buffer 201 (step 1101).
  • the acquired communication source VH # is copied (step 1102).
  • This VH # is a key for obtaining a value from the conversion table 206.
  • the source server BUS # and the inter-server communication mechanism BUS # are acquired from the conversion table 206, and set to the ReqID BUS # and CompID BUS # of the empty packet in the transmission packet buffer 202, respectively (step 1103, 1104).
  • step 1105 fixed values are set for ReqID DEV # and FUN # and CompID DEV # and FUN # (step 1105), and other values of the packets in the receive packet buffer 201 are empty in the transmit packet buffer 202. Copy to packet.
  • step 1106 the process returns to step 907 shown in FIG.
  • the computer functioning as the server-to-server communication mechanism 160 corresponding to the MR-IOV standard converts the VH #, BUS #, and address, it becomes possible to read and write memory between a plurality of servers. Communication between servers becomes possible.
  • the inter-server communication mechanism 160 can be realized at low cost, and the computer can be used in addition to the inter-server communication mechanism 160.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

　スイッチの上流に接続される複数のサーバと、前記スイッチの下流に接続される複数のＩＯデバイスと、サーバ間通信機構とを備えるサーバシステムにおいて、前記サーバ間通信機構は、通信元サーバから第１のパケットを受信する受信部と、変換部として、前記受信部の受信した第１のパケットのヘッダに含まれるアドレスに基づき変換テーブルを参照して前記パケットのヘッダに含まれるＶＨ＃、ＢＵＳ＃、アドレスを通信先サーバの属するＶＨ＃、前記サーバ間通信機構のＢＵＳ＃、前記通信先サーバ内のメモリのアドレスへそれぞれ変換する変換部と、前記変換部により変換された第１のパケットを前記通信先サーバへ送信する送信部と、を備える。

Description

サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法
　本発明は複数サーバ間で通信を可能にするサーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法に関するものである。
高速シリアルインタフェースとして、ＰＣＩ-ＳＩＧによって標準化されたＰＣＩＥｘｐｒｅｓｓ（登録商標　以下、ＰＣＩｅとする）が広く用いられている。ＰＣＩｅの仕様ではルートコンプレックス、ＩＯスイッチ、エンドポイントの３つの構成要素が定義されている。ルートコンプレックスはＣＰＵやメモリとＩＯデバイスを接続するためのデバイスツリーの頂点にある構成要素であり、通常はサーバに内蔵される。エンドポイントはグラフィックのコントローラやＬＡＮ、ファイバーチャネルといった機能を持ったデバイスとしての構成要素である。そしてＩＯスイッチはルートコンプレックスと複数のエンドポイント、別のＩＯスイッチを接続するための構成要素である。また、デバイスツリーにおいて、ルートコンプレックスに近い側をアップストリーム、エンドポイントに近い側をダウンストリームと呼ぶ。
　ＰＣＩｅで構成されるデバイスツリー内の全てのバスには、ルーティングを行うことを目的として、ＢＵＳ＃が付与される。また、各エンドポイントには、ＭＭＩＯ（Ｍｅｍｏｒｙ　Ｍａｐｐｅｄ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）アドレス空間の１つの領域が割り当てられる。
　ＰＣＩｅにおいてはＰＣＩｅパケット（以下、パケット）を単位として通信を行う。ＩＯスイッチは、パケットを目的のＩＯデバイスあるいはルートコンプレックスに届けるため、パケットルーティングを行う。ＰＣＩｅの仕様が定める代表的なルーティング方法には、ＩＤルーティングとアドレスルーティングがある。ＩＤルーティングは、パケットヘッダに含まれる宛先のＢＵＳ＃に基づいて行われる。アドレスルーティングは、パケットヘッダに含まれる宛先のアドレスと各エンドポイントに割り当てられるＭＭＩＯアドレス領域などを比較することによって行われる。
　一方、ＰＣＩｅの通信経路は通常、ルートコンプレックスを持つサーバとエンドポイントの間に限られており、一般的な利用形態においては、サーバ間の通信に用いることはない。なぜならば、基本的なＰＣＩｅの仕様では、同一のデバイスツリー内に複数のサーバが存在することを許していないためである。
　これに対して、Ｍｕｌｔｉ－ｒｏｏｔ Ｉ／Ｏ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ（ＭＲ－ＩＯＶ）がＰＣＩ－ＳＩＧによって規格化されており（非特許文献１）、ＭＲ－ＩＯＶ規格に対応したＩＯスイッチは、アップストリーム側に複数のサーバを接続することが可能である。また、ＭＲ－ＩＯＶ規格に対応したＩＯデバイスは、ＭＲ－ＩＯＶ規格に対応したＩＯスイッチを介して、複数のサーバにより共有されることが可能である。ＭＲ－ＩＯＶ規格に対応したＩＯスイッチに接続された複数のサーバは、それぞれ異なるデバイスツリーを認識する。このデバイスツリーのことをＶｉｒｔｕａｌ Ｈｉｅｒａｒｃｈｙ（以下、ＶＨとする)と呼ぶ。
　ＶＨは、ＰＣＩｅのデバイスツリーと同様のトポロジーを持ち、一つのＶＨ内には、一台のサーバしか存在できない。従ってＶＨはＩＯスイッチに接続されるサーバの数だけ存在することとなる。各ＶＨは固有のＶＨ＃によって区別され、ＶＨ毎に異なるバストポロジーすなわちＶＨ毎に独立したＢＵＳ＃とアドレスマップを持つ。このため、ＩＤルーティングとアドレスルーティングはそのままＶＨをまたがる経路に適用することはできず、ＭＲ－ＩＯＶ規格においても、ＶＨをまたがる通信はサポートされない。
　これとは別に、複数のサーバを接続する技術に関して、特許文献１には複数のサーバがＩＯスイッチに接続された環境下でサーバ間の通信を行う通信機構を備えることが開示されている。第１のサーバがＩＯスイッチを経由して通信機構へアクセスし、通信機構がＩＯスイッチを経由して第２のサーバへアクセスすることにより、第１のサーバと第２のサーバとの間での通信を成立するものである。
特開２００９－２８２９１７号公報
「Multi－Root I/O Virtualization and Sharing Specification，Revision 1.0」、1.Architectural p.15、2008年5月発行、PCI-SIG著
　ＭＲ－ＩＯＶ規格においては、１つのＩＯスイッチに複数のサーバが接続される構成を許すが、サーバ間の通信は規格に定められていない。また、特許文献１には複数のサーバ間の通信を実現する通信機構が開示されているが、ＭＲ－ＩＯＶ規格に対応するシステムへそのまま特許文献１に開示された技術を適用しても、バストポロジーが異なるため、サーバ間の通信を行うことができない。
　そこで、本発明はＭＲ－ＩＯＶ規格に対応するシステムにおいてサーバ間の通信を可能にすることを目的とする。
　本発明にかかるサーバ間通信機構を備えるサーバシステムは、前記サーバ間通信機構が、通信元サーバから第１のパケットを受信する受信部と、変換部として、前記受信部の受信した第１のパケットのヘッダに含まれるアドレスに基づき変換テーブルを参照して前記パケットのヘッダに含まれるＶＨ＃、ＢＵＳ＃、アドレスを通信先サーバの属するＶＨ＃、前記サーバ間通信機構のＢＵＳ＃、前記通信先サーバ内のメモリのアドレスへそれぞれ変換する変換部と、前記変換部により変換された第１のパケットを前記通信先サーバへ送信する送信部と、を備えることを特徴とする。
　また、本発明にかかるサーバ間通信機構を備えるサーバシステムは、前記サーバ間通信機構が、前記通信先サーバから第２のパケットを受信する前記受信部と、前記受信部の受信した第２のパケットのヘッダに含まれる前記通信元サーバの属するＶＨ＃に基づき通信元の識別子のＢＵＳ＃と通信先の識別子のＢＵＳ＃を前記通信元サーバのＢＵＳ＃と前記サーバ間通信機構のＢＵＳ＃へそれぞれ変換する変換部と、前記変換部により変換された第２のパケットを前記通信元サーバへ送信する前記送信部と、を備えることを特徴とする。
　また、本発明はその複数サーバ間における通信方法としても把握される。
　本発明によれば、ＭＲ－ＩＯＶ規格に対応するシステムにおいてサーバ間の通信が可能になる。
サーバ間通信機構を備えるサーバシステムの構成の例を示す図である。 サーバ間通信機構の内部構成の例を示す図である。 サーバ間通信の動作シーケンスの例を示す図である。 ＭＲ－ＩＯＶ規格に定められたメモリ読み出しおよび書き込みパケットのヘッダのフォーマットを示す図である。 ＭＲ－ＩＯＶ規格に定められたメモリ返却パケットのヘッダのフォーマットを示す図である。 ＶＨ＃０のアドレス空間とＶＨ＃２のアドレス空間とのマッピングの例を示す図である。 メモリ読み出しおよび書き込みパケットを変換する回路の例を示す図である。 メモリ返却パケットを変換する回路の例を示す図である。 サーバ間通信機構をコンピュータで実装する動作フローの例を示す図である。 メモリ読み出しあるいは書き込みパケットを変換する動作フローの例を示す図である。 メモリ返却パケットを変換する動作フローの例を示す図である。
　以下、サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法の好ましい実施の形態を図面に基づいて詳細に説明する。
（第１の実施の形態）
　図１は複数サーバ間で通信するコンピュータシステムの構成の例を示す図である。 ＩＯスイッチ１４０はアップストリーム側、ダウンストリーム側にそれぞれ複数のポートを備える。ＩＯスイッチ１４０のアップストリーム側のポートには、複数のサーバ１１０、１２０、１３０がそれぞれ接続される。ＩＯスイッチ１４０のダウンストリーム側のポートには、エンドポイントである複数のＩＯデバイス１５１、１５２、およびエンドポイントであるサーバ間通信機構１６０がそれぞれ接続される。
　サーバ間通信機構１６０は、サーバ１１０、１２０、１３０によって共有されたエンドポイントである。ＩＯデバイス１５１、１５２はサーバ１１０、１２０、１３０のいずれか１台から占有されるエンドポイントであってもよく、複数台から共有されるエンドポイントであってもよい。
　図１ではＩＯスイッチ１４０に接続されるサーバ１１０、１２０、１３０の３台、サーバ間通信機構１６０の１台、ＩＯデバイス１５１、１５２の２台の例を示したが、それぞれさらに多数設けてもよい。
　サーバ１１０は、ＣＰＵ(中央処理装置)１１１、メモリ１１２、メモリコントローラ１１４を備える。メモリコントローラ１１４は、ＣＰＵ１１１からのメモリアクセスに加えて、ＰＣＩｅリンクを介してＩＯスイッチ１４０から受信したメモリ読み出しあるいは書き込みパケットを解釈し、メモリ１１２に対して読み出しあるいは書き込み動作を行うことができる。また、ＰＣＩｅリンクに対してはルートコンプレックスとして動作する。メモリ１１２にはサーバ間通信機構１６０を初期設定し、制御するドライバ１１３が格納されている。サーバ１２０、１３０も同じ構成を有しており、後でサーバ１３０を通信先とした通信を説明するためのメモリ１３２内の領域１３５を有するが、サーバ１１０、１２０が通信先となる場合はそれぞれのメモリ１１２、１２２でも領域１３２に相当する領域を確保してもよい。
　図１ではＭＲ－ＩＯＶ規格にしたがってサーバ１１０がＩＯデバイス１５１とサーバ間通信機構１６０と共にＶＨ＃０の１つのＶＨを構成し、サーバ１３０がＩＯデバイス１５２とサーバ間通信機構１６０と共にＶＨ＃２のＶＨを構成する。図１では破線の範囲でＶＨ＃０のＶＨを示し、一点鎖線の範囲でＶＨ＃２のＶＨを示している。サーバ１２０はさらに他のＶＨ＃１のＶＨを構成するが、ここでは図示を省略する。ＰＣＩｅを含むＭＲ－ＩＯＶ規格によれば初期設定時に各ＶＨは独立してＢＵＳ＃を割り当てるため、図１の破線の範囲内でＶＨ＃０に関し、ＢＵＳ＃を表現上＜と＞で囲んだ＜ＢＵＳ＃０＞、＜ＢＵＳ＃１＞、＜ＢＵＳ＃２＞、＜ＢＵＳ＃３＞をそれぞれ割り当て、一点鎖線の範囲内でＶＨ＃２に関し、ＢＵＳ＃を表現上（と）で囲んだ（ＢＵＳ＃０）、（ＢＵＳ＃１）、（ＢＵＳ＃２）、（ＢＵＳ＃３）をそれぞれ割り当てる。
　ここで、サーバ間通信機構１６０はＶＨ＃０とＶＨ＃１とで共有されるが、それぞれ＜ＢＵＳ＃３＞と（ＢＵＳ＃２）の異なるＢＵＳ＃が割り当てられる。例えば、ＶＨ＃０においてサーバ１１０がＢＵＳ＃３へ送信すると＜ＢＵＳ＃３＞のサーバ間通信機構１６０へ到達するが、ＶＨ＃２においてサーバ１３０がＢＵＳ＃３へ送信すると（ＢＵＳ＃３）のＩＯデバイス１５２へ到達することになる。ＶＨ＃２においてサーバ１３０がサーバ間通信機構１６０へ送信するにはＢＵＳ＃３ではなくＢＵＳ＃２へ送信することにより（ＢＵＳ＃２）のサーバ通信機構１６０へ到達できる。
　以上のように、例えばサーバ１１０とサーバ１３０との間で通信するためにはＶＨ＃が異なるのでＶＨ＃０とＶＨ＃２とを変換し、異なるＶＨ＃０とＶＨ＃２でサーバ間通信機構１６０を使用するためには＜ＢＵＳ＃３＞と（ＢＵＳ＃２）とを変換する。さらに、ＶＨ＃０とＶＨ＃２では初期設定時にアドレス空間も独立して割り当てるため、アドレスも変換する。
　図２は、サーバ間通信機構１６０の内部構成の例を示す図である。サーバ間通信機構は、ＩＯインタフェース２００を備え、ＰＣＩｅパケットの送受信を行うことができる。ＩＯインタフェース２００は、パケットを受信すると受信パケットバッファ２０１に格納し、送信パケットバッファ２０２に格納したパケットを送信する。また、サーバ間通信機構１６０は、パケット種別判別部２０３、メモリ読み出しおよび書き込みパケット変換部２０４、メモリ返却パケット変換部２０５を備える。
　パケット種別判別部２０３は受信パケットバッファ２０１内のパケットヘッダを読み出して、メモリ読み出しパケットであるかメモリ書き込みパケットであるかメモリ返却パケットであるかを判別する。パケット種別判別部２０３はその判別結果がメモリ読み出しパケットあるいはメモリ書き込みパケットの場合、メモリ読み出しおよび書き込みパケット変換部２０４を起動すると共に選択部２０７へメモリ読み出しおよび書き込みパケット変換部２０４と送信パケットバッファ２０２とを接続するように制御する。その判別結果がメモリ返却パケットの場合、メモリ返却パケット変換部２０５を起動すると共に選択部２０７へメモリ返却パケット変換部２０５と送信パケットバッファ２０２とを接続するように制御する。メモリ読み出しおよび書き込みパケット変換部２０４とメモリ返却パケット変換部２０５の変換内容に関しては図７と図８を用いてそれぞれ後で説明するが、いずれも変換テーブル２０６を使用してパケットヘッダの内容を変換する。
　ＰＣＩｅの仕様に定められているパケットはアクセス形態に応じていくつかの種別がある。サーバ間通信で必要となるパケット種別は、メモリ読出しパケット、メモリ返却パケット、メモリ書き込みパケットの３種類である。メモリ読み出しパケットは特定のアドレスからデータを読み出すことを指示するためのパケットであり、読み出されたデータを返すためのパケットがメモリ返却パケットである。これに対し、メモリ書き込みパケットは特定のアドレスへデータを書き込むためのパケットであり、書き込みの指示と書き込みデータとが１つのパケットであって、データを書き込めばパケットの役割が終了するため、返却されるパケットは存在しない。
　また、ＰＣＩｅでは、各エンドポイントにアドレス空間の領域が割り当てられる。サーバはアドレス空間の特定の領域に対してメモリ書き込みパケット、あるいはメモリ読出しパケットを送信することで、エンドポイントに対してアクセスすることができる。
　通信元サーバは、メモリ読み出しパケットとメモリ返却パケットとメモリ書き込みパケットを利用し、通信先サーバのメモリに対してリード及びライトを行うことによって相互通信を実現する。
　以下、通信元をサーバ１１０とし、通信先をサーバ１３０として、サーバ１１０がサーバ１３０からパケットを受信するために、サーバ１１０がサーバ１３０に対してメモリ読み出しを行う場合の動作シーケンスを図２、３に基づいて説明する。
（１）通信元のサーバ１１０で動作するドライバ１１３がサーバ間通信機構１６０へメモリ読み出しパケット３０１をＩＯスイッチ１４０経由で送信する（ステップ３１１）。
（２）サーバ間通信機構１６０ではＩＯインタフェース２００がメモリ読出しパケット３０１を受信し、受信パケットバッファ２０１へ格納する。
（３）パケット種別判別部２０３がメモリ読み出しパケット３０１の種別を判別した後、メモリ読み出しおよび書き込みパケット変換部２０４がパケットを変換し、選択部２０７を経由して送信パケットバッファ２０２へ格納する（ステップ３１２）。
（４）ＩＯインタフェース２００は送信パケットバッファ２０２に格納されたパケットを変換後メモリ読み出しパケット３０２として通信先のサーバ１３０へＩＯスイッチ１４０経由で送信する（ステップ３１３）。
（５）通信先のサーバ１３０で動作するドライバ１３３は変換後メモリ読み出しパケット３０２を受信し、メモリ１３２の領域１３５の内容を読み出す（ステップ３１４）。
（６）通信先のサーバ１３０で動作するドライバ１３３は読み出した情報をメモリ返却パケット３０３に含めてＩＯスイッチ１４０経由で返信する。（ステップ３１５）
（７）サーバ間通信機構１６０ではＩＯインタフェース２００がメモリ返却パケット３０３を受信し、受信パケットバッファ２０１へ格納する。
（８）パケット種別判別部２０３がメモリ返却パケット３０３の種別を判別した後、メモリ返却パケット変換部２０５にてパケットを変換し、選択部２０７を経由して送信パケットバッファ２０２へ格納する（ステップ３１６）。
（９）ＩＯインタフェース２００は送信パケットバッファ２０２に格納されたパケットを変換後メモリ返却パケット３０４として通信元のサーバ１１０へＩＯスイッチ１４０経由で送信する（ステップ３１７）。
（１０）通信元サーバ１１０は、変換後メモリ返却パケット３０４を受信し、通信先サーバ１３０のメモリ１３２を読み出すことに成功する。
　通信元のサーバ１１０が通信先のサーバ１３０へパケットを送信するために、通信元のサーバ１１０が通信先のサーバ１３０に対してメモリ書き込みを行う場合の動作シーケンスはメモリ読み出しのステップ３１１～３１３と同じ動作である。ここで、変換前メモリ書き込みパケット３０５は変換前メモリ読み出しパケット３０１に相当し、変換後メモリ書き込みパケット３０６は変換後メモリ読み出しパケット３０２に相当するが、読み出しと書き込みということでは異なり、ＶＨ＃とＢＵＳ＃とアドレスの変換は同じである。また、ステップ３１８では通信先サーバ１３０がメモリ１３２の領域１３５への書き込み動作を行う。
　図３の動作シーケンスの内、ステップ３１２におけるメモリ読み出しパケットとメモリ書き込みパケットの変換の動作、特にＶＨ＃とＢＵＳ＃とアドレスの変換の動作についてさらに詳細を説明する。
　図４にＭＲ－ＩＯＶ規格に定められたメモリ読み出しパケットとメモリ書き込みパケットのヘッダのフォーマットを示す。メモリ読み出しパケットのヘッダとメモリ書き込みパケットのヘッダは共通である。ＭＲ－ＩＯＶ規格としては異なるＶＨをまたいだ通信はサポートされていないため、ヘッダにＶＨ＃は１つであり、通信元と通信先とで共通である。Ｒｅｑｕｅｓｔｅｒ　ＩＤ（以下、ＲｅｑＩＤとする）は通信元を識別するためのＩＤであり、ＢＵＳ＃、ＤＥＶ＃、ＦＵＮ＃の三種類の番号から構成される。ＰＣＩｅのバストポロジーでは、これら三種類の番号の組合せでエンドポイントを特定する。なお、ＤＥＶ＃とＦＵＮ＃に関しては、エンドポイント内に複数の機能を有する場合にそれらの機能を特定するのに用いられるものである。アドレスは通信先のアドレスであり、通信先がＩＯデバイス１５１、１５２かサーバ間通信機構１６０の場合はＭＭＩＯアドレスである。このため、図４に示したヘッダのパケットの内容にしたがってＲｅｑＩＤの示す通信元が、通信先のアドレスへ読み書きすることになる。
　まず、ＶＨ＃の変換について説明する。通信元のサーバ１１０から通信先のサーバ１３０へのアクセスに応じてＶＨ＃０をＶＨ＃２へ変換するため、変換前のメモリ読み出しパケット３０１あるいはメモリ書き込みパケット３０５を受信したサーバ間通信機構１６０は、受信したこれらのパケットに含まれるＶＨ＃を通信先のサーバ１３０のＶＨ＃(以下、通信先ＶＨ＃とする)へ変換する。
　図６にアドレスと対応するＶＨ＃のマッピングの一例を示す。通信元のサーバ１１０の属するＶＨ＃０のアドレス空間には０ｘ１０００～０ｘ４０００（０ｘは１６進数を表す）がサーバ間通信機構１６０のメモリ領域として割り当てられ、０ｘ１０００～０ｘ１ＦＦＦがＶＨ＃２用、０ｘ２０００～０ｘ２ＦＦＦがＶＨ＃１用となっている。ここで、０ｘ３０００～０ｘ３ＦＦＦはＶＨ＃０用に割り当てられているが、ＶＨ＃０自体であるので、この領域は割り当てなくてもよい。また、サーバ１２０、サーバ１３０ではＶＨ＃０用の領域が割り当てられるため、すべてのＶＨ＃０～２を必ず割り当てることにより、すべてのＶＨにおいて同一の領域構成としてもよい。ただし、０ｘ１０００などのアドレスはＰＣＩｅを含むＭＲ－ＩＯＶ規格にしたがって初期設定時にＶＨ毎に割り当てるものであるから、必ずしも０ｘ１０００となるとは限らず、異なるサーバ間で同じアドレスになるとは限らない。図６ではＶＨ＃２用に０ｘ１０００～０ｘ１ＦＦＦを割り当てているので、例えば通信元のサーバ１１０がＶＨ＃０内で０ｘ１７８９からメモリ読み出し、あるいは０ｘ１７８９へメモリ書き込みのアクセスをすると、ＶＨ＃２へのアクセスとなる。
　図７はメモリ読み出しおよび書き込みパケット変換部２０４の回路の例を示す図である。図７に示した変換テーブル２０６の内容は通信先のサーバ１３０が属するＶＨ＃２における各値であって、受信パケットバッファ２０１に格納された変換前のメモリ読み出しパケット３０１あるいは書き込みパケット３０５のアドレスの上位桁である値１を変換回路７０１が読み取り、変換テーブル２０６のアドレスの項目が値１に対応するＶＨ＃の項目の値２へ変換して、送信パケットバッファ２０２のＶＨ＃へ設定する。
　次に、アドレスの変換について説明する。図６に示したとおり、通信元のサーバ１１０のＶＨ＃０の０ｘ１７８９をＶＨ＃２のサーバ１３０のメモリ１３２内の領域１３５の０ｘＮ７８９へ変換する。ここでＮはＶＨ＃２の初期設定時に領域１３５へ割り当てられたアドレスの上位桁である。このように上位桁のみを変換することによりＶＨ＃０の０ｘ１０００～０ｘ１ＦＦＦをＶＨ＃２の０ｘＮ０００～０ｘＮＦＦＦへマッピングさせることができる。このＮは異なるＶＨごとに初期設定されるため、異なる値となり得る。これに対し、サーバ間通信機構１６０はＶＨ＃とＮの対応関係を定めた変換テーブル２０６を備えるので、変換テーブル２０６を用いてＮを決定することができ、パケットのアドレスを変換できる。
　具体的には図７に示したとおり、受信パケットバッファ２０１に格納されたアドレスの上位桁である値１に基づき、変換回路７０１は変換テーブル２０６のアドレスの項目が値１に対応する領域の項目のＮへ変換して、送信パケットバッファ２０２のアドレスの上位桁へ設定する。また、アドレスの下位桁である値７８９を受信パケットバッファ２０１からコピー回路７０２が読み取り、送信パケットバッファ２０２のアドレスの下位桁へコピーする。これによりアドレスを０ｘ１７８９から０ｘＮ７８９へ変換する。なお、ここでは下位桁をそのままコピーするとしたが、変換前アドレスと変換後アドレスとを１対１に対応付けるアドレス変換テーブルなどを別に設けてアドレスの下位桁を変換してもよい。
　次に、ＲｅｑＩＤの変換について説明する。ＲｅｑＩＤに含まれる通信元のＢＵＳ＃は、対応するメモリ返却パケットの返信先として用いられる。このため、メモリ返却パケット３０３をサーバ間通信機構１６０が受信するには、変換前のメモリ読み出しパケット３０１のＲｅｑＩＤに含まれる通信元のサーバ１１０のＢＵＳ＃をサーバ間通信機構１６０のＢＵＳ＃へ変換する。ただし、ＤＥＶ＃とＦＵＮ＃はルーティングに関与しないため変換の必要はない。
　また、図１を用いて説明したとおり、異なるＶＨごとにサーバ間通信機構１６０のＢＵＳ＃は異なる値となる。これに対し、サーバ間通信機構１６０はＶＨ＃とＢＵＳ＃の対応関係を定めた変換テーブル２０６を備えており、変換テーブル２０６を用いてＢＵＳ＃を決定した上で、当該パケットのＢＵＳ＃を変換する。
　具体的には図７に示したとおり、受信パケットバッファ２０１に格納されたアドレスの上位桁である値１に基づき、変換回路７０１は変換テーブル２０６のアドレスの項目が値１に対応するサーバ間通信機構ＢＵＳ＃の項目の値２へ変換して、送信パケットバッファ２０２のＲｅｑＩＤのＢＵＳ＃へ設定する。
　そして、メモリ読み出しパケット３０１自体の変換としては必要ないが、後で行われるメモリ返却パケット３０３の変換で利用するために、受信パケットバッファ２０１に格納されたＶＨ＃の値０をコピー回路７０３が読み取り、送信パケットバッファ２０２のＲｅｑＩＤのＤＥＶ＃、ＦＵＮ＃へコピーすなわち退避する。ＤＥＶ＃、ＦＵＮ＃はルーティングに使用されず、メモリ読み出しパケット３０２のＲｅｑＩＤと対応するメモリ返却パケット３０３のＲｅｑＩＤは同一であることがＰＣＩｅの仕様で保証されているため、退避領域とすることができ、メモリ返却パケット３０３の変換時に利用できる。
　なお、図４には示したが図７には示していないパケット内の各値は、受信パケットバッファ２０１内のパケットから送信パケットバッファ２０２内のパケットへそのままコピーされる。
　図３の動作シーケンスの内、ステップ３１６で行われるメモリ返却パケットの変換の動作について説明する。図５はＰＣＩｅの仕様に定められたメモリ返却パケットのヘッダのフォーマットを示す図である。ヘッダのＲｅｑＩＤが通信元であって返却先を示すＩＤであり、Ｃｏｍｐｌｅｔｅｒ　ＩＤ（以下、ＣｏｍｐＩＤとする）が通信先であって返却元を示すＩＤである。ここでもＶＨ＃は通信元と通信先では共通なため、ヘッダにはＶＨ＃が１つである。図８はメモリ返却パケット変換部２０５の回路の例を示す図である。図８に示した変換テーブル２０６の内容は通信元のサーバ１１０が属するＶＨ＃０における各値である。
　まず、変換前メモリ返却パケット３０３はＶＨ＃２内の通信先のサーバ１３０からの送信であるためＶＨ＃が値２であり、ＶＨ＃０の通信元のサーバ１１０へ送信するにはＶＨ＃を値０へ変換する。このため、図７を用いて説明した変換後メモリ読み出しパケット３０２のＲｅｑＩＤのＤＥＶ＃、ＦＵＮ＃へコピーしておいたＶＨ＃を利用する。変化後メモリ読み出しパケット３０２のＤＥＶ＃、ＦＵＮ＃と変換前メモリ返却パケット３０３のＲｅｑＩＤのＤＥＶ＃、ＦＵＮ＃とは同じ値であって通信元のＶＨ＃であるので、図８に示したコピー回路８０１がこの通信元のＶＨ＃の値０を受信パケットバッファ２０１から読み取り、送信パケットバッファ２０２のＶＨ＃へコピーする。
　次に、変換前メモリ返却パケット３０３のＲｅｑＩＤのＢＵＳ＃はサーバ間通信機構１６０の値２であるから、通信元のサーバ１１０へ返信するにはＢＵＳ＃を値０へ変換する。このため、変換回路８０２は通信元のＶＨ＃の値０を読み取り、変換テーブル２０６のＶＨ＃の項目の値０に対応する通信元サーバＢＵＳ＃の値０を送信パケットバッファ３０４のＲｅｑＩＤのＢＵＳ＃へ設定する。
　次に、変換前メモリ返却パケット３０３はＢＵＳ＃の値０の通信先のサーバ１３０からの送信であるためＣｏｍｐＩＤのＢＵＳ＃が値０であり、サーバ間通信機構１６０から通信元のサーバ１１０へ送信するにはＣｏｍｐＩＤのＢＵＳ＃をサーバ間通信機構１６０のＶＨ＃０におけるＢＵＳ＃の値３へ変換する。このため、変換回路８０２は読み取った通信元のＶＨ＃の値０に基づいて変換テーブル２０６のサーバ間通信機構ＢＵＳ＃の値３を送信パケットバッファ３０４のＣｏｍｐＩＤのＢＵＳ＃へ設定する。
　なお、変換前メモリ返却パケット３０３のＲｅｑＩＤのＤＥＶ＃、ＦＵＮ＃以外の図８に示した値は使用しない。また、変換後メモリ返却パケット３０４のＲｅｑＩＤとＣｏｍｐＩＤのＤＥＶ＃、ＦＵＮ＃はルーティングには使用されないため所定の固定値を設定する。この固定値は通信元のサーバ１１０のドライバ１１３で受信可能な値である。変換テーブル２０６の領域の値ＫはＶＨ＃０に属するサーバ１１０が通信先となったときに使用されるサーバ１１０のメモリ１１２内の領域のアドレスであり、ここでは使用しない。そして、図５には示したが図８には示していないパケット内の各値は、受信パケットバッファ２０１内のパケットから送信パケットバッファ２０２内のパケットへそのままコピーする。
　変換テーブル２０６は図７、８を用いて説明したとおりに使用される。図７、８ではそれぞれ使用する値のみを図示したが、実際は図７で示した値と図８で示した値は１つのテーブルの各行として両方含まれ、図６のＶＨ＃１に関してもアドレスの値２などのテーブルの行が含まれ、さらにＶＨの個数が４以上存在すればＶＨの個数分のテーブルの行が含まれる。変換テーブル２０６の各値はＰＣＩｅを含むＭＲ－ＩＯＶ規格に定められた初期設定時に決定されるため、各ＶＨに属するサーバのドライバ、例えばＶＨ＃０に属するサーバ１１０のドライバ１１３が図８に示した変換テーブル２０６のＶＨ＃０に関係する値を設定し、ＶＨ＃２に属するサーバ１３０のドライバ１３３が図７に示した変換テーブル２０６のＶＨ＃２に関係する値を設定し、ＶＨ＃１に属するサーバ１２０のドライバ１２３も同じように変換テーブル２０６のＶＨ＃１に関係する値を設定する。なお、オペレータの操作によりドライバ１１３を経由して変換テーブル２０６のＶＨ＃０に関係する値を設定してもよい。
　以上、説明したようにＭＲ－ＩＯＶの構成においてサーバ間通信機構１６０がＶＨ＃、ＢＵＳ＃、アドレスを変換するため、サーバ１１０、１３０の間で互いにメモリ１１２、１３２の読み書きが可能となり、サーバ１１０、１３０の間で通信が可能となる。なお、サーバ１１０、１３０の間だけではなく、サーバ１２０も含めてさらに多くのサーバを備えた場合においてもそれらのサーバ間で通信が可能となる。また、サーバ間通信機構１６０をＩＯスイッチ１４０の内部へ組み込む実装も可能である。この場合はＩＯスイッチ１４０のサーバ間通信機構１６０を接続するポートを他のＩＯデバイスを接続するために利用可能となる。
（第２の実施の形態）
　以上の説明では図２、７、８で示したようにサーバ間通信機構１６０をハードウェアとして専用の回路で実装したが、一般的なコンピュータのソフトウェアとして実装することも可能である。コンピュータで実装した場合、そのコンピュータはサーバ間通信機構１６０以外に他の機能としても利用可能である。
　コンピュータは図２に示したＩＯインタフェース２００に相当するＰＣＩｅの仕様に対応したインタフェースを備え、変換テーブル２０６をメモリに記憶して、図９～１１を用いて説明するフローにしたがって動作する。
　図９は、メモリ読み出しパケット３０１、メモリ書き込みパケット３０５、メモリ返却パケット３０３のいずれかを受信してから、変換後のメモリ読み出しパケット３０２、メモリ書き込みパケット３０６、メモリ返却パケット３０４のいずれかを送信するまでの動作を示したフローの例を示す図である。まず、サーバ１１０、１２０、１３０のいずれからパケットを受信するまで待機し、パケットを受信する（ステップ９０１）。受信したパケットは受信パケットバッファ２０１に格納する（ステップ９０２）。変換したパケットを生成するために送信パケットバッファ２０２内に内容が未設定の空のパケットの領域を確保する（ステップ９０３）。ステップ９０２で受信パケットバッファ２０１へ格納したパケットのヘッダを読み出して、メモリ読み出しパケットであるかメモリ書き込みパケットであるかメモリ返却パケットであるかのパケットの種別を判別する。
　判別した種別がメモリ読み出しパケットあるいはメモリ書き込みパケットのいずれかである場合はステップ９０５へ進み、図３におけるパケット変換３１２に相当する処理を行う。この処理に関しては図１０を用いて後で説明する。判別した種別がメモリ返却パケットの場合はステップ９０６へ進み、図３におけるパケット変換３１６に相当する処理を行う。この処理に関しては図１１を用いて後で説明する。
　ステップ９０５、９０６の処理は送信パケットバッファ２０２内の空のパケットへ値をコピーあるいは設定することにより変換するため、ステップ９０７ではその変換したパケットを送信パケットバッファ２０２から送信する。
　図１０はメモリ読み出しパケットとメモリ書き込みパケットの変換処理のフローの例を示す図である。パケット内の値の変換は図７を用いて説明した変換と同じである。まず、受信パケットバッフ２０１内のパケットのＶＨ＃を送信パケットバッファ内のパケットのＲｅｑＩＤのＤＥＶ＃、ＦＵＮ＃へコピーすることにより通信元ＶＨ＃を退避する（ステップ１００１）。次に、アドレスの下位桁の値をコピーする（ステップ１００２）。ここで、単にコピーせず、アドレス変換テーブルによりアドレスの下位桁の値を変換してもよい。
　次に、アドレスの上位桁の値を取得する（ステップ１００３）。このアドレスの上位桁の値は変換テーブル２０６から値を取得する際のキーとなる。このキーに基づき変換テーブル２０６からＶＨ＃とサーバ間通信機構ＢＵＳ＃と領域アドレスを取得し、送信パケットバッファ２０２内の空パケットのＶＨ＃とＲｅｑＩＤのＢＵＳ＃とアドレスの上位桁へそれぞれ設定する（ステップ１００４～１００６）。また、これら以外の受信パケットバッファ２０１内のパケットの各値は送信パケットバッファ２０２内の空のパケットへコピーする。そして、ステップ１００７で図８に示したステップ９０７へ戻る。
　図１１はメモリ返却パケットの変換処理のフローの例を示す図である。パケット内の値の変換は図８を用いて説明した変換と同じである。まず、ステップ１００１で退避しておいた通信元ＶＨ＃を受信パケットバッファ２０１内のパケットのＲｅｑＩＤのＤＥＶ＃、ＦＵＮ＃から取得する（ステップ１１０１）。次に、取得した通信元ＶＨ＃をコピーする（ステップ１１０２）。このＶＨ＃は変換テーブル２０６から値を取得する際のキーとなる。このキーに基づき変換テーブル２０６から通信元サーバＢＵＳ＃とサーバ間通信機構ＢＵＳ＃を取得し、送信パケットバッファ２０２内の空パケットのＲｅｑＩＤのＢＵＳ＃とＣｏｍｐＩＤのＢＵＳ＃へそれぞれ設定する（ステップ１１０３、１１０４）。また、ＲｅｑＩＤのＤＥＶ＃、ＦＵＮ＃とＣｏｍｐＩＤのＤＥＶ＃、ＦＵＮ＃に固定値を設定し（ステップ１１０５）、これら以外の受信パケットバッファ２０１内のパケットの各値は送信パケットバッファ２０２内の空のパケットへコピーする。そして、ステップ１１０６で図８に示したステップ９０７へ戻る。
　以上、説明したようにＭＲ－ＩＯＶ規格に対応したサーバ間通信機構１６０として機能するコンピュータがＶＨ＃、ＢＵＳ＃、アドレスを変換するため、複数のサーバ間で互いにメモリの読み書きが可能となり、複数のサーバ間で通信が可能となる。特に、一般的なコンピュータを用いることにより低コストでサーバ間通信機構１６０を実現でき、コンピュータはサーバ間通信機構１６０以外にも利用可能である。
１１０、１２０、１３０　サーバ
１４０　ＩＯスイッチ
１５１、１５２　ＩＯデバイス
１６０　サーバ間通信機構
２００　ＩＯインタフェース
２０１　受信パケットバッファ
２０２　送信パケットバッファ
２０３　パケット種別判別部
２０４　メモリ読み出しおよび書き込みパケット変換部
２０５　メモリ返却パケット変換部
２０６　変換テーブル

Claims (9)

  1. 　スイッチの上流に接続される複数のサーバと、前記スイッチの下流に接続される複数のＩＯデバイスと、サーバ間通信機構とを備えるサーバシステムにおいて、
    前記サーバ間通信機構は、
    通信元サーバから第１のパケットを受信する受信部と、
    変換部として、前記受信部の受信した第１のパケットのヘッダに含まれるアドレスに基づき変換テーブルを参照して前記第１のパケットのヘッダに含まれるＶＨ＃、ＢＵＳ＃、アドレスを通信先サーバの属するＶＨ＃、前記サーバ間通信機構のＢＵＳ＃、前記通信先サーバ内のメモリのアドレスへそれぞれ変換する変換部と、
    前記変換部により変換された第１のパケットを前記通信先サーバへ送信する送信部と、
    を備えることを特徴とするサーバシステム。
  2. 　前記サーバ間通信機構は、
    前記通信先サーバから第２のパケットを受信する前記受信部と、
    前記受信部の受信した第２のパケットのヘッダに含まれる前記通信元サーバの属するＶＨ＃に基づき前記変換テーブルを参照して通信元の識別子のＢＵＳ＃と通信先の識別子のＢＵＳ＃を前記通信元サーバのＢＵＳ＃と前記サーバ間通信機構のＢＵＳ＃へそれぞれ変換する変換部と、
    前記変換部により変換された第２のパケットを前記通信元サーバへ送信する前記送信部と、
    を備えることを特徴とする請求項１に記載のサーバシステム。
  3. 　前記第１のパケットはメモリ読み出しパケットあるいはメモリ書き込みパケットであり、
    前記第２のパケットはメモリ返却パケットであり、
    前記サーバ間通信機構は、前記第１のパケットと前記第２のパケットとを判別する判別部を備えたことを特徴とする請求項２に記載のサーバシステム。
  4. 　前記変換テーブルは、前記第１のパケットのヘッダに含まれるアドレスの一部と、
    前記通信元サーバのＢＵＳ＃と、前記通信先サーバの属するＶＨ＃と、前記通信先サーバが認識する前記サーバ間通信機構のＢＵＳ＃と、前記通信先サーバのメモリ領域のアドレスの一部との少なくとも２つを対応付ける情報を含むことを特徴とする請求項３に記載のサーバシステム。
  5. 　前記サーバ間通信機構は前記スイッチ内部に組み込まれることを特徴とする請求項１に記載のサーバシステム。
  6. 　複数サーバとスイッチ経由で接続されるサーバ間通信機構を用いた前記複数サーバ間における通信方法であって、
    前記サーバ間通信機構は、
    通信元サーバから第１のパケットを受信し、
    前記受信した第１のパケットのヘッダに含まれるアドレスに基づき変換テーブルを参照し、
    前記参照した変換テーブルに基づき前記第１のパケットのヘッダに含まれるＶＨ＃、ＢＵＳ＃、アドレスを通信先サーバの属するＶＨ＃、前記サーバ間通信機構のＢＵＳ＃、前記通信先サーバ内のメモリのアドレスへそれぞれ変換し、
    前記変換された第１のパケットを前記通信先サーバへ送信すること
    を特徴とする複数サーバ間における通信方法。
  7. 　前記サーバ間通信機構は、
    前記通信先サーバから第２のパケットを受信し、
    前記受信した第２のパケットのヘッダに含まれる前記通信元サーバの属するＶＨ＃に基づき前記変換テーブルを参照し、
    前記参照した変換テーブルに基づき通信元の識別子のＢＵＳ＃と通信先の識別子のＢＵＳ＃を前記通信元サーバのＢＵＳ＃と前記サーバ間通信機構のＢＵＳ＃へそれぞれ変換し、
    前記変換された第２のパケットを前記通信元サーバへ送信すること
    を特徴とする請求項６に記載の複数サーバ間における通信方法。
  8. 　前記第１のパケットはメモリ読み出しパケットあるいはメモリ書き込みパケットであり、
    前記第２のパケットはメモリ返却パケットであり、
    前記サーバ間通信機構は、前記第１のパケットと前記第２のパケットとを判別することを特徴とする請求項７に記載の複数サーバ間における通信方法。
  9. 　前記変換テーブルは、前記第１のパケットのヘッダに含まれるアドレスの一部と、
    前記通信元サーバのＢＵＳ＃と、前記通信先サーバの属するＶＨ＃と、前記通信先サーバが認識する前記サーバ間通信機構のＢＵＳ＃と、前記通信先サーバのメモリ領域のアドレスの一部との少なくとも２つを対応付ける情報を含むことを特徴とする請求項８に記載の複数サーバ間における通信方法。
PCT/JP2013/071074 2013-08-02 2013-08-02 サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法 WO2015015652A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/071074 WO2015015652A1 (ja) 2013-08-02 2013-08-02 サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/071074 WO2015015652A1 (ja) 2013-08-02 2013-08-02 サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法

Publications (1)

Publication Number Publication Date
WO2015015652A1 true WO2015015652A1 (ja) 2015-02-05

Family

ID=52431222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/071074 WO2015015652A1 (ja) 2013-08-02 2013-08-02 サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法

Country Status (1)

Country Link
WO (1) WO2015015652A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058956A (ja) * 2004-08-17 2006-03-02 Nec Corp マルチノードコンピュータシステム、マルチノード間におけるデータの転送方法及びプログラム
JP2009282917A (ja) * 2008-05-26 2009-12-03 Hitachi Ltd サーバ間通信機構及びコンピュータシステム
US20110029734A1 (en) * 2009-07-29 2011-02-03 Solarflare Communications Inc Controller Integration
JP2011180933A (ja) * 2010-03-03 2011-09-15 Hitachi Ltd Ｉ／ｏスイッチおよびそれを備えたコンピュータシステム
WO2012150608A1 (en) * 2011-04-30 2012-11-08 Ineda Systems Pvt. Ltd Peripheral device sharing in multi host computing systems
WO2012157103A1 (ja) * 2011-05-19 2012-11-22 株式会社日立製作所 マルチルートスイッチ、計算機、及び計算機間通信方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058956A (ja) * 2004-08-17 2006-03-02 Nec Corp マルチノードコンピュータシステム、マルチノード間におけるデータの転送方法及びプログラム
JP2009282917A (ja) * 2008-05-26 2009-12-03 Hitachi Ltd サーバ間通信機構及びコンピュータシステム
US20110029734A1 (en) * 2009-07-29 2011-02-03 Solarflare Communications Inc Controller Integration
JP2011180933A (ja) * 2010-03-03 2011-09-15 Hitachi Ltd Ｉ／ｏスイッチおよびそれを備えたコンピュータシステム
WO2012150608A1 (en) * 2011-04-30 2012-11-08 Ineda Systems Pvt. Ltd Peripheral device sharing in multi host computing systems
WO2012157103A1 (ja) * 2011-05-19 2012-11-22 株式会社日立製作所 マルチルートスイッチ、計算機、及び計算機間通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIM BARDGETT ET AL.: "nSwitching: Virtual Machine Aware Relay Hardware Switching to improve intra-NIC Virtual Machine Traffic", 2012 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC, 15 June 2012 (2012-06-15), pages 2700 - 2705 *

Similar Documents

Publication Publication Date Title
US8463934B2 (en) Unified system area network and switch
US9025495B1 (en) Flexible routing engine for a PCI express switch and method of use
JP5360607B2 (ja) Ｐｃｉエクスプレススイッチ、ｐｃｉエクスプレスシステム、及びネットワーク制御方法
US10263891B2 (en) Switching device, computer system, method, and program
US9146890B1 (en) Method and apparatus for mapped I/O routing in an interconnect switch
US9519606B2 (en) Network switch
JP2015537310A (ja) データ処理システム及びデータ処理方法
CN103117929A (zh) 一种基于PCIe数据交换的通信方法及系统
US9292462B2 (en) Broadcast for a distributed switch network
JP5660053B2 (ja) ネットワーク装置、ネットワーク構成方法及びネットワーク装置のプログラムを記録したプログラム記録媒体
WO2021051919A1 (zh) 一种数据转发芯片及服务器
US9021125B2 (en) Control path I/O virtualisation
EP2515241B1 (en) Unified system area network and switch
US11409679B2 (en) System component and use of a system component
JP2008541276A (ja) 同時読み出し応答確認拡張ダイレクト・メモリ・アクセス・ユニット
US10599600B2 (en) Peripheral Component Interconnect Express (PCIe) switching for multi-host computing system deployments
TWI791134B (zh) 通信裝置、資訊處理系統及通信方法
WO2015015652A1 (ja) サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法
US11386031B2 (en) Disaggregated switch control path with direct-attached dispatch
WO2023112646A1 (ja) 情報処理装置、及び情報処理装置の制御方法
JP2023143302A (ja) 中継装置および中継方法
KR102496994B1 (ko) PCIe 인터페이스 장치 및 그 동작 방법
US20200341928A1 (en) Information processing system
CN116955250A (zh) 快速外围组件互连设备及其操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13890720

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13890720

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP