WO2014027416A1 - 情報処理装置、及び情報処理装置の制御方法 - Google Patents

情報処理装置、及び情報処理装置の制御方法 Download PDF

Info

Publication number
WO2014027416A1
WO2014027416A1 PCT/JP2012/070896 JP2012070896W WO2014027416A1 WO 2014027416 A1 WO2014027416 A1 WO 2014027416A1 JP 2012070896 W JP2012070896 W JP 2012070896W WO 2014027416 A1 WO2014027416 A1 WO 2014027416A1
Authority
WO
WIPO (PCT)
Prior art keywords
port
unit
processing unit
communication
ntb
Prior art date
Application number
PCT/JP2012/070896
Other languages
English (en)
French (fr)
Inventor
稲垣　淳一
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2014530424A priority Critical patent/JP5930046B2/ja
Priority to PCT/JP2012/070896 priority patent/WO2014027416A1/ja
Publication of WO2014027416A1 publication Critical patent/WO2014027416A1/ja
Priority to US14/622,985 priority patent/US20150160984A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/17—Interprocessor communication using an input/output type connection, e.g. channel, I/O port
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/24—Handling requests for interconnection or transfer for access to input/output bus using interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool

Definitions

  • the present invention relates to an information processing apparatus and a method for controlling the information processing apparatus.
  • An information processing device such as a server is equipped with a plurality of CPUs (Central Processing Units), and has a physical partitioning function by connecting the CPUs to each other by QPI (Quick Path Interconnect), HT (Hyper Transport), etc. May be taken.
  • CPUs Central Processing Units
  • QPI Quadick Path Interconnect
  • HT Hyper Transport
  • FIG. 14 is a block diagram showing a basic configuration of an information processing apparatus (server) 100 having a physical partitioning function.
  • the server 100 shown in FIG. 14 includes four CPUs 101A to 101D. Note that reference numeral 101A to 101D is used when one of the four CPUs is specified, and reference numeral 101 is used when referring to an arbitrary CPU.
  • Each CPU 101 has two CPU interconnect ports 102, and the four CPUs 101A to 101D are connected in a ring shape via the CPU interconnect port 102 and the CPU interconnect line 103.
  • the server 100 is divided into two physical servers by the physical versioning function, and the two CPUs 101A and 101B and the two CPUs 101C and 101D are assigned to different partitions # 0 and # 1, respectively.
  • the CPU interconnect line 103 between the two CPUs 101A and 101B belonging to the partition # 0 and the CPU interconnect line 103 between the two CPUs 101C and 101D belonging to the partition # 1 are used as usual.
  • the CPU interconnect lines 103 extending over different partitions # 0 and # 1, that is, the lines 103 between the CPUs 101A and 101D and between the CPUs 101B and 101C are not used while being physically connected, or are connected to the CPU interconnect line 103. The output is kept saved or powered off.
  • FIG. 15 and FIG. 16 are block diagrams showing an example of a communication form between partitions and another example, respectively.
  • a PCI Express (registered trademark; PCIe (registered trademark); Peripheral Components Interconnect express) switch 104 is provided under each CPU 101, and a NIC (Network Interface) is installed in the card slot 104 a of each PCIe switch 104. Card) 105 is loaded. Then, NICs 105 and 105 belonging to different partitions # 0 and # 1 are connected via Ethernet (registered trademark) using a cable 106. Thereby, data communication is performed between the CPUs 101A and 101D belonging to different partitions # 0 and # 1, respectively.
  • a PCIe switch 104 ′ that is shared by the CPUs 101A and 101D belonging to the two partitions # 0 and # 1 and has a partitioning function and an NTB (Non-Transparent Bridge) port 104b is provided. It is done. Then, data communication is performed between the CPUs 101A and 101D belonging to different partitions # 0 and # 1 using the NTB port 104b of the PCIe switch 104 ′.
  • the NTB port fulfills the function for sharing data between two different partitions or between hosts in the PCI specification, and has a memory-mapped space in the port and uses that space. It is a port that can exchange data between partitions and between hosts.
  • an object of the present invention is to efficiently realize communication between processing units belonging to different partitions.
  • the information processing apparatus includes a plurality of processing units and a setting unit configured to perform settings according to a partition configuration for the plurality of processing units, and each of the plurality of processing units includes other processing units. And a port for communicating with the other processing unit.
  • the port includes a first communication unit, a second communication unit, and a selection unit.
  • the first communication unit communicates with a processing unit belonging to the same partition as the processing unit to which the port belongs.
  • the second communication unit communicates with a processing unit belonging to a partition different from the processing unit to which the port belongs.
  • the selection unit selects one of the first communication unit and the second communication unit according to the setting by the setting unit, and causes the selected communication unit to perform communication with the other processing unit. .
  • FIG. 3 is a block diagram illustrating a one-partition state of the information processing apparatus illustrated in FIG. 2.
  • FIG. 3 is a block diagram illustrating a two-partition state of the information processing apparatus illustrated in FIG. 2. It is a block diagram which shows the detailed structure of the NTB port upper layer (2nd communication part) shown in FIG.
  • FIG. 7 is a block diagram for explaining a tag conversion / inverse conversion function and a transaction ID conversion / inverse conversion function by an address conversion unit of the NTB transaction layer shown in FIG. 6. It is a block diagram explaining the doorbell function and scratch pad function by the NTB transaction layer shown in FIG. 7 is a diagram for explaining packet division and encapsulation by a CPU interconnect data link interface (second interface) shown in FIG. 6. It is a block diagram which shows the principal part structure of the information processing apparatus as 2nd Embodiment.
  • FIG. 1 It is a block diagram which shows the detailed structure of the NTB port upper layer (2nd communication part) shown in FIG. It is a block diagram which shows the basic composition of the information processing apparatus (server) which has a physical partitioning function. It is a block diagram which shows an example of the communication form between partitions. It is a block diagram which shows the other example of the communication form between partitions.
  • FIG. 1 is a block diagram illustrating the main configuration of the server 1 according to the first embodiment.
  • FIG. 2 illustrates the overall configuration of the server 1 according to the first embodiment to which the main configuration illustrated in FIG. 1 is applied.
  • FIG. 3 is a flowchart (steps S1 to S7) for explaining the functions of the system firmware (setting unit) 40 shown in FIG. 2 and the multiplexer (selection unit) 25 shown in FIG.
  • the server 1 shown in FIGS. 1 and 2 includes four CPUs (processing units) 10A to 10D.
  • CPUs processing units
  • reference numerals 10A to 10D are used.
  • reference numeral 10 is used.
  • the CPUs 10 are point-to-point connected by QPI, HT or the like.
  • Each CPU 10 has two CPU interconnect ports 20, and the four CPUs 10 A to 10 D are connected in a ring shape through the CPU interconnect port 20 and the CPU interconnect line 11.
  • a CPU interconnect port (hereinafter sometimes referred to simply as a port) 20 is connected to a processor core 60 (see FIGS. 7, 9, and 10), a memory or an I / O via a CPU internal bus 50.
  • An (Input / Output) device 70 (see FIGS. 7 and 9) is connected.
  • the server 1 also has a physical partitioning function, and has system firmware (F / W; setting unit) 40 that performs settings in accordance with the partition configuration for the four CPUs 10A to 10D (see FIG. 2, see FIG. 4 and FIG.
  • the system F / W 40 is configured to be operable by a user via the network 90.
  • a port mode selection register (hereinafter sometimes simply referred to as a register) 30 is attached to each of the two ports 20.
  • the register 30 is for setting the operation mode of the port 20.
  • the register 30 stores the physical partition configuration and FIGS. 4 and 5 by the system F / W 40 via the CPU internal bus 50 according to instructions from the user. First information or second information to be described later is set with reference to the reference.
  • the port 20 in each CPU 10 is provided on the chip of the CPU 10, is connected to another CPU 10 via the CPU interconnect line 11, and communicates with the other processing unit 10.
  • a physical layer 21, a data link layer 22, a CPU interconnect upper layer 23, a PCIe-NTB port upper layer 24, and a multiplexer 25 are provided between the CPU interconnect line 11 and the CPU internal bus 50. .
  • the physical layer 21, the data link layer 22, and the CPU interconnect upper layer 23 are existing configurations provided between the CPU interconnect line 11 and the CPU internal bus 50.
  • a PCIe-NTB port upper layer 24 and a multiplexer 25 are added to the existing configuration.
  • the CPU interconnect upper layer 23 higher than the data link layer 22 functions as a first communication unit that communicates with the CPU 10 belonging to the same partition as the CPU 10 to which the port 20 belongs.
  • the CPU interconnect upper layer 23 causes the CPU interconnect port 20 to function as a port for executing communication for sharing the memory space for all memory accesses with other CPUs 10 belonging to the same partition.
  • the PCIe-NTB port upper layer 24 is provided in parallel with the CPU interconnect upper layer 23 and functions as a second communication unit that communicates with the CPU 10 to which the port 20 belongs and a CPU 10 belonging to a different partition.
  • the PCIe-NTB port upper layer 24 causes the CPU interconnect port 20 to function as an NTB (Non-Transparent Bridge) port of the PCI device.
  • the NTB port executes communication explicitly instructed by the processor core 60 constituting the CPU 10 to which the port 20 belongs with another CPU 10 belonging to a different partition.
  • a multiplexer 25 is provided between the upper layers 23 and 24 provided in parallel and the data link layer 22.
  • the multiplexer 25 selects one of the CPU interconnect upper layer 23 and the PCIe-NTB port upper layer 24 according to the setting by the system F / W 40, and sends the other upper layer (communication unit) 23 or 24 to the other It functions as a selection unit that executes communication with the CPU 10.
  • the system F / W 40 When the system F / W 40 receives an instruction about physical partitioning from the user via the network 90 (see YES route in step S1 in FIG. 3), the system F / W 40 conforms to the partition configuration according to the instruction to the four CPUs 10A to 10D. Settings are made (see step S2 in FIG. 3). At that time, the system F / W 40 sets the first information or the second information in the register 30 provided for each port 20 as shown in FIG. 4 or FIG. 5 (steps S3 and S4 in FIG. 3). ).
  • the first information is a value indicating that another CPU 10 connected to the port 20 belongs to the same partition, and is, for example, “0”.
  • the second information is a value indicating that another CPU 10 connected to the port 20 belongs to a different partition, and is “1”, for example.
  • the multiplexer 25 switches the data path so as to select the CPU interconnect upper layer 23, and the port 20 Function as a CPU interconnect port (see step S6 in FIG. 3).
  • the multiplexer 25 sets the data path so as to select the PCIe-NTB port upper layer 24.
  • the port 20 is switched to function as an NTB port (see step S7 in FIG. 3).
  • FIG. 4 is a block diagram showing a one-partition state of the server 1.
  • the system F / W 40 sets the first information “0” in all the registers 30 in the four CPUs 10A to 10D. Accordingly, the multiplexer 25 switches the data path so that the CPU interconnect upper layer 23 is selected, and all the ports 20 function as normal CPU interconnect ports. Accordingly, communication for sharing the memory space for all memory accesses is executed with other CPUs 10 belonging to the same partition.
  • FIG. 5 is a block diagram showing a two-partition state of the server 1.
  • the server 1 is divided into two physical servers by the physical versioning function, and the two CPUs 10A and 10B and the two CPUs 10C and 10D are assigned to different partitions # 0 and # 1, respectively. .
  • the first information “0” is set by the system F / W 40 in the register 30 corresponding to the port 20 that mutually connects the CPUs 10A and 10B belonging to the same partition # 0.
  • the multiplexer 25 switches the data path so that the CPU interconnect upper layer 23 is selected at the port 20, and the port 20 functions as a normal CPU interconnect port. Therefore, communication for sharing the memory space for all memory accesses is executed between the CPUs 10A and 10B belonging to the same partition.
  • the CPU 10C and 10D belonging to the same partition # 1 are set and selected in the same manner as described above, and communication for sharing the memory space for all memory accesses is executed between the CPUs 10C and 10D.
  • the second information “1” is set by the system F / W 40 in the register 30 corresponding to the port 20 that interconnects the CPUs 10A and 10D belonging to the different partitions # 0 and # 1. Accordingly, the multiplexer 25 switches the data path so that the PCIe-NTB port upper layer 24 is selected in the port 20, and the port 20 functions as an NTB port. In other words, the CPU interconnect port 20 that is normally unused can be used as the NTB port. Therefore, communication explicitly instructed by the processor core 60 constituting the CPU 10A or 10D is executed between the CPUs 10A and 10D belonging to different partitions # 0 and # 1 via the NTB port.
  • the CPU 10B and 10C belonging to the different partitions # 0 and # 1 are set and selected in the same manner as described above, and the communication explicitly instructed by the processor core 60 constituting the CPU 10B or 10C is executed between the CPUs 10B and 10C. .
  • a communication path is established between the port 20 and another CPU 10 by selecting the PCIe-NTB port upper layer 24 and causing the unused port 20 to function as an NTB port to execute communication.
  • the communication path thus established can be used as at least one of a memory mirroring path and a failover path.
  • the server 100 when the server 100 is divided into a plurality of physical servers by the partitioning function and used, the two CPUs 101 in the server 100 are separated. Allocated to partitions # 0 and # 1. In this case, the point-to-point CPU interconnect (port 102 and line 103) that connects the two CPUs 101 is usually unused.
  • the CPU interconnect port 20 that has conventionally been unused when connecting CPUs belonging to different partitions functions as an NTB port of the PCI device. .
  • a communication path is established between the CPUs 10A and 10D belonging to different partitions # 0 and # 1, or between the CPUs 10B and 10C, and is used as a memory mirroring path or a failover path between different partitions. Therefore, it is possible to efficiently realize communication between the CPUs 10 and 10 belonging to different partitions by using a CPU interconnect (port 20 and line 11) that has not been used conventionally.
  • the NTB port described above fulfills a function for sharing data between two different partitions or between hosts in the PCI specification, and has a memory-mapped space in the port. It is a port that can exchange data between partitions and between hosts using.
  • FIG. 6 is a block diagram showing a detailed configuration of the PCIe-NTB port upper layer 24.
  • the PCIe-NTB port upper layer 24 includes a CPU internal bus interface (I / F) 241, a PCIe-NTB transaction layer 242, and a CPU interconnect data link interface (I / F) 243. .
  • the CPU internal bus I / F (first interface) 241 is connected to the processor core 60 via the CPU internal bus 50.
  • the CPU internal bus I / F 241 performs cache protocol control and also converts between data (DATA and CMD (command)) on the processor core 60 side and data conforming to PCIe use on the transaction layer 242 side.
  • the CPU internal bus I / F 241 functions to divide / combine the cache line size data on the processor core 60 side into the PCIe payload size data on the transaction layer 242 side.
  • the CPU internal bus I / F 241 functions to divide / combine PCIe payload size data on the transaction layer 242 side into cache line size data on the processor core 60 side.
  • the CPU internal bus I / F 241 has buffers 241a to 241d.
  • the buffer 241a receives the command CMD (RX) from the CPU internal bus 50 (processor core 60), and the converted command is output from the buffer 241a to the transaction layer 242.
  • the buffer 241b receives the data DATA (RX) from the CPU internal bus 50 (processor core 60), and the converted data is output from the buffer 241b to the transaction layer 242.
  • the buffer 241 c receives a command from the transaction layer 242, and the converted command CMD (TX) is transmitted from the buffer 241 c to the processor core 60 or the memory 70 via the CPU internal bus 50.
  • the buffer 241 d receives data from the transaction layer 242, and the converted data DATA (TX) is transmitted from the buffer 241 d to the processor core 60 or the memory 70 via the CPU internal bus 50.
  • the CPU interconnect data link I / F (second interface) 243 is connected to another CPU 10 via the multiplexer 25, the data link layer 22, the physical layer 21, and the CPU interconnect line 11.
  • the CPU interconnect data link I / F 243 performs division / reconfiguration of TLP (Transaction Layer Packet) generated in the transaction layer 242. Since the packet length of the TLP and the maximum packet length defined by the CPU interconnect do not always match, the transaction layer 242 performs TLP division or combination as necessary. The packet division and encapsulation of TLP will be described later with reference to FIG. 11 in item [1-6].
  • the CPU interconnect data link I / F 243 has buffers 243a and 243b.
  • the buffer 243a receives the TLP from the transaction layer 242, and the divided or combined packet is transmitted from the buffer 243a to the other CPU 10 via the multiplexer 25, the data link layer 22, the physical layer 21, and the CPU interconnect line 11. Is done.
  • the buffer 243b receives a packet from another CPU 10, and the TLP obtained by the division or combination is sent from the buffer 243b to the transaction layer 242.
  • the PCIe-NTB transaction layer 242 is arranged between the CPU internal bus I / F 241 and the CPU interconnect data link I / F 243, and performs TLP generation / disassembly and address conversion. Therefore, the transaction layer 242 includes a PCI configuration register 242a, a memory mapped I / O (MMIO) register 242b, an address conversion unit 242c, a TLP generation unit 242d, a TLP disassembly unit 242e, and an address conversion unit 242f. .
  • MMIO memory mapped I / O
  • the PCI configuration register 242a is a register set conforming to the use of PCIe.
  • the MMIO register 242b has the following six types of registers 242b-1 to 242b-6, which will be described later with reference to FIGS. 7, 9, and 10 in items [1-4] and [1-5]. .
  • the address conversion unit 242c determines the data to be transmitted to the other CPU 10 based on the command from the processor core 60 and the value of the MMIO register 242b as described later with reference to FIGS. Perform address translation.
  • the TLP generation unit 242d generates a TLP including data to be transmitted to another CPU 10 based on the information obtained by the address conversion unit 242c, and outputs the TLP to the CPU interconnect data link I / F 243.
  • the TLP disassembling unit 242e obtains address information and received data by disassembling (disassembling) the TLP received from another CPU 10, and outputs the address information to the address converting unit 242f, while the received data is sent to the CPU internal bus I. / F241 (buffer 241d) for output.
  • the address conversion unit 242f performs address conversion on the address information received from the TLP disassembly unit 242e based on the value of the MMIO register 242b as described later with reference to FIGS. 7 to 9 in the item [1-4]. The result is output as a command to the CPU internal bus I / F 241 (buffer 241c).
  • the operation of the PCIe-NTB port upper layer 24 configured as described above will be briefly described.
  • the CPU internal bus I / F 241 converts the data to the other CPU 10 into data conforming to the PCI specification. Convert.
  • the transaction layer 242 generates a TLP based on data from the CPU internal bus I / F 241.
  • the CPU interconnect data link I / F 243 converts the TLP from the transaction layer 242 into a packet conforming to the communication specification (CPU interconnect) between the port 20 and the other CPU 10.
  • the CPU interconnect data link I / F 243 first converts a packet from the other CPU 10 into a TLP. . Then, the transaction layer 242 generates data conforming to the PCI specification based on the TLP from the CPU interconnect data link I / F 243. Thereafter, the CPU internal bus I / F 241 converts data from the transaction layer 242 into data for the processor core 60 or the memory (I / O device) 70.
  • FIG. 7 is a block diagram illustrating an address conversion function by the address conversion units 242c and 242f of the transaction layer 242 shown in FIG.
  • FIG. 7 shows transfer of write data from the processor core 60 of the CPU 10A belonging to the partition # 0 to the memory 70 of the CPU 10D belonging to the partition # 1.
  • the processor core 60 of partition # 0 on the transmission side writes the write data to be sent to the memory 70 of partition # 1 with the BAR 242b-1 of NTB of partition # 0 as the destination.
  • the address at this time is A.
  • This address A is an address belonging to the memory space of the partition # 0.
  • the address conversion unit 242c in the PCIe-NTB port upper layer 24 of the partition # 0 confirms that the write address is within the range between the lower limit value and the upper limit value, and performs address conversion. At this time, if the set value (lower limit value) of BAR 242b-1 is B, the address conversion unit 242c confirms that the address A is not less than the set value B and not more than the upper limit value set in the LAR 242b-2. The value indicated by AB is output as the converted address.
  • the translated address AB is an address belonging to the CPU interconnect address space.
  • the address conversion unit 242f in the PCIe-NTB port upper layer 24 of the partition # 1 that has received the data converts the address AB of the received data into an address in the memory space of the partition # 1.
  • the setting value (lower limit; target address (TA)) of BAR 242b-1 of partition # 1 is C
  • the converted address is AB + C
  • this address AB + C is the memory of partition # 1.
  • the PCIe-NTB port upper layer 24 of the partition # 1 executes DMA (Direct Memory Address) using the AB + C as an address to the memory (I / O device) 70 via the CPU internal bus 50. .
  • DMA Direct Memory Address
  • FIG. 8 is a diagram showing the contents of the transaction ID (identification)
  • FIG. 9 is a diagram illustrating the tag conversion / inverse conversion function and the transaction ID conversion / inverse conversion function by the address conversion unit 242f of the transaction layer 242 shown in FIG.
  • FIG. 9 shows a read access from the processor core 60 of the CPU 10A belonging to the partition # 0 to the memory 70 of the CPU 10D belonging to the partition # 1.
  • the address conversion for the address to be read is performed in the same manner as the procedures (A1) to (A4) described above with reference to FIG.
  • read data is transferred from partition # 1 to partition # 0.
  • the transaction ID of the read data has a one-to-one correspondence with the transaction ID of the read request (Read Request) so that the processor core 60 of the partition # 0 of the request source can identify which request the response from the partition # 1 is. It is associated.
  • the transaction ID includes a requester ID and a tag.
  • the requester ID (RID) is read request source information (ID of the processor core 60) including a bus number, a device number, and a function number.
  • the tag is a sequential number generated for each request by the processor core 60, for example.
  • the requester ID (RID) and tag conversion procedure will be described below with reference to FIG. 9 and procedures (B1) to (B6).
  • the processor core 60 of the partition # 0 on the transmission side requests a read request from the PCIe-NTB port upper layer 24 of the partition # 0 with its requester ID.
  • the PCIe-NTB port upper layer 24 of the partition # 0 that has received the read request uses the address conversion unit 242c to set a tag of the received transaction ID so that the read request received by the partition # 0 can be uniquely identified. Perform tag conversion to be replaced. Thereby, the PCIe-NTB port upper layer 24 can uniquely recognize the correspondence between the read request and the read data by using only the tag. At this time, the original transaction ID before tag conversion and the tag value after tag conversion are associated and stored in the first table (not shown). Thereafter, the PCIe-NTB port upper layer 24 of the partition # 0 transfers the read request including the transaction ID after the tag conversion to the PCIe-NTB port upper layer 24 of the partition # 1.
  • the address conversion unit 242f in the PCIe-NTB port upper layer 24 of the partition # 1 that has received the read request partitions the requester ID (the ID of the processor core 60 of the partition # 0) among the transaction IDs of the received read request. RID conversion to be replaced with the requester ID on the # 1 side is performed. The requester ID on the partition # 1 side is used when a response (read data / completion notification; Read Data / Completion) from the memory 70 to the read request returns to the PCIe-NTB port upper layer 24 of the partition # 1. The At this time, the transaction ID before RID conversion is stored in the second table (not shown) in the PCIe-NTB port upper layer 24 of the partition # 1.
  • the address conversion unit 242c in the PCIe-NTB port upper layer 24 of the partition # 1 searches for the transaction ID before RID conversion in the second table using the tag as a key, and based on the requester ID of the received read data. RID reverse conversion is performed to replace the requester ID. Thereafter, the PCIe-NTB port upper layer 24 transfers the read data including the transaction ID after RID reverse conversion to the PCIe-NTB port upper layer 24 of the partition # 0.
  • the address conversion unit 242f in the PCIe-NTB port upper layer 24 of the partition # 0 searches the first table using the tag included in the transaction ID of the received read data as a key, and based on the tag of the transaction ID Perform tag reverse conversion to replace the tag. Thereafter, the PCIe-NTB port upper layer 24 transfers the read data including the transaction ID after the tag reverse conversion to the processor core 60 via the CPU internal bus 50.
  • FIG. 10 is a block diagram for explaining a doorbell function and a scratch pad function by the transaction layer 242 shown in FIG.
  • an NTB port (PCIe-NTB transaction layer 242) has a doorbell function and a scratchpad function for communication between CPUs 10 (for example, CPUs 10A and 10D) belonging to different partitions # 0 and # 1. It has.
  • the doorbell function is a function for raising an interrupt (INT) from the processor core 60 of one partition # 0 or # 1 to the processor core 60 of the other partition # 1 or # 0. It is.
  • the processor core 60 on the transmission side performs writing to the transmission doorbell register 242b-3 of the PCIe-NTB transaction layer 242 on the transmission side by PIO (Programmed I / O).
  • PIO Programmed I / O
  • the PCIe-NTB transaction layer 242 on the transmission side Upon receiving this write, the PCIe-NTB transaction layer 242 on the transmission side generates a message packet (Msg; TLP) and transmits it to the PCIe-NTB transaction layer 242 on the reception side.
  • the message packet at this time is uniquely defined using a mechanism of Vendor Defined Message of the PCIe specification.
  • the PCIe-NTB transaction layer 242 on the receiving side determines that the content received by the message packet is a doorbell. Then, the PCIe-NTB transaction layer 242 on the receiving side executes writing to the receiving doorbell register 242b-4 and notifies the receiving processor core 60 of an interrupt (INT).
  • INT an interrupt
  • the PCIe-NTB transaction layer 242 (NTB port) writes an interrupt instruction for the other CPU 10 from the processor core 60 to the transmission doorbell register 242b-3
  • the PCIe-NTB transaction layer 242 generates a TLP indicating the interrupt and transfers it to the other CPU.
  • the PCIe-NTB transaction layer 242 (NTB port) issues an interrupt instruction to the processor core 60 when an interrupt instruction for the processor core 60 from another CPU 10 is written to the reception doorbell register 242b-4.
  • the scratch pad function is a function used by the processor cores 60 of the partitions # 0 and # 1 to exchange information of about several bytes.
  • the processor core 60 on the transmission side writes the exchange information in the transmission scratchpad register 242b-5 of the PCIe-NTB transaction layer 242 on the transmission side by PIO.
  • the transmitting side PCIe-NTB transaction layer 242 in which the exchange information is written generates a message packet (Msg; TLP) and transmits it to the receiving side PCIe-NTB transaction layer 242.
  • the message packet at this time is uniquely defined using a mechanism of Vendor Defined Message of the PCIe specification.
  • the receiving PCIe-NTB transaction layer 242 Upon receiving the message packet related to the scratch pad function, the receiving PCIe-NTB transaction layer 242 that has received the message packet determines that the content received by the message packet is a scratch pad. Then, the PCIe-NTB transaction layer 242 on the receiving side reflects the contents (exchange information) of the message packet in the receiving scratch pad register 242b-6. The processor core 60 on the receiving side can know the exchange information from the processor core 60 on the transmitting side by reading the contents of the receiving scratch pad register 242b-6 by PIO.
  • the PCIe-NTB transaction layer 242 (NTB port) includes the exchange information when the exchange information to be exchanged with the other CPU 10 is written from the processor core 60 to the transmission scratchpad register 242b-5 of the transaction layer 242. A TLP is generated and transferred to another CPU 10.
  • the PCIe-NTB transaction layer 242 (NTB port) when the exchange information to be exchanged with the processor core 60 from another CPU 10 is written in the receiving scratchpad register 242b-6, the inquiry (PIO) from the processor core 60 In response to this, the processor core 60 is notified of the exchange information of the receiving scratch pad register 242b-6.
  • FIG. 11 is a diagram for explaining packet division and encapsulation by the CPU interconnect data link I / F 243 shown in FIG.
  • the CPU interconnect data link I / F 243 of the transmitting NTB port receives the PCIe TLP from the upstream PCIe-NTB transaction layer 242.
  • the format of TLP is as shown in the upper part of FIG.
  • the CPU interconnect data link I / F 243 divides the received TLP according to the packet size (packet length) of the CPU interconnect, or performs padding, and performs one or more matching to the packet size of the CPU interconnect. Generate a packet.
  • FIG. 11 shows packet division and encapsulation when the received TLP is larger than the packet size of the CPU interconnect. That is, first, the CPU interconnect data link I / F 243 divides the TLP shown in the upper part of FIG. 11 into two packets as shown in the middle part of FIG. The size of one (left side) packet is the same as the packet size of the CPU interconnect. However, since the size of the other (right side) packet is smaller than the packet size of the CPU interconnect, the size of the other packet is the same as the packet size of the CPU interconnect as shown on the right side in the middle of FIG. Padding is performed so that
  • the CPU interconnect data link I / F 243 has a header (Haeder) of the data link layer of the CPU interconnect before and after each of the divided packets as shown in the lower part of FIG. And CRC (Cyclic Redundancy Check) are added. Thereby, each packet is encapsulated.
  • the CPU interconnect data link I / F 243 of the receiving NTB port reconstructs the PCIe TLP from the data link layer packet in a process reverse to the packet splitting and encapsulation process of the transmitting NTB port described above. To do.
  • FIG. 12 is a block diagram showing the main configuration of the server 1 ′ of the second embodiment
  • FIG. 13 shows the detailed configuration of the PCIe-NTB port upper layer (second communication unit) 24 ′ shown in FIG. It is a block diagram.
  • the same reference numerals as those already described indicate the same or substantially the same parts, and the description thereof will be omitted.
  • the CPU 10 in the server 1 ′ of the second embodiment has a PCIe port 81 as shown in FIG.
  • the CPU 10 when the CPU 10 has the PCIe port 81, the CPU 10 includes a PCIe root complex 80 between the CPU internal bus 50 and the PCIe port 81.
  • the CPU internal bus I / F 241 according to the first embodiment may be mounted in the PCIe route complex 80 and shared with other PCIe ports 81.
  • connection destination on the upstream side of the PCIe-NTB port upper layer 24 ′ is not the CPU internal bus 50 but the PCIe root complex 80. It is different from the form (the PCIe-NTB port upper layer 24).
  • the PCIe-NTB port upper layer 24 ' is connected to the PCIe route complex 80, as shown in FIG. 12, and therefore, as shown in FIG. The block of the bus I / F 241 is not necessary.
  • PCIe-NTB transaction layer 242 and the CPU interconnect data link I / F 243 are the same as the PCIe-NTB port upper layer 24 of the first embodiment in the PCIe-NTB port upper layer 24 'of the second embodiment. Similarly provided.
  • the CPU internal bus I / F (first interface) in the first embodiment is set by the PCIe route complex 80.
  • the function 241 is realized. Therefore, according to server 1 'of 2nd Embodiment, the effect similar to 1st Embodiment can be acquired with a simpler structure.
  • Server including the above-described CPU interconnect upper layer (first communication unit) 23, PCIe-NTB port upper layer (second communication unit) 24, 24 ', multiplexer (selection unit) 25, and system F / W (setting unit) 40 All or some of the various functions 1 and 1 'are realized by a computer (including a CPU, an information processing apparatus, and various terminals) executing a predetermined program.
  • a computer including a CPU, an information processing apparatus, and various terminals
  • the program is, for example, flexible disk, CD (CD-ROM, CD-R, CD-RW, etc.), DVD (DVD-ROM, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.), Blu-ray Disc And the like recorded in a computer-readable recording medium.
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, and uses it.
  • the computer is a concept including hardware and an OS (operating system), and means hardware operating under the control of the OS. Further, when the OS is unnecessary and the hardware is operated by the application program alone, the hardware itself corresponds to the computer.
  • the hardware includes at least a microprocessor such as a CPU and means for reading a computer program recorded on a recording medium.
  • the program includes a program code for causing the computer as described above to realize the various functions of the servers 1 and 1 'described above. Also, some of the functions may be realized by the OS instead of the application program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multi Processors (AREA)
  • Information Transfer Systems (AREA)

Abstract

　他の処理部（１０）に接続され他の処理部（１０）との通信を行なうポート（２０）を有する複数の処理部（１０）と、複数の処理部（１０）に対しパーティション構成に則した設定を行なう設定部（４０）と、を備え、ポート（２０）は、前記ポート（２０）の属する処理部（１０）と同一パーティションに属する処理部（１０）との通信を行なう第１通信部（２３）と、前記ポート（２０）の属する処理部（１０）と異なるパーティションに属する処理部（１０）との通信を行なう第２通信部（２４）と、設定部（４０）による設定に応じて第１通信部（２３）と第２通信部（２４）とのいずれか一方を選択し、選択した通信部に他の処理部（１０）との通信を実行させる選択部（２５）と、を有する。これにより、異なるパーティションに属する処理部間の通信が効率よく実現される。

Description

情報処理装置、及び情報処理装置の制御方法
　本発明は、情報処理装置、及び情報処理装置の制御方法に関する。
　サーバ等の情報処理装置は、複数のＣＰＵ（Central Processing Unit）を搭載し、ＣＰＵどうしをＱＰＩ（Quick Path Interconnect), ＨＴ（Hyper Transport）等によってポイントツーポイント接続し、物理パーティショニング機能を有する形態をとる場合がある。
　例えば、図１４は、物理パーティショニング機能を有する情報処理装置（サーバ）１００の基本構成を示すブロック図である。図１４に示すサーバ１００には、４つのＣＰＵ１０１Ａ～１０１Ｄが搭載されている。なお、４つのＣＰＵのうちの一つを特定する場合、符号１０１Ａ～１０１Ｄを用い、任意のＣＰＵを指す場合、符号１０１を用いる。各ＣＰＵ１０１は、２つのＣＰＵインターコネクトポート１０２を有し、４つのＣＰＵ１０１Ａ～１０１Ｄは、ＣＰＵインターコネクトポート１０２およびＣＰＵインターコネクトライン１０３を介してリング状に接続されている。
　図１４に示す例では、サーバ１００が物理バーティショニング機能により２つの物理サーバに分割され、２つのＣＰＵ１０１Ａ，１０１Ｂと２つのＣＰＵ１０１Ｃ，１０１Ｄとが、それぞれ異なるパーティション＃０，＃１に割り当てられている。このとき、パーティション＃０に属する２つのＣＰＵ１０１Ａ，１０１Ｂ間のＣＰＵインターコネクトライン１０３や、パーティション＃１に属する２つのＣＰＵ１０１Ｃ，１０１Ｄ間のＣＰＵインターコネクトライン１０３は、通常通り使用される。一方、異なるパーティション＃０，＃１にまたがるＣＰＵインターコネクトライン１０３、つまりＣＰＵ１０１Ａ，１０１Ｄ間およびＣＰＵ１０１Ｂ，１０１Ｃ間のライン１０３は、物理的に接続されたまま使用されないか、あるいは、ＣＰＵインターコネクトライン１０３への出力がセーブまたはパワーオフした状態に保たれる。
　図１４に示すようにパーティションによって分断された２つのＣＰＵ１０１Ａ，１０１Ｄ間でのデータ通信は、ＣＰＵ１０１Ａ，１０１Ｄ間におけるＣＰＵインターコネクトライン１０３を使用することなく、例えば、図１５または図１６に示す形態で行なわれる。図１５および図１６は、それぞれ、パーティション間の通信形態の一例および他例を示すブロック図である。
　図１５に示す通信形態の一例では、各ＣＰＵ１０１の配下にＰＣＩExpress（登録商標；ＰＣＩｅ（登録商標）；Peripheral Components Interconnect express）スイッチ１０４がそなえられ、各ＰＣＩｅスイッチ１０４のカードスロット１０４ａにＮＩＣ（Network Interface Card）１０５が搭載される。そして、異なるパーティション＃０，＃１にそれぞれ属するＮＩＣ１０５，１０５が、ケーブル１０６を用いてEthernet（登録商標）経由で接続される。これにより、異なるパーティション＃０，＃１にそれぞれ属するＣＰＵ１０１Ａ，１０１Ｄ間でのデータ通信が行なわれる。
　図１６に示す通信形態の他例では、２つのパーティション＃０，＃１にそれぞれ属するＣＰＵ１０１Ａ，１０１Ｄによって共用され且つパーティション分割機能およびＮＴＢ（Non-Transparent Bridge）ポート１０４ｂを有するＰＣＩｅスイッチ１０４′がそなえられる。そして、ＰＣＩｅスイッチ１０４′のＮＴＢポート１０４ｂを用い、異なるパーティション＃０，＃１にそれぞれ属するＣＰＵ１０１Ａ，１０１Ｄ間でのデータ通信が行なわれる。なお、ＮＴＢポートとは、ＰＣＩ仕様において、異なる２つのパーティション間やホスト間でデータを共有するための機能を果たすもので、メモリマップされた空間をポート内に有し、その空間を利用してパーティション間やホスト間でのデータのやりとりが可能なポートである。
特開２００６－４０２８５号公報 特開２０１１－２２１９４５号公報
　図１５に示す通信形態では、異なる２つのパーティション＃０，＃１間のデータ通信を実現するために、別途、２枚のＮＩＣ１０５とケーブル１０６とを用意する必要がある。また、図１６に示す通信形態では、異なる２つのパーティション＃０，＃１間で共有するスイッチ１０４′が必要になる。どちらの通信形態においても、異なるパーティションのＣＰＵ１０１Ａ，１０１Ｄ間で通信をする際にスイッチ１０４，１０４′やネットワークを経由することになるため、ＣＰＵインターコネクトを使用するよりも通信性能は劣る。このように同一サーバ１００内の別パーティションに属するＣＰＵ１０１どうしが通信する場合、低レイテンシで高バンド幅のインターフェイス（ＣＰＵインターコネクトライン１０３）が存在するにも関わらず活用されておらず、ＮＩＣ１０５やＰＣＩｅスイッチ１０４，１０４′等を介して通信が行なわれており、極めて効率が悪い。
　一つの側面で、本発明は、異なるパーティションに属する処理部間の通信を効率よく実現することを目的とする。
　一つの案では、情報処理装置は、複数の処理部と、前記複数の処理部に対しパーティション構成に則した設定を行なう設定部と、を備え、前記複数の処理部のそれぞれは、他の処理部に接続され前記他の処理部との通信を行なうポートを有している。前記ポートは、第１通信部，第２通信部および選択部を有している。前記第１通信部は、前記ポートの属する処理部と同一パーティションに属する処理部との通信を行なう。前記第２通信部は、前記ポートの属する処理部と異なるパーティションに属する処理部との通信を行なう。前記選択部は、前記設定部による前記設定に応じて前記第１通信部と前記第２通信部とのいずれか一方を選択し、選択した通信部に前記他の処理部との通信を実行させる。
　一実施形態によれば、異なるパーティションに属する処理部間の通信を効率よく実現することができる。
第１実施形態としての情報処理装置の要部構成を示すブロック図である。 図１に示す要部構成を適用される、第１実施形態の情報処理装置の全体構成を概略的に示すブロック図である。 図２に示す設定部および図１に示す選択部の機能を説明するフローチャートである。 図２に示す情報処理装置の１パーティション状態を示すブロック図である。 図２に示す情報処理装置の２パーティション状態を示すブロック図である。 図１に示すＮＴＢポート上位層（第２通信部）の詳細構成を示すブロック図である。 図６に示すＮＴＢトランザクション層のアドレス変換部によるアドレス変換機能を説明するブロック図である。 トランザクションＩＤの内容を示す図である。 図６に示すＮＴＢトランザクション層のアドレス変換部によるタグ変換／逆変換機能およびトランザクションＩＤ変換／逆変換機能を説明するブロック図である。 図６に示すＮＴＢトランザクション層によるドアベル機能およびスクラッチパッド機能を説明するブロック図である。 図６に示すＣＰＵインターコネクトデータリンクインターフェイス（第２インターフェイス）によるパケット分割およびカプセル化を説明する図である。 第２実施形態としての情報処理装置の要部構成を示すブロック図である。 図１２に示すＮＴＢポート上位層（第２通信部）の詳細構成を示すブロック図である。 物理パーティショニング機能を有する情報処理装置（サーバ）の基本構成を示すブロック図である。 パーティション間の通信形態の一例を示すブロック図である。 パーティション間の通信形態の他例を示すブロック図である。
　以下、図面を参照して実施の形態を説明する。
　〔１〕第１実施形態の情報処理装置（サーバ）
　〔１－１〕第１実施形態の基本的な構成
　まず、図１～図３を参照しながら、第１実施形態としての情報処理装置（サーバ）１の構成および機能について説明する。なお、図１は、第１実施形態のサーバ１の要部構成を示すブロック図、図２は、図１に示す要部構成を適用される、第１実施形態のサーバ１の全体構成を概略的に示すブロック図である。また、図３は、図２に示すシステムファームウエア（設定部）４０および図１に示すマルチプレクサ（選択部）２５の機能を説明するフローチャート（ステップＳ１～Ｓ７）である。
　図１および図２に示すサーバ１には、４つのＣＰＵ（処理部）１０Ａ～１０Ｄが搭載されている。ここで、４つのＣＰＵのうちの一つを特定する場合、符号１０Ａ～１０Ｄを用い、任意のＣＰＵを指す場合、符号１０を用いる。ＣＰＵ１０どうしは、ＱＰＩ，ＨＴ等によってポイントツーポイント接続される。また、各ＣＰＵ１０は、２つのＣＰＵインターコネクトポート２０を有し、４つのＣＰＵ１０Ａ～１０Ｄは、ＣＰＵインターコネクトポート２０およびＣＰＵインターコネクトライン１１を介してリング状に接続されている。
　各ＣＰＵ１０において、ＣＰＵインターコネクトポート（以下、単にポートという場合がある）２０には、ＣＰＵ内部バス５０を介して、プロセッサコア６０（図７，図９，図１０参照）や、メモリまたはＩ／Ｏ（Input/Output）装置７０（図７，図９参照）が接続されている。
　また、サーバ１は、物理パーティショニング機能を有しており、４つのＣＰＵ１０Ａ～１０Ｄに対しパーティション構成に則した設定を行なうシステムファームウエア（Ｆ／Ｗ；設定部）４０を有している（図２，図４，図５参照）。システムＦ／Ｗ４０は、ネットワーク９０を介しユーザによって操作可能に構成されている。さらに、各ＣＰＵ１０のチップ上において、２つのポート２０のそれぞれにポートモード選択レジスタ（以下、単にレジスタという場合がある）３０が付設されている。レジスタ３０は、ポート２０の動作モードを設定するためのもので、レジスタ３０には、システムＦ／Ｗ４０によって、ＣＰＵ内部バス５０を介し、ユーザからの指示により物理パーティション構成と図４および図５を参照しながら後述する第１情報または第２情報とが設定される。
　各ＣＰＵ１０におけるポート２０は、ＣＰＵ１０のチップ上に備えられ、ＣＰＵインターコネクトライン１１を介して他のＣＰＵ１０に接続され、他の処理部１０との通信を行なう。ポート２０内において、ＣＰＵインターコネクトライン１１とＣＰＵ内部バス５０との間には、物理層２１，データリンク層２２，ＣＰＵインターコネクト上位層２３，ＰＣＩｅ-ＮＴＢポート上位層２４およびマルチプレクサ２５が備えられている。
　ポート２０において、物理層２１，データリンク層２２およびＣＰＵインターコネクト上位層２３は、ＣＰＵインターコネクトライン１１とＣＰＵ内部バス５０との間に備えられる既存の構成である。第１実施形態のポート２０では、当該既存の構成に対し、ＰＣＩｅ-ＮＴＢポート上位層２４およびマルチプレクサ２５が追加されている。
　ここで、データリンク層２２よりも上位のＣＰＵインターコネクト上位層２３は、当該ポート２０の属するＣＰＵ１０と同一パーティションに属するＣＰＵ１０との通信を行なう第１通信部として機能する。このとき、ＣＰＵインターコネクト上位層２３は、ＣＰＵインターコネクトポート２０を、同一パーティションに属する他のＣＰＵ１０との間で全てのメモリアクセスについてメモリ空間を共有するための通信を実行するポートとして機能させる。
　一方、ＰＣＩｅ-ＮＴＢポート上位層２４は、ＣＰＵインターコネクト上位層２３と並列的に備えられ、当該ポート２０の属するＣＰＵ１０と異なるパーティションに属するＣＰＵ１０との通信を行なう第２通信部として機能する。このとき、ＰＣＩｅ-ＮＴＢポート上位層２４は、ＣＰＵインターコネクトポート２０を、ＰＣＩデバイスのＮＴＢ（Non-Transparent Bridge）ポートとして機能させる。ＮＴＢポートは、異なるパーティションに属する他のＣＰＵ１０との間で当該ポート２０の属するＣＰＵ１０を成すプロセッサコア６０によって明示的に指示された通信を実行する。
　また、並列的に備えられた上位層２３，２４と、データリンク層２２との間には、マルチプレクサ２５が備えられている。マルチプレクサ２５は、システムＦ／Ｗ４０による設定に応じて、ＣＰＵインターコネクト上位層２３とＰＣＩｅ-ＮＴＢポート上位層２４とのいずれか一方を選択し、選択した上位層（通信部）２３または２４に他のＣＰＵ１０との通信を実行させる選択部として機能する。
　システムＦ／Ｗ４０は、ネットワーク９０を介してユーザから物理パーティションニングについての指示を受けると（図３のステップＳ１のＹＥＳルート参照）、４つのＣＰＵ１０Ａ～１０Ｄに対し、当該指示によるパーティション構成に則した設定を行なう（図３のステップＳ２参照）。その際、システムＦ／Ｗ４０は、例えば図４または図５に示すように、ポート２０毎に備えられるレジスタ３０に対し、第１情報または第２情報の設定を行なう（図３のステップＳ３，Ｓ４）。ここで、第１情報は、ポート２０と接続される他のＣＰＵ１０が同一パーティションに属することを示す値で、例えば“０”である。第２情報は、ポート２０と接続される他のＣＰＵ１０が異なるパーティションに属することを示す値で、例えば“１”である。
　マルチプレクサ２５は、レジスタ３０に第１情報“０”が設定されている場合（図３のステップＳ５の“０”ルート参照）、ＣＰＵインターコネクト上位層２３を選択するようデータのパスを切り換え、ポート２０をＣＰＵインターコネクトポートとして機能させる（図３のステップＳ６参照）。一方、マルチプレクサ２５は、レジスタ３０に第２情報“１”が設定されている場合（図３のステップＳ５の“１”ルート参照）、ＰＣＩｅ-ＮＴＢポート上位層２４を選択するようデータのパスを切り換え、ポート２０をＮＴＢポートとして機能させる（図３のステップＳ７参照）。
　〔１－２〕第１実施形態の基本的な動作および効果
　次に、上述のような構成を有するサーバ１の基本的な動作について、図４および図５を参照しながら説明する。
　ここで、図４は、サーバ１の１パーティション状態を示すブロック図である。図４に示す状態では、４つのＣＰＵ１０Ａ～１０Ｄは同一パーティションに属しているので、システムＦ／Ｗ４０により、４つのＣＰＵ１０Ａ～１０Ｄにおける全てのレジスタ３０に第１情報“０”が設定される。これに伴い、マルチプレクサ２５によって、ＣＰＵインターコネクト上位層２３が選択されるようデータのパスが切り換えられ、全てのポート２０は、通常のＣＰＵインターコネクトポートとして機能する。したがって、同一パーティションに属する他のＣＰＵ１０との間で全てのメモリアクセスについてメモリ空間を共有するための通信が実行される。
　また、図５は、サーバ１の２パーティション状態を示すブロック図である。図５に示す状態では、サーバ１が物理バーティショニング機能により２つの物理サーバに分割され、２つのＣＰＵ１０Ａ，１０Ｂと２つのＣＰＵ１０Ｃ，１０Ｄとが、それぞれ異なるパーティション＃０，＃１に割り当てられている。
　この場合、同一パーティション＃０に属するＣＰＵ１０Ａ，１０Ｂを相互に接続するポート２０に対応するレジスタ３０には、システムＦ／Ｗ４０により、第１情報“０”が設定される。これに伴い、マルチプレクサ２５により、当該ポート２０ではＣＰＵインターコネクト上位層２３が選択されるようデータのパスが切り換えられ、当該ポート２０は、通常のＣＰＵインターコネクトポートとして機能する。したがって、同一パーティションに属するＣＰＵ１０Ａ，１０Ｂ間で全てのメモリアクセスについてメモリ空間を共有するための通信が実行される。同一パーティション＃１に属するＣＰＵ１０Ｃ，１０Ｄについても上述と同様の設定・選択が行なわれ、ＣＰＵ１０Ｃ，１０Ｄ間で全てのメモリアクセスについてメモリ空間を共有するための通信が実行される。
　一方、異なるパーティション＃０，＃１に属するＣＰＵ１０Ａ，１０Ｄを相互に接続するポート２０に対応するレジスタ３０には、システムＦ／Ｗ４０により、第２情報“１”が設定される。これに伴い、マルチプレクサ２５により、当該ポート２０ではＰＣＩｅ-ＮＴＢポート上位層２４が選択されるようデータのパスが切り換えられ、当該ポート２０は、ＮＴＢポートとして機能する。つまり、通常、未使用になるＣＰＵインターコネクトポート２０をＮＴＢポートとして用いることが可能になる。したがって、ＮＴＢポートを介し、異なるパーティション＃０，＃１に属するＣＰＵ１０Ａ，１０Ｄ間でＣＰＵ１０Ａまたは１０Ｄを成すプロセッサコア６０によって明示的に指示された通信が実行される。異なるパーティション＃０，＃１に属するＣＰＵ１０Ｂ，１０Ｃについても上述と同様の設定・選択が行なわれ、ＣＰＵ１０Ｂ，１０Ｃ間でＣＰＵ１０Ｂまたは１０Ｃを成すプロセッサコア６０によって明示的に指示された通信が実行される。
　上述のように、ＰＣＩｅ-ＮＴＢポート上位層２４を選択し未使用だったポート２０をＮＴＢポートとして機能させ通信を実行することで、ポート２０と他のＣＰＵ１０との間に通信パスが確立される。このように確立された通信パスは、メモリミラーリングパスおよびフェイルオーバーパスの少なくとも一方として用いることができる。
　図１４を参照しながら前述したように、図１４に示す例では、サーバ１００がパーティショニング機能で複数の物理サーバに分割されて使用されているときに、サーバ１００中の２つのＣＰＵ１０１が別々のパーティション＃０，＃１に割り当てられている。この場合、通常、当該２つのＣＰＵ１０１を結ぶポイントツーポイントのＣＰＵインターコネクト（ポート１０２およびライン１０３）は未使用となる。
　これに対し、第１実施形態のサーバ１によれば、従来、異なるパーティションに属するＣＰＵどうしを接続する場合に未使用になっていたＣＰＵインターコネクトポート２０がＰＣＩデバイスのＮＴＢポートとして機能することになる。これにより、異なるパーティション＃０，＃１に属するＣＰＵ１０Ａ，１０Ｄ間またはＣＰＵ１０Ｂ，１０Ｃ間に通信パスが確立され、異なるパーティション間でのメモリミラーリングパスやフェイルオーバーパスとして利用される。したがって、従来、使用していなかったＣＰＵインターコネクト（ポート２０およびライン１１）を利用して、異なるパーティションに属するＣＰＵ１０，１０間の通信を効率よく実現することができる。
　上述したＮＴＢポートは、前述したように、ＰＣＩ仕様において、異なる２つのパーティション間やホスト間でデータを共有するための機能を果たすもので、メモリマップされた空間をポート内に有し、その空間を利用してパーティション間やホスト間でのデータのやりとりが可能なポートである。
　〔１－３〕ＰＣＩｅ-ＮＴＢポート上位層（第２通信部）の詳細構成および動作
　ついで、このようなＮＴＢポートを実現するＰＣＩｅ-ＮＴＢポート上位層（第２通信部）２４の詳細構成（内部構造）および動作について、図６～図１１を参照しながら説明する。
　図６は、ＰＣＩｅ-ＮＴＢポート上位層２４の詳細構成を示すブロック図である。図６に示すように、ＰＣＩｅ-ＮＴＢポート上位層２４は、ＣＰＵ内部バスインターフェイス（Ｉ／Ｆ）２４１，ＰＣＩｅ-ＮＴＢトランザクション層２４２およびＣＰＵインターコネクトデータリンクインターフェイス（Ｉ／Ｆ）２４３を有している。
　ＣＰＵ内部バスＩ／Ｆ（第１インターフェイス）２４１は、ＣＰＵ内部バス５０を介しプロセッサコア６０と接続される。ＣＰＵ内部バスＩ／Ｆ２４１は、キャッシュプロトコル制御を行なうとともに、プロセッサコア６０側のデータ（DATAおよびCMD (command)）とトランザクション層２４２側のＰＣＩｅ使用に準拠したデータとの間の変換を行なう。つまり、ＣＰＵ内部バスＩ／Ｆ２４１は、プロセッサコア６０側のキャッシュラインサイズのデータを、トランザクション層２４２側のＰＣＩｅペイロードサイズのデータに分割／結合する機能を果たす。また、ＣＰＵ内部バスＩ／Ｆ２４１は、トランザクション層２４２側のＰＣＩｅペイロードサイズのデータを、プロセッサコア６０側のキャッシュラインサイズのデータに分割／結合する機能を果たす。
　なお、ＣＰＵ内部バスＩ／Ｆ２４１は、バッファ２４１ａ～２４１ｄを有している。バッファ２４１ａは、ＣＰＵ内部バス５０（プロセッサコア６０）からのコマンドCMD(RX)を受信し、変換後のコマンドは、バッファ２４１ａからトランザクション層２４２へ出力される。同様に、バッファ２４１ｂは、ＣＰＵ内部バス５０（プロセッサコア６０）からのデータDATA(RX)を受信し、変換後のデータは、バッファ２４１ｂからトランザクション層２４２へ出力される。また、バッファ２４１ｃは、トランザクション層２４２からのコマンドを受信し、変換後のコマンドCMD(TX)は、バッファ２４１ｃからＣＰＵ内部バス５０を介してプロセッサコア６０またはメモリ７０へ送信される。同様に、バッファ２４１ｄは、トランザクション層２４２からのデータを受信し、変換後のデータDATA(TX)は、バッファ２４１ｄからＣＰＵ内部バス５０を介してプロセッサコア６０またはメモリ７０へ送信される。
　ＣＰＵインターコネクトデータリンクＩ／Ｆ（第２インターフェイス）２４３は、マルチプレクサ２５，データリンク層２２，物理層２１およびＣＰＵインターコネクトライン１１を介して他のＣＰＵ１０と接続される。ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、トランザクション層２４２で生成されたＴＬＰ（Transaction Layer Packet）の分割／再構成を行なう。ＴＬＰのパケット長とＣＰＵインターコネクトで規定された最大パケット長とが必ずしも一致するとは限らないため、トランザクション層２４２は、必要に応じてＴＬＰの分割あるいは結合を行なう。ＴＬＰのパケット分割およびカプセル化については、項目〔１－６〕において図１１を参照しながら後述する。
　なお、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、バッファ２４３ａ，２４３ｂを有している。バッファ２４３ａは、トランザクション層２４２からのＴＬＰを受信し、分割後または結合後のパケットは、バッファ２４３ａからマルチプレクサ２５，データリンク層２２，物理層２１およびＣＰＵインターコネクトライン１１を介して他のＣＰＵ１０へ送信される。また、バッファ２４３ｂは、他のＣＰＵ１０からのパケットを受信し、分割または結合によって得られたＴＬＰは、バッファ２４３ｂからトランザクション層２４２へ送出される。
　ＰＣＩｅ-ＮＴＢトランザクション層２４２は、ＣＰＵ内部バスＩ／Ｆ２４１とＣＰＵインターコネクトデータリンクＩ／Ｆ２４３との間に配置され、ＴＬＰの生成／解体（assemble/disassemble）およびアドレス変換を行なう。このため、トランザクション層２４２は、ＰＣＩコンフィグレーションレジスタ２４２ａ，メモリマップドＩ／Ｏ（ＭＭＩＯ）レジスタ２４２ｂ，アドレス変換部２４２ｃ，ＴＬＰ生成部２４２ｄ，ＴＬＰ解体部２４２ｅおよびアドレス変換部２４２ｆを有している。
　ＰＣＩコンフィグレーションレジスタ２４２ａは、ＰＣＩｅ使用に準拠したレジスタセットである。
　ＭＭＩＯレジスタ２４２ｂは、項目〔１－４〕，〔１－５〕において図７，図９，図１０を参照しながら後述する、下記６種類のレジスタ２４２ｂ－１～２４２ｂ－６を有している。
・ベースアドレスレジスタ（ＢＡＲ；アドレス変換用レジスタ）２４２ｂ－１
・リミットアドレスレジスタ（ＬＡＲ；アドレス変換用レジスタ）２４２ｂ－２
・送信用ドアベルレジスタ（送信用割込みレジスタ）２４２ｂ－３
・受信用ドアベルレジスタ（受信用割込みレジスタ）２４２ｂ－４
・送信用スクラッチパッドレジスタ（送信用交換情報レジスタ）２４２ｂ－５
・受信用スクラッチパッドレジスタ（受信用交換情報レジスタ）２４２ｂ－６
　アドレス変換部２４２ｃは、他のＣＰＵ１０へ送信すべきデータについて、項目〔１－４〕において図７～図９を参照しながら後述するごとく、プロセッサコア６０からのコマンドおよびＭＭＩＯレジスタ２４２ｂの値に基づきアドレス変換を行なう。
　ＴＬＰ生成部２４２ｄは、アドレス変換部２４２ｃで得られた情報に基づき、他のＣＰＵ１０へ送信すべきデータを含むＴＬＰを生成し、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３へ出力する。
　ＴＬＰ解体部２４２ｅは、他のＣＰＵ１０から受信したＴＬＰを解体（ディスアセンブル）することによりアドレス情報および受信データを得て、アドレス情報をアドレス変換部２４２ｆへ出力する一方、受信データをＣＰＵ内部バスＩ／Ｆ２４１（バッファ２４１ｄ）へ出力する。
　アドレス変換部２４２ｆは、ＴＬＰ解体部２４２ｅから受信したアドレス情報について、項目〔１－４〕において図７～図９を参照しながら後述するごとく、ＭＭＩＯレジスタ２４２ｂの値に基づきアドレス変換を行ない、変換結果をコマンドとしてＣＰＵ内部バスＩ／Ｆ２４１（バッファ２４１ｃ）へ出力する。
　ここで、上述のごとく構成されるＰＣＩｅ-ＮＴＢポート上位層２４の動作について簡単に説明する。
　ＰＣＩｅ-ＮＴＢポート上位層２４がポート２０をＮＴＢポートとして用い他のＣＰＵ１０へのデータ送信を行なう場合、まず、ＣＰＵ内部バスＩ／Ｆ２４１は、他のＣＰＵ１０へのデータをＰＣＩ仕様に準拠するデータに変換する。そして、トランザクション層２４２は、ＣＰＵ内部バスＩ／Ｆ２４１からのデータに基づきＴＬＰを生成する。この後、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、トランザクション層２４２からのＴＬＰを、ポート２０と他のＣＰＵ１０との間の通信仕様（ＣＰＵインターコネクト）に準拠するパケットに変換する。
　一方、ＰＣＩｅ-ＮＴＢポート上位層２４がポート２０をＮＴＢポートとして用い他のＣＰＵ１０からのデータ受信を行なう場合、まず、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、他のＣＰＵ１０からのパケットをＴＬＰに変換する。そして、トランザクション層２４２は、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３からのＴＬＰに基づき、ＰＣＩ仕様に準拠するデータを生成する。この後、ＣＰＵ内部バスＩ／Ｆ２４１は、トランザクション層２４２からのデータをプロセッサコア６０またはメモリ（Ｉ／Ｏ装置）７０へのデータに変換する。
　〔１－４〕アドレス変換
　次に、図７～図９を参照しながら、ＰＣＩｅ-ＮＴＢトランザクション層２４２のアドレス変換部２４２ｃ，２４２ｆによるアドレス変換機能について説明する。各物理パーティション＃０，＃１は別のメモリ空間を有するため、一般的にＮＴＢポートは、アドレス変換機能が必要になる。アドレス変換機能は、ＰＣＩｅ-ＮＴＢトランザクション層２４２において、ＭＭＩＯレジスタ２４２ｂ（レジスタ２４２ｂ－１，２４２ｂ－２）の設定値に基づき、アドレス変換部２４２ｃ，２４２ｆによって実現される。
　まず、図７を参照しながら、上記アドレス変換機能を用いて、パーティション＃０のプロセッサコア６０からパーティション＃１のメモリ（Ｉ／Ｏ装置）７０に対し書込データの転送（Write転送）を行なう場合の手順(A1)～(A4)について説明する。なお、図７は、図６に示すトランザクション層２４２のアドレス変換部２４２ｃ，２４２ｆによるアドレス変換機能を説明するブロック図である。図７では、パーティション＃０に属するＣＰＵ１０Ａのプロセッサコア６０からパーティション＃１に属するＣＰＵ１０Ｄのメモリ７０への書込データの転送が示されている。
　(A1)送信側のパーティション＃０のプロセッサコア６０は、パーティション＃１のメモリ７０宛に送りたい書込データを、パーティション＃０のＮＴＢのＢＡＲ２４２ｂ－１を宛先として書き込む。この時のアドレスをＡとする。このアドレスＡは、パーティション＃０のメモリ空間に属するアドレスである。
　(A2)パーティション＃０のＰＣＩｅ-ＮＴＢポート上位層２４におけるアドレス変換部２４２ｃは、書込アドレスが下限値と上限値との間の範囲内にあることを確認し、アドレス変換を行なう。このとき、ＢＡＲ２４２ｂ－１の設定値（下限値）をＢとすると、アドレス変換部２４２ｃは、アドレスＡが設定値Ｂ以上で且つＬＡＲ２４２ｂ－２に設定された上限値以下であることを確認した上で、Ａ－Ｂで示される値を変換後のアドレスとして出力する。変換後のアドレスＡ－Ｂは、ＣＰＵインターコネクトアドレス空間に属するアドレスである。
　(A3)データを受け取ったパーティション＃１のＰＣＩｅ-ＮＴＢポート上位層２４におけるアドレス変換部２４２ｆは、受信したデータのアドレスＡ－Ｂを、パーティション＃１のメモリ空間のアドレスに変換する。このとき、パーティション＃１のＢＡＲ２４２ｂ－１の設定値（下限値；ターゲットアドレス（ＴＡ））をＣとすると、変換後のアドレスはＡ－Ｂ＋Ｃとなり、このアドレスＡ－Ｂ＋Ｃは、パーティション＃１のメモリ空間に属するアドレスである。
　(A4)パーティション＃１のＰＣＩｅ-ＮＴＢポート上位層２４は、ＣＰＵ内部バス５０を介して、メモリ（Ｉ／Ｏ装置）７０に対し、Ａ－Ｂ＋ＣをアドレスとしてＤＭＡ（Direct Memory Address）を実行する。
　ついで、図８および図９を参照しながら、上記アドレス変換機能を用いて、パーティション＃０のプロセッサコア６０からパーティション＃１のメモリ（Ｉ／Ｏ装置）７０に対する読出アクセス（Read転送）を行なう場合の手順(B1)～(B6)について説明する。なお、図８は、トランザクションＩＤ（identification）の内容を示す図、図９は、図６に示すトランザクション層２４２のアドレス変換部２４２ｆによるタグ変換／逆変換機能およびトランザクションＩＤ変換／逆変換機能を説明するブロック図である。図９では、パーティション＃０に属するＣＰＵ１０Ａのプロセッサコア６０からパーティション＃１に属するＣＰＵ１０Ｄのメモリ７０に対する読出アクセスが示されている。
　読出アクセス（Read転送）の場合も、読出対象のアドレスについてのアドレス変換は、図７を参照しながら上述した手順(A1)～(A4)と同様に行なわれる。ただし、読出アクセスの場合、読出データがパーティション＃１からパーティション＃０の方向へ転送される。要求元のパーティション＃０のプロセッサコア６０が、パーティション＃１からの応答がどの要求に対する応答かを識別できるように、読出データのトランザクションＩＤは、読出要求（Read Request）のトランザクションＩＤと一対一で対応付けられている。図８に示すように、トランザクションＩＤは、リクエスタ（Requester）ＩＤとタグとから構成される。リクエスタＩＤ（ＲＩＤ）は、バス番号，デバイス番号，ファンクション番号を含む読出要求元の情報（プロセッサコア６０のＩＤ）である。タグは、例えば、プロセッサコア６０により要求毎に生成される、シーケンシャルな番号である。以下、図９および手順(B1)～(B6)では、リクエスタＩＤ（ＲＩＤ）およびタグの変換手順を説明する。
　(B1)送信側のパーティション＃０のプロセッサコア６０は、自身のリクエスタＩＤで読出要求をパーティション＃０のＰＣＩｅ-ＮＴＢポート上位層２４に要求する。
　(B2)読出要求を受け取ったパーティション＃０のＰＣＩｅ-ＮＴＢポート上位層２４は、自身が受け取っている読出要求を一意に識別できるように、アドレス変換部２４２ｃにより、受け取ったトランザクションＩＤのうちタグを付け替えるタグ変換を行なう。これにより、ＰＣＩｅ-ＮＴＢポート上位層２４は、タグのみで、読出要求と読出データとの対応を一意に認識できる。このとき、タグ変換前の元のトランザクションＩＤとタグ変換後のタグの値とは対応付けられて第１テーブル（図示略）に記憶される。この後、パーティション＃０のＰＣＩｅ-ＮＴＢポート上位層２４は、タグ変換後のトランザクションＩＤを含む読出要求を、パーティション＃１のＰＣＩｅ-ＮＴＢポート上位層２４に転送する。
　(B3)読出要求を受け取ったパーティション＃１のＰＣＩｅ-ＮＴＢポート上位層２４におけるアドレス変換部２４２ｆは、受け取った読出要求のトランザクションＩＤのうちリクエスタＩＤ（パーティション＃０のプロセッサコア６０のＩＤ）をパーティション＃１側のリクエスタＩＤに付け替えるＲＩＤ変換を行なう。このパーティション＃１側のリクエスタＩＤは、読出要求に対するメモリ７０からの応答（読出データ／完了通知；Read Data / Completion）がパーティション＃１のＰＣＩｅ-ＮＴＢポート上位層２４に戻ってきた際に使用される。このとき、パーティション＃１のＰＣＩｅ-ＮＴＢポート上位層２４において、ＲＩＤ変換前のトランザクションＩＤは第２テーブル（図示略）に記憶される。
　(B4)パーティション＃１のメモリ（Ｉ／Ｏ装置）７０からＰＣＩｅ-ＮＴＢポート上位層２４へ、読出データ（完了通知）が応答される。
　(B5)パーティション＃１のＰＣＩｅ-ＮＴＢポート上位層２４におけるアドレス変換部２４２ｃは、タグをキーにして上記第２テーブルにおけるＲＩＤ変換前のトランザクションＩＤを検索し、受け取った読出データのリクエスタＩＤを元のリクエスタＩＤに付け替えるＲＩＤ逆変換を行なう。この後、ＰＣＩｅ-ＮＴＢポート上位層２４は、ＲＩＤ逆変換後のトランザクションＩＤを含む読出データを、パーティション＃０のＰＣＩｅ-ＮＴＢポート上位層２４に転送する。
　(B6)パーティション＃０のＰＣＩｅ-ＮＴＢポート上位層２４におけるアドレス変換部２４２ｆは、受け取った読出データのトランザクションＩＤに含まれるタグをキーにして上記第１テーブルを検索し、トランザクションＩＤのタグを元のタグに付け替えるタグ逆変換を行なう。この後、ＰＣＩｅ-ＮＴＢポート上位層２４は、タグ逆変換後のトランザクションＩＤを含む読出データを、ＣＰＵ内部バス５０を介しプロセッサコア６０に転送する。
　〔１－５〕ドアベル機能およびスクラッチパッド機能
　次に、図１０を参照しながら、ＰＣＩｅ-ＮＴＢトランザクション層２４２によるドアベル機能およびスクラッチパッド機能について説明する。なお、図１０は、図６に示すトランザクション層２４２によるドアベル機能およびスクラッチパッド機能を説明するブロック図である。
　異なるパーティション＃０，＃１に属するＣＰＵ１０（例えばＣＰＵ１０Ａ，１０Ｄ）どうしの通信のため、一般的に、ＮＴＢポート（ＰＣＩｅ-ＮＴＢトランザクション層２４２）は、ドアベル（Doorbell）機能およびスクラッチパッド（Scratchpad）機能を備えている。
　〔１－５－１〕ドアベル機能
　ドアベル機能は、一方のパーティション＃０または＃１のプロセッサコア６０から他方のパーティション＃１または＃０のプロセッサコア６０に対して割り込み（INT）を上げるための機能である。送信側のプロセッサコア６０は、ＰＩＯ（Programmed I/O）によって、送信側のＰＣＩｅ-ＮＴＢトランザクション層２４２の送信用ドアベルレジスタ２４２ｂ－３への書込みを実行する。この書込みを受けた送信側のＰＣＩｅ-ＮＴＢトランザクション層２４２は、メッセージパケット（Msg；ＴＬＰ）を生成し、受信側のＰＣＩｅ-ＮＴＢトランザクション層２４２へ送信する。このときのメッセージパケットは、ＰＣＩｅ仕様のVendor Defined Messageの仕組みを用いて独自に定義される。メッセージパケットを受け取った受信側のＰＣＩｅ-ＮＴＢトランザクション層２４２は、ドアベル機能に係るメッセージパケットを受信すると、メッセージパケットにより受け取った内容をドアベルと判断する。そして、受信側のＰＣＩｅ-ＮＴＢトランザクション層２４２は、受信用ドアベルレジスタ２４２ｂ－４への書込みを実行し、受信側のプロセッサコア６０に対して割り込み（INT）を通知する。
　つまり、ＰＣＩｅ-ＮＴＢトランザクション層２４２（ＮＴＢポート）は、プロセッサコア６０から他のＣＰＵ１０に対する割込み指示を送信用ドアベルレジスタ２４２ｂ－３に書き込まれると、割込みを指示するＴＬＰを生成し他のＣＰＵへ転送する。一方、ＰＣＩｅ-ＮＴＢトランザクション層２４２（ＮＴＢポート）は、他のＣＰＵ１０からプロセッサコア６０に対する割込み指示を受信用ドアベルレジスタ２４２ｂ－４に書き込まれると、プロセッサコア６０に対する割込み指示を行なう。
　〔１－５－２〕スクラッチパッド機能
　スクラッチパッド機能は、各パーティション＃０，＃１のプロセッサコア６０が数バイト程度の情報を交換するために使用される機能である。送信側のプロセッサコア６０は、ＰＩＯによって、送信側のＰＣＩｅ-ＮＴＢトランザクション層２４２の送信用スクラッチパッドレジスタ２４２ｂ－５に交換情報を書き込む。交換情報を書き込まれた送信側のＰＣＩｅ-ＮＴＢトランザクション層２４２は、メッセージパケット（Msg；ＴＬＰ）を生成し、受信側のＰＣＩｅ-ＮＴＢトランザクション層２４２へ送信する。このときのメッセージパケットは、ＰＣＩｅ仕様のVendor Defined Messageの仕組みを用いて独自に定義される。メッセージパケットを受け取った受信側のＰＣＩｅ-ＮＴＢトランザクション層２４２は、スクラッチパッド機能に係るメッセージパケットを受信すると、メッセージパケットにより受け取った内容をスクラッチパッドと判断する。そして、受信側のＰＣＩｅ-ＮＴＢトランザクション層２４２は、メッセージパケットの内容（交換情報）を受信用スクラッチパッドレジスタ２４２ｂ－６に反映する。受信側のプロセッサコア６０は、ＰＩＯによって受信用スクラッチパッドレジスタ２４２ｂ－６の内容を読み出すことで、送信側のプロセッサコア６０からの交換情報を知ることが可能になっている。
　つまり、ＰＣＩｅ-ＮＴＢトランザクション層２４２（ＮＴＢポート）は、プロセッサコア６０から他のＣＰＵ１０と交換すべき交換情報をトランザクション層２４２の送信用スクラッチパッドレジスタ２４２ｂ－５に書き込まれると、当該交換情報を含むＴＬＰを生成し他のＣＰＵ１０へ転送する。一方、ＰＣＩｅ-ＮＴＢトランザクション層２４２（ＮＴＢポート）は、他のＣＰＵ１０からプロセッサコア６０と交換すべき交換情報を受信用スクラッチパッドレジスタ２４２ｂ－６に書き込まれると、プロセッサコア６０からの問合せ（ＰＩＯ）に応じて、受信用スクラッチパッドレジスタ２４２ｂ－６の交換情報をプロセッサコア６０に通知する。
　〔１－６〕ＴＬＰの分割およびカプセル化
　次に、図１１を参照しながら、ＣＰＵインターコネクトデータリンクＩ／Ｆ（第２インターフェイス）２４３によるパケット分割およびカプセル化について説明する。なお、図１１は、図６に示すＣＰＵインターコネクトデータリンクＩ／Ｆ２４３によるパケット分割およびカプセル化を説明する図である。
　送信側ＮＴＢポートのＣＰＵインターコネクトデータリンクＩ／Ｆ２４３では、以下のような処理が行なわれる。まず、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、上流のＰＣＩｅ-ＮＴＢトランザクション層２４２からＰＣＩｅのＴＬＰを受信する。ＴＬＰのフォーマットは、図１１の上段に示すとおりである。ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、受信したＴＬＰをＣＰＵインターコネクトのパケットサイズ（パケット長）に合わせて分割したり、パディング（padding）を行なったりして、ＣＰＵインターコネクトのパケットサイズに揃えた一以上のパケットを生成する。
　図１１では、受信したＴＬＰがＣＰＵインターコネクトのパケットサイズよりも大きい場合の、パケット分割およびカプセル化が示されている。つまり、まず、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、図１１の上段に示すＴＬＰを、図１１の中段に示すように、２つのパケットに分割する。一方（左側）のパケットのサイズは、ＣＰＵインターコネクトのパケットサイズと同じである。しかし、他方（右側）のパケットのサイズは、ＣＰＵインターコネクトのパケットサイズよりも小さいため、他方のパケットに対しては、図１１の中段の右側に示すごとく、そのサイズがＣＰＵインターコネクトのパケットサイズと同じになるよう、パディングが行なわれている。
　さらに、図１１に示す例では、ＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、２つに分けられたパケットそれぞれの前後に、同図の下段に示すように、ＣＰＵインターコネクトのデータリンク層のヘッダ（Haeder）およびＣＲＣ（Cyclic Redundancy Check）を付加する。これにより、各パケットは、カプセル化される。一方、受信側ＮＴＢポートのＣＰＵインターコネクトデータリンクＩ／Ｆ２４３は、上述した送信側ＮＴＢポートでのパケット分割およびカプセル化のプロセスとは逆のプロセスで、データリンク層のパケットからＰＣＩｅのＴＬＰを再構築する。
　〔２〕第２実施形態の情報処理装置（サーバ）
　次に、図１２および図１３を参照しながら、第２実施形態としての情報処理装置（サーバ）１′の構成について説明する。なお、図１２は、第２実施形態のサーバ１′の要部構成を示すブロック図、図１３は、図１２に示すＰＣＩｅ-ＮＴＢポート上位層（第２通信部）２４′の詳細構成を示すブロック図である。図中、既述の符号と同一の符号は、同一もしくはほぼ同一の部分を示しているので、その説明は省略する。
　第２実施形態のサーバ１′におけるＣＰＵ１０は、図１２に示すように、ＰＣＩｅポート８１を有している。このようにＣＰＵ１０がＰＣＩｅポート８１を有している場合、ＣＰＵ１０は、ＣＰＵ内部バス５０とＰＣＩｅポート８１との間にＰＣＩｅルートコンプレクス（Root Complex）８０を備えている。この場合、第１実施形態のＣＰＵ内部バスＩ／Ｆ２４１をＰＣＩｅルートコンプレクス８０内に実装し他のＰＣＩｅポート８１と共用する形態とすることができる。
　つまり、第２実施形態は、図１２に示すように、ＰＣＩｅ-ＮＴＢポート上位層２４′の上流側の接続先が、ＣＰＵ内部バス５０ではなく、ＰＣＩｅルートコンプレクス８０である点で、第１実施形態（ＰＣＩｅ-ＮＴＢポート上位層２４）と異なっている。
　第２実施形態では、図１２に示すように、ＰＣＩｅ-ＮＴＢポート上位層２４′がＰＣＩｅルートコンプレクス８０と接続されるので、図１３に示すように、第１実施形態では必要であったＣＰＵ内部バスＩ／Ｆ２４１のブロックは不要となる。そのほかのブロック（ＰＣＩｅ-ＮＴＢトランザクション層２４２およびＣＰＵインターコネクトデータリンクＩ／Ｆ２４３）は、第２実施形態のＰＣＩｅ-ＮＴＢポート上位層２４′においても、第１実施形態のＰＣＩｅ-ＮＴＢポート上位層２４と同様に備えられる。
　このように、第２実施形態のサーバ１′では、ＣＰＵ１０がＰＣＩｅポート８１およびＰＣＩｅルートコンプレクス８０を有する場合、ＰＣＩｅルートコンプレクス８０によって、第１実施形態におけるＣＰＵ内部バスＩ／Ｆ（第１インターフェイス）２４１の機能が実現される。したがって、第２実施形態のサーバ１′によれば、より簡素な構成で、第１実施形態と同様の作用効果を得ることができる。
　〔３〕その他
　以上、本発明の好ましい実施形態について詳述したが、本発明は、係る特定の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。
　なお、上述した実施形態では、一つのサーバ１に４つのＣＰＵ１０Ａ～１０Ｄを備えた場合について説明したが、本発明は、これに限定されるものではない。
　上述したＣＰＵインターコネクト上位層（第１通信部）２３，ＰＣＩｅ-ＮＴＢポート上位層（第２通信部）２４，２４′，マルチプレクサ（選択部）２５およびシステムＦ／Ｗ（設定部）４０を含むサーバ１，１′の各種機能の全部もしくは一部は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が所定のプログラムを実行することによって実現される。
　そのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ－ＲＯＭ，ＣＤ－Ｒ，ＣＤ－ＲＷなど），ＤＶＤ（ＤＶＤ－ＲＯＭ，ＤＶＤ－ＲＡＭ，ＤＶＤ－Ｒ，ＤＶＤ－ＲＷ，ＤＶＤ＋Ｒ，ＤＶＤ＋ＲＷなど），ブルーレイディスク等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。
　ここで、コンピュータとは、ハードウエアとＯＳ（オペレーティングシステム）とを含む概念であり、ＯＳの制御の下で動作するハードウエアを意味している。また、ＯＳが不要でアプリケーションプログラム単独でハードウエアを動作させるような場合には、そのハードウエア自体がコンピュータに相当する。ハードウエアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取る手段とをそなえている。上記プログラムは、上述のようなコンピュータに、上述したサーバ１，１′の各種機能を実現させるプログラムコードを含んでいる。また、その機能の一部は、アプリケーションプログラムではなくＯＳによって実現されてもよい。
　１，１′　　情報処理装置（サーバ）
　１０，１０Ａ～１０Ｄ　　ＣＰＵ（処理部）
　１１　　ＣＰＵインターコネクトライン
　２０　　ＣＰＵインターコネクトポート（ポート，ＮＴＢポート）
　２１　　物理層
　２２　　データリンク層
　２３　　ＣＰＵインターコネクト上位層（第１通信部）
　２４，２４′　　ＰＣＩｅ-ＮＴＢポート上位層（第２通信部）
　２４１　　ＣＰＵ内部バスインターフェイス（第１インターフェイス）
　２４１ａ～２４１ｄ　　バッファ
　２４２　　ＰＣＩｅ-ＮＴＢトランザクション層（ＮＴＢトランザクション層）
　２４２ａ　　ＰＣＩコンフィグレーションレジスタ
　２４２ｂ　　メモリマップドＩ／Ｏ（ＭＭＩＯ）レジスタ
　２４２ｂ－１　　ベースアドレスレジスタ（ＢＡＲ；アドレス変換用レジスタ）
　２４２ｂ－２　　リミットアドレスレジスタ（ＬＡＲ；アドレス変換用レジスタ）
　２４２ｂ－３　　送信用ドアベルレジスタ（送信用割込みレジスタ）
　２４２ｂ－４　　受信用ドアベルレジスタ（受信用割込みレジスタ）
　２４２ｂ－５　　送信用スクラッチパッドレジスタ（送信用交換情報レジスタ）
　２４２ｂ－６　　受信用スクラッチパッドレジスタ（受信用交換情報レジスタ）
　２４２ｃ　　アドレス変換部
　２４２ｄ　　ＴＬＰ生成部
　２４２ｅ　　ＴＬＰ解体部
　２４２ｆ　　アドレス変換部
　２４３　　ＣＰＵインターコネクトデータリンクインターフェイス（第２インターフェイス）
　２４３ａ，２４３ｂ　　バッファ
　２５　　マルチプレクサ（選択部）
　３０　　ポートモード選択レジスタ（レジスタ）
　４０　　システムファームウエア（設定部）
　５０　　ＣＰＵ内部バス
　６０　　プロセッサコア
　７０　　メモリまたはＩ／Ｏ装置
　８０　　ＰＣＩｅルートコンプレクス（第１インターフェイス）
　８１　　ＰＣＩｅポート
　９０　　ネットワーク

Claims (16)

  1. 　複数の処理部と、
    　前記複数の処理部に対しパーティション構成に則した設定を行なう設定部と、を備え、
    　前記複数の処理部のそれぞれは、他の処理部に接続され前記他の処理部との通信を行なうポートを有し、
    　前記ポートは、
    　　前記ポートの属する処理部と同一パーティションに属する処理部との通信を行なう第１通信部と、
    　　前記ポートの属する処理部と異なるパーティションに属する処理部との通信を行なう第２通信部と、
    　　前記設定部による前記設定に応じて前記第１通信部と前記第２通信部とのいずれか一方を選択し、選択した通信部に前記他の処理部との通信を実行させる選択部と、を有することを特徴とする情報処理装置。
  2. 　前記複数の処理部のそれぞれは、
    　前記設定部により、前記他の処理部が前記同一パーティションに属することを示す第１情報、または、前記他の処理部が前記異なるパーティションに属することを示す第２情報を設定されるレジスタをさらに有し、
    　前記選択部は、前記第１情報が前記レジスタに設定されている場合、前記第１通信部を選択する一方、前記第２情報が前記レジスタに設定されている場合、前記第２通信部を選択することを特徴とする、請求項１に記載の情報処理装置。
  3. 　前記第１通信部は、前記同一パーティションに属する前記他の処理部との間で、全てのメモリアクセスについてメモリ空間を共有するための通信を実行することを特徴とする、請求項１または請求項２に記載の情報処理装置。
  4. 　前記第２通信部は、前記異なるパーティションに属する前記他の処理部との間で、前記ポートの属する処理部を成すプロセッサコアによって明示的に指示された通信を実行することを特徴とする、請求項１～請求項３のいずれか一項に記載の情報処理装置。
  5. 　前記第２通信部が通信を実行することにより、前記ポートは、ＰＣＩ（Peripheral Components Interconnect）デバイスのＮＴＢ（Non-Transparent Bridge）ポートとして機能することを特徴とする、請求項４に記載の情報処理装置。
  6. 　前記第２通信部は、
    　　前記プロセッサコアと接続される第１インターフェイスと、
    　　前記他の処理部と接続される第２インターフェイスと、
    　　前記第１インターフェイス部と前記第２インターフェイスとの間に配置されるＮＴＢトランザクション層と、を有し、
    　前記第２通信部が前記ポートを前記ＮＴＢポートとして用い前記他の処理部へのデータ送信を行なう場合、前記第１インターフェイスは、前記他の処理部へのデータをＰＣＩ仕様に準拠するデータに変換し、前記ＮＴＢトランザクション層は、前記第１インターフェイスからのデータに基づきＴＬＰ（Transaction Layer Packet）を生成し、前記第２インターフェイスは、前記ＮＴＢトランザクション層からのＴＬＰを、前記ポートと前記他の処理部との間の通信仕様に準拠するパケットに変換する一方、
    　前記第２通信部が前記ポートを前記ＮＴＢポートとして用い前記他の処理部からデータ受信を行なう場合、前記第２インターフェイスは、前記他の処理部からのパケットをＴＬＰに変換し、前記ＮＴＢトランザクション層は、前記第２インターフェイスからのＴＬＰに基づき、ＰＣＩ仕様に準拠するデータを生成し、前記第１インターフェイスは、前記ＮＴＢトランザクション層からのデータを前記プロセッサコアまたはメモリへのデータに変換することを特徴とする、請求項５に記載の情報処理装置。
  7. 　前記複数の処理部のそれぞれは、ＰＣＩポートおよびルートコンプレクスを有し、
    　前記第２通信部の前記第１インターフェイスは、前記ルートコンプレクスによって構成されることを特徴とする、請求項６に記載の情報処理装置。
  8. 　前記第２通信部は、
    　前記プロセッサコアから前記他の処理部に対する割込み指示を前記ＮＴＢトランザクション層の送信用割込みレジスタに書き込まれると、割込みを指示するＴＬＰを生成し前記他の処理部へ転送する一方、
    　前記他の処理部から前記プロセッサコアに対する割込み指示を前記ＮＴＢトランザクション層の受信用割込みレジスタに書き込まれると、前記プロセッサコアに対する割込み指示を行なうことを特徴とする、請求項６または請求項７に記載の情報処理装置。
  9. 　前記第２通信部は、
    　前記プロセッサコアから前記他の処理部と交換すべき交換情報を前記ＮＴＢトランザクション層の送信用交換情報レジスタに書き込まれると、前記交換情報を含むＴＬＰを生成し前記他の処理部へ転送する一方、
    　前記他の処理部から前記プロセッサコアと交換すべき交換情報を前記ＮＴＢトランザクション層の受信用交換情報レジスタに書き込まれると、前記プロセッサコアからの問合せに応じて、前記受信用交換情報レジスタの交換情報を前記プロセッサコアに通知することを特徴とする、請求項６～請求項８のいずれか一項に記載の情報処理装置。
  10. 　前記第２通信部が通信を実行することにより、前記ポートと前記他の処理部との間に確立されるパスは、メモリミラーリングパスおよびフェイルオーバーパスの少なくとも一方として機能することを特徴する、請求項１～請求項９のいずれか一項に記載の情報処理装置。
  11. 　他の処理部に接続され前記他の処理部との通信を行なうポートを有する複数の処理部を備えた情報処理装置において、前記複数の処理部に対しパーティション構成に則した設定を行なう制御方法であって、
    　前記ポートにおいて、前記ポートの属する処理部と同一パーティションに属する処理部との通信を行なう第１通信部と、前記ポートの属する処理部と異なるパーティションに属する処理部との通信を行なう第２通信部と、を備え、
    　前記設定に応じて前記第１通信部と前記第２通信部とのいずれか一方を選択し、選択した通信部に前記他の処理部との通信を実行させることを特徴とする情報処理装置の制御方法。
  12. 　前記複数の処理部のそれぞれに、前記他の処理部が前記同一パーティションに属することを示す第１情報、または、前記他の処理部が前記異なるパーティションに属することを示す第２情報を設定されるレジスタを備え、
    　前記第１情報が前記レジスタに設定されている場合、前記第１通信部を選択する一方、前記第２情報が前記レジスタに設定されている場合、前記第２通信部を選択することを特徴とする、請求項１１に記載の情報処理装置の制御方法。
  13. 　前記第１通信部に、前記同一パーティションに属する前記他の処理部との間で、全てのメモリアクセスについてメモリ空間を共有するための通信を実行させることを特徴とする、請求項１１または請求項１２に記載の情報処理装置の制御方法。
  14. 　前記第２通信部に、前記異なるパーティションに属する前記他の処理部との間で、前記ポートの属する処理部を成すプロセッサコアによって明示的に指示された通信を実行させることを特徴とする、請求項１１～請求項１３のいずれか一項に記載の情報処理装置の制御方法。
  15. 　前記第２通信部が通信を実行することにより、前記ポートを、ＰＣＩ（Peripheral Components Interconnect）デバイスのＮＴＢ（Non-Transparent Bridge）ポートとして機能させることを特徴とする、請求項１４に記載の情報処理装置の制御方法。
  16. 　前記第２通信部が通信を実行することにより、前記ポートと前記他の処理部との間に確立されるパスを、メモリミラーリングパスおよびフェイルオーバーパスの少なくとも一方として機能させることを特徴する、請求項１１～請求項１５のいずれか一項に記載の情報処理装置の制御方法。
PCT/JP2012/070896 2012-08-17 2012-08-17 情報処理装置、及び情報処理装置の制御方法 WO2014027416A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014530424A JP5930046B2 (ja) 2012-08-17 2012-08-17 情報処理装置、及び情報処理装置の制御方法
PCT/JP2012/070896 WO2014027416A1 (ja) 2012-08-17 2012-08-17 情報処理装置、及び情報処理装置の制御方法
US14/622,985 US20150160984A1 (en) 2012-08-17 2015-02-16 Information processing apparatus and method for controlling information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/070896 WO2014027416A1 (ja) 2012-08-17 2012-08-17 情報処理装置、及び情報処理装置の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/622,985 Continuation US20150160984A1 (en) 2012-08-17 2015-02-16 Information processing apparatus and method for controlling information processing apparatus

Publications (1)

Publication Number Publication Date
WO2014027416A1 true WO2014027416A1 (ja) 2014-02-20

Family

ID=50685479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/070896 WO2014027416A1 (ja) 2012-08-17 2012-08-17 情報処理装置、及び情報処理装置の制御方法

Country Status (3)

Country Link
US (1) US20150160984A1 (ja)
JP (1) JP5930046B2 (ja)
WO (1) WO2014027416A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009368A (ja) * 2014-06-25 2016-01-18 日本電気株式会社 Ｉｏ装置の管理装置、ｉｏ装置の管理方法及びプログラム
WO2016074619A1 (zh) * 2014-11-14 2016-05-19 华为技术有限公司 基于PCIe总线的数据传输方法和装置
WO2018198325A1 (ja) * 2017-04-28 2018-11-01 株式会社日立製作所 ストレージシステム
JP2021507390A (ja) * 2017-12-19 2021-02-22 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ 寿命平均化のためのブート時の物理コア割り当てに関する論理的な疑似ランダム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022715A (zh) * 2015-07-08 2015-11-04 浪潮(北京)电子信息产业有限公司 一种服务器背板互连方法和系统
TWI597953B (zh) * 2015-11-25 2017-09-01 財團法人工業技術研究院 具故障轉移能力的快速周邊元件互連網路系統與操作方法
BR112017008674A2 (pt) * 2015-12-17 2018-06-19 Huawei Tech Co Ltd método de processamento de solicitação de gravação, processador, e computador
US10191878B2 (en) * 2016-05-11 2019-01-29 Tolefonaktiebolaget LM Ericsson (Publ) High availability of PCIe devices under multiple processors to provide redundancy

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030162A (ja) * 2001-05-17 2003-01-31 Fujitsu Ltd コンピュータシステム
JP2006040285A (ja) * 2004-07-29 2006-02-09 Hewlett-Packard Development Co Lp パーティショニングされたデバイス間の通信
JP2009151767A (ja) * 2007-12-03 2009-07-09 Internatl Business Mach Corp <Ibm> データ処理システム内で入出力（ｉ／ｏ）仮想化を管理するための方法およびコンピュータ・プログラムならびにデータ処理システム
WO2011045919A1 (ja) * 2009-10-15 2011-04-21 日本電気株式会社 分散システム、通信手段選択方法および通信手段選択プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3490212B2 (ja) * 1996-04-08 2004-01-26 株式会社日立製作所 情報処理装置の入出力チャネル拡張方法
JPH09231187A (ja) * 1996-02-22 1997-09-05 Hitachi Ltd 並列計算機のデータ転送方法
JP4213415B2 (ja) * 2001-06-29 2009-01-21 富士通株式会社 共有リソースを有し、区画に分割されたシステムにおけるエラー抑制及びエラー処理
US7398380B1 (en) * 2004-02-13 2008-07-08 Fabric7 Systems, Inc. Dynamic hardware partitioning of symmetric multiprocessing systems
US7062594B1 (en) * 2004-06-30 2006-06-13 Emc Corporation Root complex connection system
JP4733399B2 (ja) * 2005-01-28 2011-07-27 株式会社日立製作所 計算機システム、計算機、ストレージ装置及び管理端末
JP5068056B2 (ja) * 2006-10-11 2012-11-07 株式会社日立製作所 障害回復方法、計算機システム及び管理サーバ
US8244951B2 (en) * 2008-09-25 2012-08-14 Intel Corporation Method and apparatus to facilitate system to system protocol exchange in back to back non-transparent bridges
US7913027B2 (en) * 2009-04-07 2011-03-22 Lsi Corporation Configurable storage array controller
JP5585820B2 (ja) * 2010-04-14 2014-09-10 株式会社日立製作所 データ転送装置、計算機システム及びメモリコピー装置
US8589613B2 (en) * 2010-06-02 2013-11-19 Intel Corporation Method and system to improve the operations of an integrated non-transparent bridge device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030162A (ja) * 2001-05-17 2003-01-31 Fujitsu Ltd コンピュータシステム
JP2006040285A (ja) * 2004-07-29 2006-02-09 Hewlett-Packard Development Co Lp パーティショニングされたデバイス間の通信
JP2009151767A (ja) * 2007-12-03 2009-07-09 Internatl Business Mach Corp <Ibm> データ処理システム内で入出力（ｉ／ｏ）仮想化を管理するための方法およびコンピュータ・プログラムならびにデータ処理システム
WO2011045919A1 (ja) * 2009-10-15 2011-04-21 日本電気株式会社 分散システム、通信手段選択方法および通信手段選択プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009368A (ja) * 2014-06-25 2016-01-18 日本電気株式会社 Ｉｏ装置の管理装置、ｉｏ装置の管理方法及びプログラム
WO2016074619A1 (zh) * 2014-11-14 2016-05-19 华为技术有限公司 基于PCIe总线的数据传输方法和装置
CN105653481A (zh) * 2014-11-14 2016-06-08 华为技术有限公司 基于PCIe总线的数据传输方法和装置
CN105653481B (zh) * 2014-11-14 2019-03-26 华为技术有限公司 基于PCIe总线的数据传输方法和装置
WO2018198325A1 (ja) * 2017-04-28 2018-11-01 株式会社日立製作所 ストレージシステム
JP2018190368A (ja) * 2017-04-28 2018-11-29 株式会社日立製作所 ストレージシステム
JP2021507390A (ja) * 2017-12-19 2021-02-22 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ 寿命平均化のためのブート時の物理コア割り当てに関する論理的な疑似ランダム
JP7421480B2 (ja) 2017-12-19 2024-01-24 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 寿命平均化のためのブート時の物理コア割り当てに関する論理的な疑似ランダム

Also Published As

Publication number Publication date
JP5930046B2 (ja) 2016-06-08
US20150160984A1 (en) 2015-06-11
JPWO2014027416A1 (ja) 2016-07-25

Similar Documents

Publication Publication Date Title
JP5930046B2 (ja) 情報処理装置、及び情報処理装置の制御方法
JP7118922B2 (ja) スイッチングデバイス、ペリフェラル・コンポーネント・インターコネクト・エクスプレスシステムおよびその初期化方法
US7979621B2 (en) Transparent PCI-based multi-host switch
JP5440507B2 (ja) マルチルートｐｃｉエクスプレススイッチ、その起動方法、及び、マルチルートｐｃｉマネージャプログラム
US7694047B1 (en) Method and system for sharing input/output devices
JP5360607B2 (ja) Ｐｃｉエクスプレススイッチ、ｐｃｉエクスプレスシステム、及びネットワーク制御方法
US7979592B1 (en) Virtualization bridge device
US9256560B2 (en) Controller integration
US7783822B2 (en) Systems and methods for improving performance of a routable fabric
US20060230218A1 (en) Method and apparatus for SATA tunneling over fibre channel
JP5903801B2 (ja) 通信装置およびｉｄ設定方法
US20230018225A1 (en) Apparatus and mechanism to bypass pcie address translation by using alternative routing
JP5469081B2 (ja) 制御パス入出力仮想化方法
US10169279B2 (en) Input/output control device, input/output control system, and input/output control method for conversion of logical address of instruction into local address of device specified in instruction
TWI791134B (zh) 通信裝置、資訊處理系統及通信方法
TWI309778B (en) Integrated circuit having processor, switch capabilities and ports to receive and forward data
TWI567638B (zh) 多核心處理器、多核心處理系統、及初始化處理核心之方法
JP2013196593A (ja) データ処理装置、データ処理方法及びプログラム
WO2015015652A1 (ja) サーバ間通信機構を備えるサーバシステムおよびその複数サーバ間における通信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12891343

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014530424

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12891343

Country of ref document: EP

Kind code of ref document: A1