WO2010021018A1 - ノード間通信方法 - Google Patents

ノード間通信方法 Download PDF

Info

Publication number
WO2010021018A1
WO2010021018A1 PCT/JP2008/064698 JP2008064698W WO2010021018A1 WO 2010021018 A1 WO2010021018 A1 WO 2010021018A1 JP 2008064698 W JP2008064698 W JP 2008064698W WO 2010021018 A1 WO2010021018 A1 WO 2010021018A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
destination
node
information
crossbar
Prior art date
Application number
PCT/JP2008/064698
Other languages
English (en)
French (fr)
Inventor
淳 川原
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2008/064698 priority Critical patent/WO2010021018A1/ja
Priority to EP08809033A priority patent/EP2320330A1/en
Priority to JP2010525509A priority patent/JP5212476B2/ja
Publication of WO2010021018A1 publication Critical patent/WO2010021018A1/ja
Priority to US12/929,570 priority patent/US8386692B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17356—Indirect interconnection networks
    • G06F15/17368—Indirect interconnection networks non hierarchical topologies
    • G06F15/17375—One dimensional, e.g. linear array, ring

Definitions

  • the present invention relates to an inter-node communication method, and more particularly to an inter-node communication method capable of easily expanding a node in a server system including a system board equipped with a processor and an input / output device.
  • the server system includes, for example, a system board equipped with a processor, a crossbar, an IOC (Input / Output Component: input / output device), and a node controller.
  • a system board equipped with a processor, a crossbar, an IOC (Input / Output Component: input / output device), and a node controller.
  • the bit length of the destination ID used by the IOC or the like is fixed, and therefore the number of destination IDs is limited. This is because the number of bits of the destination ID that is assumed for a large-scale system is not always secured when the server system is installed.
  • the IOC or the like can issue a message only to eight destinations.
  • the IOC or the like can transmit a message to all other IOCs or the like.
  • the number of connection destinations is eight or less, but the number of connection destinations may be nine or more due to the necessity of node expansion after the installation.
  • a message cannot be issued from another IOC or the like to an IOC or the like to which no destination ID is assigned in the server system. Therefore, the user needs to change the entire configuration of the server system.
  • FIG. 16 and FIG. 17 are diagrams showing problems that are the background of the present invention examined by the present inventors.
  • FIG. 16 shows a configuration of the server system
  • FIG. 17 shows a case where an IOC is added to the server system of FIG.
  • the server apparatus 100 includes a plurality of processor groups 120, a plurality of node controllers (hereinafter referred to as NC) 130, a crossbar 140, and a plurality of IOCs 150.
  • the processor group 120 is a group of processors including a plurality of CPUs 121. In order to distinguish each of the plurality of processor groups 120, a subscript such as “A” is attached and expressed as, for example, “processor group 120A”. The same applies to the CPU 121, NC 130, and IOC 150.
  • Each of the NCs 130 is assigned a processor group 120 to be managed by the server device 100.
  • the NC 130 performs transmission control of the processor group 120 that is managed by the NC 130 itself.
  • the NC 130 has a function (such as an address decoder) for determining a destination ID of a message from the processor group 120 inside.
  • the crossbar 140 is a switching device that mediates transmission between the NC 130 (CPU 121) and the IOC 150. When receiving a response message from the IOC 150 or the like, the crossbar 140 transmits the message to the IOC 150 indicated by the destination ID or the NC 130 connected to the CPU 121 indicated by the destination ID.
  • the IOC 150A can transmit a message to all other IOCs 150 and the like.
  • FIG. 17 shows an example in which an IOC or the like is added to the node configuration of FIG. 16 when the initial server system installation has the configuration shown in FIG.
  • the configuration of the existing server device 100 must be changed. That is, in order to increase the number of bits of the destination ID, the communication protocol in the server device 100 is changed, the crossbar 140 for transmitting and receiving messages is redesigned (redesigned), and the IOC 150 and NC 130 for transmitting and receiving messages are redesigned. There was a need.
  • An object of the present invention is to provide an inter-node communication method capable of easily expanding a node in a server system including a system board equipped with a processor and an input / output device.
  • the present invention provides an inter-node communication program that represents an inter-node communication method capable of easily expanding a node in a server system including a system board equipped with a processor and an input / output device. With the goal.
  • the present invention relates to a plurality of input / output devices, a plurality of processor groups each having a plurality of CPUs, a plurality of node controllers connected to the plurality of processor groups, the plurality of input / output devices and a plurality of node controllers. And a crossbar provided between the plurality of input / output devices and the plurality of CPUs via the crossbar.
  • the output device sends a message including a fixed-length destination ID, which is identification information pre-assigned to the input / output device or node controller to receive the message, to the input / output device in advance.
  • the first node controller that is the associated node controller is set as the fixed destination, and Transmitting to Suva, the crossbar transmitting the message to the first node controller, and the first node controller representing the target based on the internal information of the received message. And adding the information to the message, the node controller or the target in which the first node controller previously associates the message with the information with the input / output device as the target.
  • a second node controller that is a node controller connected to a processor group having a CPU as a destination, and transmitting to the crossbar, and the crossbar deletes the information from the message to which the information is added. Restore and restore the message And having the steps of: transmitting the message to the second node controller.
  • the input / output device or the CPU transmits a message to the first node controller that is a fixed destination.
  • the destination ID is the unit ID of the first node controller.
  • the first node controller uses the temporary information generated based on the message to transmit the message with the temporary information added to the crossbar.
  • the crossbar transmits the restored message to the second node controller.
  • FIG. 1 is a configuration diagram of a server system according to an embodiment of the present invention.
  • FIG. 2 shows an example of an inter-node communication method in the server system of FIG.
  • the server device 1 includes a plurality of processor groups 20, a plurality of NC (node controllers) 21, a crossbar 3, and a plurality of IOCs (input / output devices) 40.
  • Each of the processor groups 20 includes a plurality of CPUs 200.
  • the crossbar 3 is provided between the plurality of IOCs 40 and the plurality of NCs 21.
  • the server device 1 transmits and receives a message 5 described later with reference to FIGS. 4 and 5 between the plurality of IOCs 40 and the plurality of CPUs 200 via the crossbar 3.
  • the message 5 is information transmitted / received between the plurality of IOCs 40 and the plurality of CPUs 200 via the crossbar 3, and is, for example, a request (processing request), a response to the request, or the like.
  • Message 5 may contain data.
  • the NC 21 is associated with the processor group 20 in a one-to-one correspondence in advance and is connected thereto. Accordingly, the message is actually transmitted and received between the plurality of IOCs 40 and the plurality of NCs 21 by the crossbar 3. Therefore, a destination ID described later is assigned in advance to each of the plurality of IOCs 40 and each of the plurality of NCs 21.
  • Corresponding processor group 20 and NC 21 are called parent node 2. In this example, the parent node 2 (or the processor group 20) and the plurality of IOCs 40 are associated in advance. A plurality of IOCs 40 corresponding to the parent node 2 are referred to as child nodes 4 of the parent node 2.
  • processor group 20A when each of the plurality of processor groups 20 is distinguished, a subscript such as “A” is attached and expressed as, for example, “processor group 20A”. The same applies to NC21, IOC 40, parent node 2, and child node 4.
  • the range of parent node 2 is predetermined. As shown in FIG. 2, the parent node 2 has one processor group 20 having a plurality of CPUs 200 and one NC 21 as its range.
  • the range of the child node 4 is determined in advance. For example, the child node 4A has IOCs 40A and 40B as its range.
  • the IOC 40 is, for example, various I / O devices such as PCI devices or chip components that connect a system bus.
  • the IOC 40 sets the destination in the transmission of the message 5 as the NC (first NC) 21 of the corresponding parent node 2. This destination is set in advance in the destination determination means of the IOC 40 by the user.
  • the IOC 40 transmits message 5.
  • the message 5 includes a fixed-length destination ID and internal information, as will be described later.
  • the destination ID is identification information previously assigned to the target.
  • the internal information is information for specifying a target.
  • the target is a device that should receive the message 5, that is, the IOC 40 or the CPU 200.
  • the IOC 40 transmits the message 5 to the crossbar 3 using a predetermined unit ID of the NC 21 as a fixed destination ID.
  • the predetermined NC (hereinafter referred to as the first NC) 21 is a node controller associated with the IOC 40 in advance, that is, the NC 21 of the parent node 2 of the IOC 40.
  • the NC 21 that receives the message 5 is the first NC 21.
  • the crossbar 3 is a switching device for transmitting and receiving the message 5 between the NC 21 and the IOC 40. In this transmission / reception, the crossbar 3 adds or deletes predetermined information (extended destination ID described later) for the message 5.
  • the crossbar 3 receives the message 5 transmitted by the IOC 40 and transmits it to the first NC 21. That is, when the crossbar 3 receives the message 5 from the IOC 40, the crossbar 3 transmits to the NC 21 belonging to the parent node 2 (hereinafter referred to as the corresponding parent node 2) corresponding to the child node 4 (hereinafter referred to as the affiliated child node 4) to which the IOC 40 belongs. Message 5 is transmitted.
  • the CPU 200 transmits the message 5 similarly to the IOC 40.
  • the message 5 includes a destination ID and internal information.
  • the CPU 200 transmits the message 5 to the NC (first NC) 21 of the parent node 2 to which the CPU 200 belongs.
  • the first NC 21 is a node controller connected to the processor group 20 having the CPU 200, that is, the NC 21 of the parent node 2.
  • the NC 21 controls transmission of the message 5 from the processor group 20 of the parent node 2 to which the NC 21 belongs and the message from the IOC 40 of the child node 4 corresponding to the parent node 2. Specifically, the NC 21 transmits the message 5 sent from the CPU 200 of the parent node 2 or the IOC 40 of the child node 4 to the other NC 21 or IOC 40 via the crossbar 3.
  • the NC 21 has destination determination means 22 for determining the destination of the message 5 transmitted from the processor group 20 or the IOC 40 as shown in FIG.
  • the destination determination unit 22 transmits a message 5 to the CPU 200 of the assigned management target processor group 20 to the corresponding CPU 200.
  • the destination determination means 22 receives the message 5 from the CPU 200 or the message 5 to the CPU 200.
  • the received message 5 is transmitted to the corresponding IOC 40 or the like by the crossbar 3.
  • the first NC 21 transmits a message 5 to the CPU 200.
  • the target is the CPU 200 belonging to a parent node 2 (hereinafter, non-corresponding parent node) 2 other than the corresponding parent node 2
  • the first NC 21 transmits a message 5 to the crossbar 3.
  • the target is the IOC 40 belonging to the affiliated child node 4 or the IOC 40 belonging to a child node 4 (hereinafter, non-affiliated child node) 4 other than the affiliated child node 4
  • the NC 21 transmits the message 5 to the crossbar 3.
  • the first NC 21 generates temporary information (extended destination ID described later) representing the target based on the internal information of the message 5 received from the IOC 40 or the NC 21.
  • the first NC 21 adds the generated temporary information to the message 5.
  • the first NC 21 transmits the message 5 with the temporary information added to the crossbar 3 with the second NC 21 as the destination.
  • the second NC 21 is a node controller associated in advance with the target IOC 40 (ie, the NC 21 of the target parent node 2), or a node controller connected to the processor group 20 having the target CPU 200. (That is, NC21 of the parent node 2 to which the target belongs).
  • the crossbar 3 receives the message 5 to which the temporary information is added from the first NC 21, and restores the message 5 by deleting the temporary information from the received message 5 to which the temporary information is added. Thereafter, the crossbar 3 transmits the restored message 5 to the second NC 21.
  • the second NC 21 receives the message 5 restored by deleting the temporary information.
  • the second NC 21 transmits the message 5 to the CPU 200 based on the received message 5.
  • the NC 21 transmits a message 5 to the crossbar 3.
  • the crossbar 3 transmits the received message 5 to the IOC 40 belonging to the child node 4.
  • FIG. 3 is a diagram showing a detailed configuration of the destination determination means 22 in the NC 21 shown in FIG.
  • the destination determination unit 22 includes a message receiving unit 220, a message distribution unit 221, a plurality of destination determination units 222, a transmission destination ID assignment unit 223, a plurality of message transmission units 224, a message response reception unit 225, a transmission information management unit 226, a plurality of Response transmission unit 227.
  • a suffix such as “A” is attached and expressed as “destination determination unit 222A”, for example. The same applies to the message transmission unit 224 and the response transmission unit 227.
  • the message reception unit 220 receives the message 5 from the CPU 200 belonging to the processor group 20 of the corresponding parent node 2 (T1), and is sent to the message distribution unit 221.
  • the message distribution unit 221 is sent to the corresponding destination determination unit 222 according to predetermined information (hereinafter referred to as internal information) included in the received message 5.
  • the destination determination unit 222 determines the destination based on the internal information of the received message 5.
  • the transmission destination ID assigning unit 223 rewrites the destination ID with the destination unit ID determined by the destination determination unit 222 and sets the destination node ID as the extended destination ID (FIGS. 4A and 5A). Then, message 5 is sent to the corresponding message transmission unit 224.
  • the transmission information management unit 226 records and manages information such as the transmission source of the received message 5 and the transmission destination of the transmission message 5.
  • the message response reception unit 225 receives a message for the transmitted message 5 (hereinafter referred to as a response message) (T5).
  • the response message 5 is sent to the transmission information management unit 226 by the message response reception unit 225, and the transmission information management unit 226 checks which transmission message 5 the response message 5 is for.
  • the transmission information management unit 226 sends the response message 5 to the corresponding response transmission unit 227.
  • the response transmission unit 227 Upon receiving the response message 5, the response transmission unit 227 transmits the response message 5 to the corresponding response destination (T6, T7, T8).
  • FIG. 4 shows details of the message and the first destination determination method
  • FIG. 5 shows details of the message and the second destination determination method. 4 and 5 show an example of the structure of the message 5 to which temporary information is added.
  • the message 5 to which temporary information is added is, for example, packet data.
  • the message 5 to which the temporary information is added includes the message 5 and the extended destination ID as shown in FIGS. 4 (A) and 5 (A).
  • the message 5 includes a message number, a message type, a transmission source ID, a destination ID, a target address (50), and data.
  • the message type or target address is used as internal information.
  • a message number is assigned to each message in the server system.
  • the message type is uniquely determined for each type of the message 5.
  • the transmission source ID is a unit ID of the transmission source IOC 40 or the like.
  • the target address is the address of the destination device.
  • the destination ID is the target unit ID of the message 5, specifically, the unit ID of the IOC 40 or NC 21 that should receive the message 5.
  • the destination ID is identification information uniquely determined in the crossbar 3 that controls transmission / reception of the message 5. Accordingly, the destination ID is assigned in advance to the IOC 40 or NC 21 connected to the crossbar 3.
  • the crossbar 3 controls transmission / reception of the message 5 in the crossbar 3 using only the destination ID. Therefore, the crossbar 3 is not aware of information other than the destination ID.
  • the original message 5 is a part other than the extended destination ID which is temporary information.
  • the arrangement order and the number of bits of each item are predetermined. That is, these are predetermined according to a predetermined protocol (hereinafter referred to as a fixed format).
  • the extended destination ID is described in a predetermined position (for example, the top of the variable area) in an area (variable area) that the user can freely use in the message.
  • the target address 50 of the message 5 to which temporary information shown in FIG. 4A is added is the node (node number or ID), unit (unit number or ID), channel (channel number or ID) shown in FIG. ), Device (device type number or ID), and the like.
  • a unit represents a target.
  • the destination determination unit 222 (shown in FIG. 3) decodes the node and unit values shown in FIG. 4B, and specifies the destination unit from the decoded value and the relationship table 51 shown in FIG. 4C of the destination unit. .
  • the relationship table 51 indicates that the destination unit is IOC-A, and the decode value is 201 to 400h. Indicates that this is the destination unit IOC-B.
  • the destination determining means 22 adds an extended destination ID (for example, 2 bits) assigned to each node of this unit, or rewrites the already added extended destination ID.
  • This inter-node communication method facilitates the expansion (addition) of the node in the existing server device 1 by using the extension destination ID, and enables transmission / reception of the message 5 to the added node.
  • FIG. 5 shows another example of the method for specifying the destination unit (target).
  • the destination determination means 22 decodes the message type information of the message 5 shown in FIG. Based on this decoding result, the destination determining means 22 identifies the destination unit from the message type value and destination unit relationship table 52 shown in FIG.
  • FIG. 5B shows that when the message type is XA, the destination unit is IOC-A (points to IOC 40A in FIG. 2), and when the message type is XB, the destination unit is all CPUs. (Refers to the CPUs 200A to 200H in FIG. 2).
  • the message distribution unit 221 (shown in FIG. 3) distributes the message 5 for each message type of information shown in FIG.
  • the destination determination unit 222 performs destination determination of the distributed message 5 and specifies the destination unit based on the relationship table 52 shown in FIG. 5B of the destination unit.
  • the destination determination means 22 adds an extended destination ID (for example, 2-bit information) to the message 5 with the unit specified by the destination determination method of FIG. 4 or FIG. 5 as described above, or The extension destination ID already added is rewritten.
  • the message 5 can be transmitted and received between the NC 21 and the crossbar 3 with the extension destination ID added to the fixed format.
  • FIG. 6 is a diagram showing a detailed configuration of message processing means provided in the crossbar.
  • the message processing means 30 in the crossbar 3 includes a first message receiving unit 300, a destination determining unit 301, an extended destination ID deleting unit 302, a first message transmitting unit 303, a second message receiving unit 304, an extended destination ID adding unit 305, A second message transmission unit 306 is provided.
  • the message processing unit 30 shown in FIG. 2 may be configured to include a plurality of message processing units 30.
  • NC belonging to the parent node is defined as the own NC (NC21A)
  • the corresponding child node is defined as the belonging child node 4 (child node 4A).
  • NC other than its own NC is defined as another NC (NC21B to 21D).
  • the first message receiving unit 300 receives the message 5 shown in FIG. 4A (shown in FIG. 4A) from its own NC. Next, the message 5 is sent to the destination determination unit 301, which determines whether the destination determination unit 301 is the message 5 addressed to the IOC in the child node 4 or the message 5 addressed to another NC (via another NC) based on the extended destination ID. Determine.
  • the destination determination unit 301 determines that the message 5 is addressed to the IOC in the child node 4, the destination determination unit 301 sends the message 5 to the extended destination ID deletion unit 302.
  • the extended destination ID deletion unit 302 deletes the extended destination ID and becomes a fixed format.
  • the message 5 from which the extended destination ID is deleted is transmitted by the destination determination unit 301 to the IOC 40 determined from the first message transmission unit 303.
  • the destination determination unit 301 determines that the message 5 is addressed to another NC, the message 5 is sent to the first message transmission unit 303 as it is, and is transmitted from the first message transmission unit 303 to the other NC.
  • the message processing means 30 receives the message 5 in the fixed format from the IOC 40 at the second message receiving unit 304. Further, the message 5 is sent from the second message receiving unit 304 to the extended destination ID adding unit 305 and processed as follows.
  • the extended destination ID adding unit 305 creates a 2-bit extended destination ID, for example.
  • the extended destination ID is, for example, the node ID (for example, 2 bits) of the child node of the IOC 40 that is the message transmission source. Thereafter, the extended destination ID adding unit 305 adds an extended destination ID to the variable area.
  • the second message transmitting unit 306 receives the message 5 in the format of the message 5 from the extended destination ID adding unit 305, and transmits the message 5 to the own NC corresponding to the child node 4 to which the IOC 40 as the message transmission source belongs.
  • FIG. 7 to 9 are diagrams showing the first process, the second process, and the third process in the message processing means 30 of the crossbar 3.
  • FIG. 7 to 9 the message processing means 30 is not shown, and only functional units necessary for explanation of the operation are shown.
  • the extended destination ID is 2 bits in the message 5 transmitted and received about the NC 21.
  • Two bits of the extended destination ID represent the node ID, and three bits of the destination ID represent the unit ID of the NC 21 or the IOC 40.
  • the first message receiving unit 300 receives the message 5 transmitted from the NC 21.
  • the destination determination unit 301 determines the destination based on the destination ID and the extended destination ID of the received message 5. Specifically, the destination determination unit 301 performs the following processing based on the received message 5.
  • FIG. 7 shows message transfer processing (hereinafter referred to as first processing) from the own NC in the crossbar 3 to the IOC belonging to the child node 4.
  • the message 5 including the destination information is transmitted from the NC 21A and received by the first message receiving unit 300 in the message processing means 30 of the crossbar 3 (T11).
  • the destination determination unit 301 receives the received message 5 (T12), determines which node is addressed from 2 bits of the extended destination ID included therein, and determines which destination unit is from 3 bits of the destination ID.
  • the destination determination unit 301 sends the received message 5 to the extended destination ID deletion unit 302 (T13).
  • the extended destination ID deletion unit 302 sends the message 5 with the extended destination ID information deleted from the received message 5 to the first message transmission unit 303 (T14).
  • the first message transmission unit 303 transmits the message 5 to the destination IOC 40B of the message 5 (T15).
  • the message transfer process from the own NC to the IOCs in the child node 4 can be realized.
  • FIG. 8 shows message transfer processing (hereinafter referred to as second processing) from the own NC to another NC in the crossbar 3.
  • the message 5 including the destination information is transmitted from the NC 21B and received by the first message receiving unit 300 (T21).
  • the destination determination unit 301 does not delete the extended destination ID added to the message and sends the message 5 to the first message transmission unit 303 (T23).
  • the first message transmission unit 303 that has received the message 5 transmits the message 5 to another NC (NC21C) (T24).
  • NC21C NC
  • message transfer processing from the own NC to another NC can be realized.
  • FIG. 9 shows a message transfer process (hereinafter referred to as a third process) from the IOC belonging to the child node 4 in the crossbar 3 to the own NC.
  • the IOC 40G transmits a fixed format message 5 to the crossbar 3.
  • the second message receiving unit 304 in the crossbar 3 receives the message 5 from the IOC 40G (T31).
  • the message 5 is further sent from the second message receiving unit 304 to the extended destination ID adding unit 305 (T32) and processed by the extended destination ID adding unit 305 as follows.
  • the extended destination ID adding unit 305 sends the message 5 with the extended destination ID added to the second message transmitting unit 306 (T33).
  • the second message transmitting unit 306 receives the message 5 from the extended destination ID adding unit 305, and transmits the message 5 to the own NC (NC 21D) corresponding to the child node belonging to the IOC 40G (T34).
  • NC 21D the own NC
  • T34 the transfer process of the message 5 from the IOC in the affiliated child node 4 to the own NC can be executed.
  • the first process is executed after the execution of the second process.
  • the message 5 in which the information of the extended destination ID is added to the message format of the existing server device 1 is transmitted and received between the NC 21 and the crossbar 3. Further, the message 5 transmitted / received on the IOC 40 side is processed by the crossbar 3 in the message format of the existing server device 1.
  • the message 5 from the unit is transmitted to the CPU 200 of the parent node 2 to which the added NC belongs or transmitted to the added IOC 40 without changing or replacing the IOC side. .
  • 10 to 12 show the node expansion processing flow in the server system of FIG. 10 to 12 collectively show one node expansion process.
  • step S1 when the transmission source of the message 5 is the CPU 200, the transmission source CPU 200 uses the destination ID in the message 5 (shown in FIG. 4A or FIG. 5A) as the ID of the parent NC 21 ( Unit ID) (step S2). After this setting, the transmission source CPU 200 transmits the message 5 to the parent NC 21 (step S3). After this process, step S9 in FIG. 11 is executed.
  • step S1 the source IOC 40 sets the destination ID in the message 5 to the ID of the parent NC 21 (step S4), and then sends a message to the crossbar 3. 5 is transmitted (step S5).
  • the crossbar 3 receives this message 5 (step S6), and adds information including the parent node ID of the transmission source IOC 40 as an extended destination ID to the received message 5 (step S7).
  • the crossbar 3 transmits the message 5 with the extended destination ID added to the parent NC 21 of the transmission source IOC 40 (step S8).
  • the parent NC 21 receives the message 5 from the IOC 40 sent via the CPU 200 or the crossbar 3, and determines the target destination (referring to the destination of the message 5) from the message 5 (step S9). Based on the result of this determination, the parent NC 21 checks whether or not the target NC (target NC) 21 is its own NC (step S10). If the target destination is the own NC, step S17 in FIG. 12 is executed.
  • the parent NC 21 transmits a message 5 to the target NC 21 (step S11).
  • the crossbar 3 receives the message 5 from the parent NC 21 (step S12), and determines the target NC 21 based on the extended destination ID of the received message 5 (step S13).
  • the crossbar 3 transmits the message 5 with the extended destination ID added to the target NC 21 (step S14).
  • the target NC 21 receives the message 5 (step S15), and determines the target destination from the message 5 (step S16).
  • the target NC 21 or the parent NC 21 (hereinafter simply referred to as the target NC 21) checks whether or not the target is the CPU 200 (step S17).
  • the target NC21 transmits the message 5 to the target CPU 200 (step S18).
  • the target CPU 200 receives the message 5 (step S19), and the message 5 transmission process ends.
  • the target NC21 transmits the message 5 to the crossbar 3 (step S20).
  • the crossbar 3 receives this message 5 (step S21), and determines the target destination from the received message 5 (step S22).
  • the message processing means 30 deletes the extended destination ID from the message 5 (step S23).
  • the crossbar 3 transmits the message 5 from which the extended destination ID is deleted to the target IOC 40 (step S24).
  • the target IOC 40 receives this message 5 (step S25), and the message 5 transmission process ends.
  • FIGS. 13, 14 and 15 are diagrams showing a first example, a second example and a third example of the operation of the inter-node communication method, respectively.
  • the configuration of the server system of FIGS. 13 to 15 is the same as that of FIG.
  • FIG. 13 specifically shows the operation (first example of operation) when the message 5 is issued from the IOC 40A belonging to the child node 4A to the IOC 40H belonging to the child node 4D.
  • the crossbar 3 receives the fixed format message 5 from the IOC 40A belonging to the child node A.
  • Message processing means 30 (not shown) in the crossbar 3 adds an extended destination ID to the received message 5.
  • the crossbar 3 transmits the message 5 with the extended destination ID added to the message 5 received from the IOC 40A to the parent NC 21A of the IOC 40A (T42).
  • NC 21A receives the message 5 with the extended destination ID added from the crossbar 3.
  • the destination determination means 22A (not shown) in the NC 21A determines the target destination from the received message 5.
  • the target destination is determined based on the target address and message type of the message 5 shown in FIG. 4 or 5 described above, and is not determined based on the “destination ID”.
  • the destination determination unit 22A determines the IOC 40H as the target destination by the determination process.
  • the NC 21A transmits the message 5 to the crossbar 3 (T43).
  • the crossbar 3 receives the message 5 from the NC 21A and performs destination determination by the message processing means 30.
  • NC 21D receives the message 5 to which the extended destination ID is added from the crossbar 3, and determines the target destination by the destination determination means 22D. In this case, the destination determination unit 22D determines that the IOC 40H belongs to the affiliated child node 4D as the target destination. After this determination, the destination determination unit 22D transmits the message 5 with the extended destination ID as it is to the crossbar 3 because the target destination is the IOC 40H belonging to the affiliated child node 4D (T45).
  • the crossbar 3 receives the message 5 to which the extended destination ID is added from the NC 21D, and determines the destination by the message processing means 30.
  • the message processing means 30 determines that the message 5 is from the parent node NC21D to the IOC 40H belonging to the child node 4D.
  • the message processing means 30 deletes the extended destination ID added to the message 5 from the message 5 and transmits the message 5 according to the fixed format after the extended destination ID is deleted from the crossbar 3 to the IOC 40H in the child node 4D ( T46).
  • the target IOC 40H receives the fixed format message 5 from the crossbar 3, and then transmits a response message 5 to the message to the crossbar 3 (T47). In the subsequent T48 to T52, the transmission process of the response message 5 is executed in the same manner as the process of the message 5 described above with the execution order reversed.
  • FIG. 14 specifically shows an operation (second example of operation) when a message 5 is issued from the CPU 200A of the processor group 20A belonging to the parent node 2A to the target as the IOC 40H belonging to the child node 4D. .
  • NC 21A receives message 5 from CPU 200A. Next, the destination determination means 22A in the NC 21A determines the target destination from the received message 5.
  • the destination determination unit 22A determines the IOC 40H as the target destination by the determination process.
  • the NC 21A transmits the message 5 to the crossbar 3 (T61).
  • the crossbar 3 receives the message 5 from the NC 21A and performs destination determination by the message processing means 30.
  • NC 21D receives the message 5 to which the extended destination ID is added from the crossbar 3, and determines the target destination by the destination determination means 22D. In this case, the destination determination unit 22D determines that the IOC 40H belongs to the affiliated child node 4D as the target destination. After this determination, the destination determination means 22D transmits the message 5 to the crossbar 3 with the extended destination ID as it is because the target destination is the IOC 40H belonging to the affiliated child node 4D (T63).
  • the crossbar 3 receives the message 5 to which the extended destination ID is added from the NC 21D, and determines the destination by the message processing means 30.
  • the message processing means 30 determines that the message 5 is from the parent node NC21D to the IOC 40H belonging to the child node 4D.
  • the message processing unit 30 deletes the extended destination ID added to the message 5 from the message 5, and transmits the message 5 in the fixed format after the extended destination ID is deleted from the crossbar 3 to the IOC 40H in the child node 4D (T64). ).
  • the target IOC 40H receives the message 5 from the crossbar 3 and transmits the response message 5 to the transmission source (T65).
  • T65 the transmission source
  • T66 to T69 the transmission process of the response message 5 is executed in the same manner as the process of the message 5 described above with the execution order reversed.
  • FIG. 15 specifically shows the operation (third example of operation) when the IOC 40A in the child node 4A issues a message 5 for which the target is the CPU 200H of the processor group 20D belonging to the parent node 2D. .
  • the crossbar 3 receives the message 5 from the IOC 40A belonging to the child node 4A.
  • the message processing means 30 in the crossbar 3 adds the extended destination ID to the received message 5.
  • the crossbar 3 transmits the message 5 with the extended destination ID added to the message 5 received from the IOC 40A to the parent NC 21A (T71).
  • NC 21A receives the message 5 with the extended destination ID added from the crossbar 3.
  • the destination determination means 22A in the NC 21A processes the received message 5.
  • the destination determination unit 22A determines the target destination from the received message 5.
  • the target destination is determined based on the message 5 shown in FIG. 4 or 5 described above, and does not indicate destination ID information (3 bits), but is determined from the target address or message type. .
  • the destination determination unit 22A determines the IOC 40H as the target destination by the determination process.
  • the NC 21A transmits the message 5 to the crossbar 3 (T72).
  • the crossbar 3 receives the message 5 from the NC 21A and performs destination determination by the message processing means 30.
  • the crossbar 3 transmits the message 5 as it is to the NC 21D as the destination of the node ID of the other NC from the message 5 received by the NC 21A by the message processing means 30 (T73).
  • NC 21D receives the message 5 to which the extended destination ID is added from the crossbar 3, and determines the target destination by the destination determination means 22D. In this case, the destination determination unit 22D determines the CPU 200H in the processor group 20D as the target destination. After this determination, the NC 21D transmits the message 5 to the CPU 200H belonging to the own node 2D (T74). From T75 to T79, the transmission process of the response message 5 is executed in the same manner as the process of the message 5 described above with the execution order reversed.
  • the destination determination means 22 may transmit the message 5 from which the extended destination ID is deleted.
  • the CPU 200 can also support the fixed format message 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

　入出力装置４０Ａが、メッセージ５を、クロスバ３を介して、予め定められた親ノード２Ａのノードコントローラ２１Ａに送信する。この時、クロスバ３が、入力装置４０Ａのノード情報に基づいて情報を生成してメッセージ５に付加する。ノードコントローラ２１Ａが、クロスバ３を介して、メッセージ５を、受信すべき入出力装置４０Ｇに対応する親ノード２Ｇのノードコントローラ２１Ｇに送信する。ノードコントローラ２１Ｇが、クロスバ３を介して、メッセージ５を、受信すべき入出力装置４０Ｇに送信する。この時、クロスバ３が、メッセージ５から情報を削除することにより、復元したメッセージ５を、宛先とされた入出力装置４０Ｇに送信する。

Description

ノード間通信方法
　本発明は、ノード間通信方法に関し、特に、プロセッサを搭載したシステムボードや入出力装置等からなるサーバシステムにおいてノードの拡張を容易に行うことができるノード間通信方法に関する。
　サーバシステムは、例えば、プロセッサを搭載したシステムボード、クロスバ、ＩＯＣ（Input/Output　Component：入出力装置）、ノードコントローラを備える。このようなサーバシステムにおいて、ＩＯＣ等が使用する宛先ＩＤのビット長は固定されており、従って、宛先ＩＤの数には制限がある。この原因は、サーバシステムの設置時において、必ずしも大規模システムを想定した宛先ＩＤのビット数を確保していないことにある。
　宛先ＩＤのビット数が３である場合、ＩＯＣ等は、８通りの宛先にしかメッセージを発行することができない。接続先が８個以下である場合、ＩＯＣ等は、他の全てのＩＯＣ等にメッセージを送信することができる。
　しかし、サーバシステムの設置時には、接続先が８個以下であったものが、設置後にノードの拡張等の必要が生じて、接続先が９個以上となる場合がある。この場合、サーバシステム内で宛先ＩＤが割当てられないＩＯＣ等に対して、他のＩＯＣ等からメッセージを発行できなくなる。従って、ユーザは、サーバシステムの全体の構成を変更する必要がある。
　なお、既定のポート数以内において、収容されるプロセッサや入出力装置の収容位置の変更、増加を容易に行うことができるプロセッサ間通信制御装置が知られている。
特開２０００－１３２５２７号公報
　図１６及び図１７は、本発明者が検討した本発明の背景となる課題を示す図である。図１６はサーバシステムの構成を示し、図１７は図１６のサーバシステムにおいてＩＯＣを増設する場合を示す。
　サーバ装置１００は、複数のプロセッサ群１２０、複数のノードコントローラ（以下、ＮＣ）１３０、クロスバ１４０、複数のＩＯＣ１５０を備える。プロセッサ群１２０は、複数のＣＰＵ１２１を含むプロセッサのグループである。なお、複数のプロセッサ群１２０の各々を区別する場合、「Ａ」等の添え字を付して、例えば「プロセッサ群１２０Ａ」等のように表すものとする。ＣＰＵ１２１、ＮＣ１３０、ＩＯＣ１５０についても同様である。
　ＮＣ１３０には、各々、管理対象とするプロセッサ群１２０がサーバ装置１００により割当てられている。ＮＣ１３０は、当該ＮＣ１３０自体が管理対象とするプロセッサ群１２０の伝送制御を行う。ＮＣ１３０は、内部にプロセッサ群１２０からのメッセージの宛先ＩＤを決定する機能（アドレスデコーダ等）を有する。
　クロスバ１４０は、ＮＣ１３０（ＣＰＵ１２１）及びＩＯＣ１５０の間における伝送を媒介するスイッチング装置である。ＩＯＣ１５０等からの応答メッセージを受信した場合、クロスバ１４０は、宛先ＩＤの示すＩＯＣ１５０、又は、宛先ＩＤの示すＣＰＵ１２１に接続されているＮＣ１３０へ、当該メッセージを送信する。
　例えば、宛先ＩＤが３ビットである場合、ＩＯＣ１５０によるメッセージの宛先は８通りとなる。ＩＯＣ１５０Ａに着目すると、図１６に示すように、その接続先が、ＩＯＣ１５０Ｂ～１５０Ｆ及びＮＣ１３０Ａ～１３０Ｃの８箇所である。従って、ＩＯＣ１５０Ａは、他の全てのＩＯＣ１５０等にメッセージを送信することができる。
　図１７は、当初のサーバシステム設置が図１６に示す構成であった場合に、図１６のノード構成にＩＯＣ等を増設した例を示す。
　例えば、ユーザが、図１６に示す既存のサーバ装置１００において、プロセッサ群１２０Ｄ、ＮＣ１３０Ｄ、ＩＯＣ１５０Ｇ及び１５０Ｈ、ＣＰＵ１２１Ｇ及び１２１Ｈを増設するとする。この場合、既存のＩＯＣ１５０等に割当られた宛先ＩＤとして８個（０～７）全てが使用されているため、新たなＩＯＣ１５０Ｇ及び１５０ＨとＮＣ１３０Ｄとに宛先ＩＤを割当てることができない。
　従って、ＩＯＣ１５０等を増設する（ノードを拡張する）ためには、既存のサーバ装置１００において、その構成を変更する以外なかった。即ち、宛先ＩＤのビット数を増やすために、サーバ装置１００における通信のプロトコルを変更し、メッセージを送受信するクロスバ１４０を設計変更し（設計し直し）、メッセージを送受信するＩＯＣ１５０及びＮＣ１３０を設計変更する必要があった。
　本発明は、プロセッサを搭載したシステムボードや入出力装置等からなるサーバシステムにおけるノードの拡張を容易に行うことを可能としたノード間通信方法を提供することを目的とする。
　また、本発明は、プロセッサを搭載したシステムボードや入出力装置等からなるサーバシステムにおけるノードの拡張を容易に行うことを可能としたサーバ装置を提供することを目的とする。
　また、本発明は、プロセッサを搭載したシステムボードや入出力装置等からなるサーバシステムにおけるノードの拡張を容易に行うことを可能としたノード間通信方法を実表するノード間通信プログラムを提供することを目的とする。
　本発明は、複数の入出力装置と、各々が複数のＣＰＵを有する複数のプロセッサ群と、前記複数のプロセッサ群に接続された複数のノードコントローラと、前記複数の入出力装置と複数のノードコントローラとの間に設けられたクロスバとを備え、前記クロスバを介して前記複数の入出力装置と複数のＣＰＵとの間でメッセージを送受信するサーバ装置におけるノード間通信方法において、メッセージを送信する前記入出力装置が、当該メッセージを受信すべき入出力装置又はノードコントローラに予め割り当てられた識別情報である固定長の宛先ＩＤと前記ターゲットを特定する内部情報とを含むメッセージを、前記入出力装置に予め対応付けられたノードコントローラである第１のノードコントローラを固定された宛先として、前記クロスバに送信するステップと、前記クロスバが、前記メッセージを、前記第１のノードコントローラに送信するステップと、前記第１のノードコントローラが、受信した前記メッセージの内部情報に基づいて前記ターゲットを表す情報を生成し、前記情報を前記メッセージに付加するステップと、前記第１のノードコントローラが、前記情報の付加されたメッセージを、前記ターゲットである入出力装置に予め対応付けられたノードコントローラ又は前記ターゲットであるＣＰＵを有するプロセッサ群に接続されたノードコントローラである第２のノードコントローラを宛先として、前記クロスバに送信するステップと、前記クロスバが、前記情報の付加されたメッセージから前記情報を削除することにより前記メッセージを復元し、復元した前記メッセージを前記第２のノードコントローラに送信するステップと、を有することを特徴とする。
　このノード間通信方法及びサーバ装置によれば、入出力装置又はＣＰＵが、メッセージを、固定された宛先である第１のノードコントローラに送信する。この送信処理においては、宛先ＩＤは第１のノードコントローラのユニットＩＤとなる。一方、第１のノードコントローラは、メッセージに基づいて生成した一時情報を用いて、一時情報の付加されたメッセージをクロスバに送信する。クロスバは、復元したメッセージを第２のノードコントローラに送信する。
　これにより、本来は、ビット数の少ない元々の宛先ＩＤのみに従ってターゲットへ送信されるべきメッセージが、第１及び第２のノードコントローラを経由することにより、宛先ＩＤが拡張されてターゲットに送信される。この結果、既存のサーバ装置において、入出力装置の増設等によりノードを拡張する場合であっても、サーバ装置の構成を大きく変更する必要が無い。即ち、ノードコントローラ及びクロスバに一時情報を処理する機能を追加するのみで、クロスバ、入出力装置及びノードコントローラの大きな設計変更の必要を無くすことができる。これにより、サーバ装置におけるノードを容易に増設することができる。
サーバシステムの構成の一例を示す図である。 図１のサーバシステムの構成の詳細な一例を示す図である。 宛先決定手段の詳細な構成を示す図である。 メッセージの詳細と第１の宛先判定方法を示す図である。 メッセージの詳細と第２の宛先判定方法を示す図である。 メッセージ処理手段の詳細な構成を示す図である。 メッセージ処理手段内の第１の処理について説明する図である。 メッセージ処理手段内の第２の処理について説明する図である。 メッセージ処理手段内の第３の処理について説明する図である。 ノード拡張処理フローである。 ノード拡張処理フローである。 ノード拡張処理フローである。 ノード拡張処理の第１の例を説明する図である。 ノード拡張処理の第２の例を説明する図である。 ノード拡張処理の第３の例を説明する図である。 本発明の背景となるサーバシステムの構成を示す図である。 本発明の背景となるサーバシステムにおける処理を示す図である。
符号の説明
　　１　　サーバ装置
　　２　　親ノード
　　３　　クロスバ
　　４　　子ノード
　　５　　メッセージ
　　２０　　プロセッサ群
　　２１　　ノードコントローラ（ＮＣ）
　　２２　　宛先決定手段
　　３０　　メッセージ処理手段
　　４０　　ＩＯＣ
　　５０　　ターゲットアドレス
　　５１、５２　　関係テーブル
　　２００　　ＣＰＵ
　　２２０　　メッセージ受信部
　　２２１　　メッセージ振分け部
　　２２２　　宛先判定部
　　２２３　　送信先ＩＤ割付け部
　　２２４　　メッセージ送信部
　　２２５　　メッセージ応答受信部
　　２２６　　送信情報管理部
　　２２７　　応答送信部
　　３００　　第１メッセージ受信部
　　３０１　　宛先判定部
　　３０２　　拡張宛先ＩＤ削除部
　　３０３　　第１メッセージ送信部
　　３０４　　第２メッセージ受信部
　　３０５　　拡張宛先ＩＤ付加部
　　３０６　　第２メッセージ送信部
　図１は、本発明の一実施態様であるサーバシステムの構成図である。図２は、図１のサーバシステムにおけるノード間通信方法の一例を示す。
　図１において、サーバ装置１は、複数のプロセッサ群２０、複数のＮＣ（ノードコントローラ）２１、クロスバ３、複数のＩＯＣ（入出力装置）４０を備える。プロセッサ群２０は、各々、複数のＣＰＵ２００を備える。クロスバ３は、複数のＩＯＣ４０と複数のＮＣ２１との間に設けられる。サーバ装置１は、クロスバ３を介して、複数のＩＯＣ４０と複数のＣＰＵ２００との間で、図４及び図５を参照して後述するメッセージ５を送受信する。
　メッセージ５は、複数のＩＯＣ４０と複数のＣＰＵ２００との間でクロスバ３を介して送受信される情報であり、例えば、リクエスト（処理要求）、リクエストに対する応答等である。メッセージ５はデータを含んでいても良い。
　この例では、ＮＣ２１は、プロセッサ群２０と１対１に予め対応付けられ、これに接続される。従って、メッセージは、実際には、クロスバ３により、複数のＩＯＣ４０と複数のＮＣ２１との間で送受信される。このために、後述する宛先ＩＤは、複数のＩＯＣ４０の各々と複数のＮＣ２１の各々に、予め割当てられる。対応するプロセッサ群２０とＮＣ２１とを親ノード２という。この例では、親ノード２（又は、プロセッサ群２０）と複数のＩＯＣ４０とは、予め対応付けられる。親ノード２に対応する複数のＩＯＣ４０を当該親ノード２の子ノード４という。
　なお、複数のプロセッサ群２０の各々を区別する場合、「Ａ」等の添え字を付して例えば「プロセッサ群２０Ａ」等のように表すものとする。ＮＣ２１、ＩＯＣ４０、親ノード２、子ノード４についても、同様である。
　親ノード２の範囲は予め定められる。親ノード２は、図２に示すように、複数のＣＰＵ２００を有する１個のプロセッサ群２０と、１個のＮＣ２１を、その範囲とする。子ノード４の範囲は予め定められる。例えば、子ノード４Ａは、ＩＯＣ４０Ａ及び４０Ｂを、その範囲とする。
　ＩＯＣ４０は、例えば、ＰＣＩデバイス等の様々なＩ／Ｏデバイスやシステムバスを接続するチップコンポーネント等である。ＩＯＣ４０は、メッセージ５の送信における宛先を、対応する親ノード２のＮＣ（第１のＮＣ）２１とする。この宛先は、ユーザにより、当該ＩＯＣ４０の宛先決定手段に予め設定される。
　ＩＯＣ４０は、メッセージ５を送信する。メッセージ５は、後述するように、固定長の宛先ＩＤと、内部情報とを含む。宛先ＩＤは、ターゲットに予め割り当てられた識別情報である。内部情報は、ターゲットを特定する情報である。ターゲットは、当該メッセージ５を受信すべき装置、即ち、ＩＯＣ４０又はＣＰＵ２００である。ＩＯＣ４０は、メッセージ５を、予め定められたＮＣ２１のユニットＩＤを固定された宛先ＩＤとして、クロスバ３に送信する。この場合、予め定められたＮＣ（以下、第１のＮＣ）２１は、当該ＩＯＣ４０に予め対応付けられたノードコントローラ、即ち、当該ＩＯＣ４０の親ノード２のＮＣ２１である。メッセージ５を受信するＮＣ２１が、第１のＮＣ２１である。
　クロスバ３は、ＮＣ２１及びＩＯＣ４０の間におけるメッセージ５の送受信を行うためのスイッチング装置である。この送受信において、クロスバ３は、メッセージ５について、所定の情報（後述する拡張宛先ＩＤ）を付加し又は削除する。
　クロスバ３は、ＩＯＣ４０が送信したメッセージ５を受信し、これを第１のＮＣ２１に送信する。即ち、クロスバ３は、ＩＯＣ４０からのメッセージ５を受信した場合、当該ＩＯＣ４０が属する子ノード４（以下、所属子ノード４）に対応する親ノード２（以下、対応親ノード２）に属するＮＣ２１に、メッセージ５を送信する。
　一方、ＣＰＵ２００は、ＩＯＣ４０と同様に、メッセージ５を送信する。メッセージ５は、前述のように、宛先ＩＤと内部情報とを含む。ＣＰＵ２００は、ＩＯＣ４０と同様に、メッセージ５を、当該ＣＰＵ２００の属する親ノード２のＮＣ（第１のＮＣ）２１に送信する。この場合、第１のＮＣ２１は、当該ＣＰＵ２００を有するプロセッサ群２０に接続されたノードコントローラ、即ち、当該親ノード２のＮＣ２１である。
　ＮＣ２１は、当該ＮＣ２１が属する親ノード２のプロセッサ群２０からのメッセージ５、及び、当該親ノード２に対応する子ノード４のＩＯＣ４０からのメッセージの伝送制御を行う。具体的には、ＮＣ２１は、当該親ノード２のＣＰＵ２００又は当該子ノード４のＩＯＣ４０から送出されたメッセージ５を、クロスバ３を介して、他のＮＣ２１又はＩＯＣ４０へ送信する。
　このために、ＮＣ２１は、図２に示すように、プロセッサ群２０又はＩＯＣ４０から送信されたメッセージ５の宛先を決定する宛先決定手段２２を有する。宛先決定手段２２は、割当てられた管理対象のプロセッサ群２０のＣＰＵ２００に対するメッセージ５を、該当するＣＰＵ２００へ送信する。また、宛先決定手段２２は、ＣＰＵ２００からのメッセージ５、又は、ＣＰＵ２００へのメッセージ５を受信する。受信されたメッセージ５は、クロスバ３により対応するＩＯＣ４０等へ送信される。
　第１のＮＣ２１は、ターゲットが対応親ノード２に属するＣＰＵ２００である場合、当該ＣＰＵ２００へメッセージ５を送信する。ターゲットが対応親ノード２以外の親ノード（以下、非対応親ノード）２に属するＣＰＵ２００である場合、第１のＮＣ２１は、メッセージ５をクロスバ３に送信する。ターゲットが所属子ノード４に属するＩＯＣ４０、又は、所属子ノード４以外の子ノード（以下、非所属子ノード）４に属するＩＯＣ４０である場合、ＮＣ２１は、メッセージ５をクロスバ３に送信する。
　この時、第１のＮＣ２１は、ＩＯＣ４０又はＮＣ２１から受信したメッセージ５の内部情報に基づいて、ターゲットを表す一時情報（後述する拡張宛先ＩＤ）を生成する。その上で、第１のＮＣ２１は、生成した一時情報を、メッセージ５に付加する。この後、第１のＮＣ２１は、一時情報の付加されたメッセージ５を、第２のＮＣ２１を宛先として、クロスバ３に送信する。ここで、第２のＮＣ２１は、ターゲットであるＩＯＣ４０に予め対応付けられたノードコントローラ（即ち、ターゲットの親ノード２のＮＣ２１）、又は、ターゲットであるＣＰＵ２００を有するプロセッサ群２０に接続されたノードコントローラ（即ち、ターゲットの属する親ノード２のＮＣ２１）である。
　クロスバ３は、第１のＮＣ２１から一時情報の付加されたメッセージ５を受信し、受信した一時情報の付加されたメッセージ５から一時情報を削除することにより、メッセージ５を復元する。この後、クロスバ３は、復元したメッセージ５を、第２のＮＣ２１に送信する。第２のＮＣ２１は、一時情報の削除により復元されたメッセージ５を受信する。
　第２のＮＣ２１は、受信したメッセージ５に基づいて、ターゲットが第２のＮＣ２１の属する親ノード２に属するＣＰＵ２００である場合、当該ＣＰＵ２００へメッセージ５を送信する。ターゲットが第２のＮＣ２１の属する親ノード２に対応する子ノード４に属するＩＯＣ４０である場合、ＮＣ２１は、クロスバ３へメッセージ５を送信する。クロスバ３は、受信したメッセージ５を、当該子ノード４に属するＩＯＣ４０に送信する。
　図３は、図２に示すＮＣ２１内の宛先決定手段２２の詳細な構成を示す図である。
　宛先決定手段２２は、メッセージ受信部２２０、メッセージ振分け部２２１、複数の宛先判定部２２２、送信先ＩＤ割付け部２２３、複数のメッセージ送信部２２４、メッセージ応答受信部２２５、送信情報管理部２２６、複数の応答送信部２２７を備える。なお、複数の宛先判定部２２２の各々を区別する場合、「Ａ」等の添え字を付して例えば「宛先判定部２２２Ａ」等のように表すものとする。メッセージ送信部２２４、応答送信部２２７についても同様とする。
　メッセージ受信部２２０は、対応親ノード２のプロセッサ群２０に属するＣＰＵ２００からのメッセージ５を受信し（Ｔ１）、メッセージ振分け部２２１に送られる。メッセージ振分け部２２１は、受信したメッセージ５に含まれる所定の情報（以下、内部情報）に応じて、対応する宛先判定部２２２に送られる。
　次に、宛先判定部２２２は、受信したメッセージ５の内部情報に基づいて、宛先を判定する。送信先ＩＤ割付け部２２３は、宛先判定部２２２により判定された宛先のユニットＩＤに宛先ＩＤを書き換え、宛先ノードのＩＤを拡張宛先ＩＤ（図４（Ａ）及び図５（Ａ））としてメッセージ５に付加した後、対応するメッセージ送信部２２４にメッセージ５を送出する。
　送信情報管理部２２６は、メッセージ送信部２２４からメッセージ５が送信された際、受信したメッセージ５の送信元や、送信メッセージ５の送信先等の情報を記録し、管理する。
　メッセージ送信部２２４のメッセージ５の送信後（Ｔ２、Ｔ３、Ｔ４）、メッセージ応答受信部２２５は、送信したメッセージ５に対するメッセージ（以下、応答メッセージ）を受信する（Ｔ５）。その応答メッセージ５がメッセージ応答受信部２２５により送信情報管理部２２６に送られ、送信情報管理部２２６により応答メッセージ５がどの送信メッセージ５に対するものか検査される。送信情報管理部２２６は、応答メッセージ５の宛先を特定した後、その応答メッセージ５を対応する応答送信部２２７に送出する。その応答メッセージ５を受けた応答送信部２２７は、対応する応答先へ応答メッセージ５を送信する（Ｔ６、Ｔ７、Ｔ８）。
　図４は、メッセージの詳細と第１の宛先判定方法を示し、図５は、メッセージの詳細と第２の宛先判定方法を示す図である。図４及び図５は、一時情報の付加されたメッセージ５の構造の一例を示す。
　一時情報の付加されたメッセージ５は、例えばパケットデータである。一時情報の付加されたメッセージ５は、図４（Ａ）及び図５（Ａ）に示すように、メッセージ５と、拡張宛先ＩＤとを含む。メッセージ５は、メッセージ番号、メッセージ種類、送信元ＩＤ、宛先ＩＤ、ターゲットアドレス（５０）、データを含む。これらの中で、メッセージ種類又はターゲットアドレスが、内部情報として用いられる。メッセージ番号は、サーバシステムにおいてメッセージ毎に付与される。メッセージ種類は、当該メッセージ５の種類毎に一意に定まる。送信元ＩＤは、送信元のＩＯＣ４０等のユニットＩＤである。ターゲットアドレスは、宛先のデバイスのアドレスである。
　宛先ＩＤは、当該メッセージ５のターゲットのユニットＩＤであり、具体的には、当該メッセージ５を受信すべきＩＯＣ４０又はＮＣ２１のユニットＩＤである。宛先ＩＤは、メッセージ５の送受信を制御するクロスバ３において一意に定まる識別情報である。従って、宛先ＩＤは、クロスバ３に接続されたＩＯＣ４０又はＮＣ２１に、予め割当てられる。クロスバ３は、この宛先ＩＤのみを用いて、当該クロスバ３におけるメッセージ５の送受信を制御する。従って、クロスバ３は、この宛先ＩＤ以外の情報を意識することは無い。
　このように、本来のメッセージ５は、一時情報である拡張宛先ＩＤ以外の部分である。メッセージ５において、各々の項目の配置の順序及びビット数は、予め定められる。即ち、これらは所定のプロトコル（以下、固定フォーマットと記す）に従って予め定められている。これに対して、拡張宛先ＩＤは、メッセージにおいて、ユーザが自由に使用可能な領域（可変領域）において、所定の位置（例えば、可変領域の先頭）に記述される。
　図４（Ａ）に示す一時情報の付加されたメッセージ５のターゲットアドレス５０は、図４（Ｂ）に示すノード（ノード番号又はＩＤ）、ユニット（ユニット番号又はＩＤ）、チャネル（チャネル番号又はＩＤ）、デバイス（デバイス種別番号又はＩＤ）等の情報を含む。ここで、ユニットはターゲットを表す。
　宛先判定部２２２（図３に示す）は、図４（Ｂ）に示すノード及びユニット値をデコードし、そのデコード値と宛先ユニットの図４（Ｃ）に示す関係テーブル５１から宛先ユニットを特定する。
　例えば、関係テーブル５１は、メッセージ５の対応する情報に基づく、デコード値が０００～２００ｈ（１６進数）であった場合、宛先ユニットＩＯＣ－Ａであることを示し、デコード値が２０１～４００ｈであった場合、宛先ユニットＩＯＣ－Ｂであることを示す。宛先決定手段２２が、このユニットのノード毎に割当てられる拡張宛先ＩＤ（例えば、２ビット）を付加し、又は、既に付加された拡張先ＩＤを書換える。
　このノード間通信方法は、拡張宛先ＩＤを用いることにより、既存のサーバ装置１におけるノードの拡張（増設）を容易にし、増設されたノードへのメッセージ５の送受信を可能とする。
　図５は、宛先ユニット（ターゲット）の特定方法の他の例である。
　宛先決定手段２２は、図５（Ａ）に示すメッセージ５のメッセージ種類の情報をデコードする。このデコード結果に基づき、宛先決定手段２２は、図５（Ｂ）に示すメッセージ種類値と宛先ユニットの関係テーブル５２から、宛先ユニットを特定する。
　例えば、図５（Ｂ）は、メッセージ種類ＸＡであった場合、宛先ユニットがＩＯＣ－Ａ（図２のＩＯＣ４０Ａを指す）であることを示し、メッセージ種類ＸＢであった場合、宛先ユニットが全ＣＰＵ（図２のＣＰＵ２００Ａ～２００Ｈを指す）であることを示す。
　メッセージ振分け部２２１（図３に示す）は、図５（Ｂ）に示す情報のメッセージ種類ごとにメッセージ５を振分ける。宛先判定部２２２は、振分けられたメッセージ５の宛先判定を行い、宛先ユニットの図５（Ｂ）に示す関係テーブル５２に基づき、宛先ユニットを特定する。
　宛先決定手段２２は、以上に示すような図４、もしくは図５の宛先判定方法により、特定されたユニットを宛先として、メッセージ５に拡張宛先ＩＤ（例えば、２ビット情報）を付加し、又は、既に付加された拡張宛先ＩＤの書換え等を行う。これにより、固定フォーマットに拡張宛先ＩＤを付加した上で、メッセージ５をＮＣ２１とクロスバ３との間で送受信することができる。
　次に、クロスバ３内のメッセージ処理手段３０におけるメッセージ５の処理内容を以下に説明する。
　図６は、クロスバに備えられたメッセージ処理手段の詳細な構成を示す図である。
　クロスバ３内のメッセージ処理手段３０は、第１メッセージ受信部３００、宛先判定部３０１、拡張宛先ＩＤ削除部３０２、第１メッセージ送信部３０３、第２メッセージ受信部３０４、拡張宛先ＩＤ付加部３０５、第２メッセージ送信部３０６を備える。なお、図２に示したメッセージ処理手段３０は、複数のメッセージ処理手段３０を備える構成であっても良い。
　以下は、親ノード２Ａに属するＮＣ２１Ａからクロスバ３を介して、子ノード４Ａに送られるメッセージ５の送受信関係の例についての説明である。
　以下の説明において、親ノード（親ノード２Ａ）に属するＮＣを自ＮＣ（ＮＣ２１Ａ）と定義し、その対応する子ノードを所属子ノード４（子ノード４Ａ）と定義する。また、自ＮＣ（ＮＣ２１Ａ）以外のＮＣを他ＮＣ（ＮＣ２１Ｂ～２１Ｄ）と定義する。
　図６において、第１メッセージ受信部３００は、自ＮＣから図４（Ａ）に示すメッセージ５（図４（Ａ）に示す）を受信する。次に、メッセージ５は宛先判定部３０１へ送られ、宛先判定部３０１が拡張宛先ＩＤに基づいて所属子ノード４内のＩＯＣ宛のメッセージ５か、他ＮＣ宛（他ＮＣ経由）のメッセージ５かを判定する。
　宛先判定部３０１は、所属子ノード４内のＩＯＣ宛のメッセージ５であったと判定した場合、拡張宛先ＩＤ削除部３０２にメッセージ５を送る。送られたメッセージ５は、拡張宛先ＩＤ削除部３０２において、拡張宛先ＩＤを削除され、固定フォーマット形式となる。
　拡張宛先ＩＤを削除されたメッセージ５は、宛先判定部３０１により、第１メッセージ送信部３０３から判定されたＩＯＣ４０へ送信される。また、宛先判定部３０１が他ＮＣ宛のメッセージ５と判定した場合、メッセージ５はそのままの形式で第１メッセージ送信部３０３に送られ、第１メッセージ送信部３０３から他ＮＣへ送信される。
　一方、メッセージ処理手段３０は、ＩＯＣ４０から第２メッセージ受信部３０４において、固定フォーマット形式のメッセージ５を受信する。更に、このメッセージ５は、第２メッセージ受信部３０４から拡張宛先ＩＤ付加部３０５に送られ、以下のように処理される。
　即ち、拡張宛先ＩＤ付加部３０５は、例えば２ビットの拡張宛先ＩＤを作成する。拡張宛先ＩＤは、例えば、メッセージ送信元のＩＯＣ４０の子ノードのノードＩＤ（例えば、２ビット）である。この後、拡張宛先ＩＤ付加部３０５は、可変領域に、拡張宛先ＩＤを付加する。
　第２メッセージ送信部３０６は、拡張宛先ＩＤ付加部３０５からメッセージ５のフォーマット形式のメッセージ５を受取り、メッセージ送信元のＩＯＣ４０が属する所属子ノード４に対応する自ＮＣへメッセージ５を送信する。
　図７～図９は、クロスバ３のメッセージ処理手段３０内の第１の処理、第２の処理及び第３の処理を示す図である。なお、図７～図９において、メッセージ処理手段３０は図示省略され、動作説明に必要な機能部のみを図示する。
　ここで、ＮＣ２１についての送信及び受信したメッセージ５において、その拡張宛先ＩＤは２ビットであるものとする。拡張宛先ＩＤの２ビットはノードＩＤを表し、宛先ＩＤの３ビットはＮＣ２１又はＩＯＣ４０のユニットＩＤを表すものとする。
　第１メッセージ受信部３００は、ＮＣ２１から送信されたメッセージ５を受信する。宛先判定部３０１は、その受信したメッセージ５の宛先ＩＤと拡張宛先ＩＤとに基づき、宛先を判定する。宛先判定部３０１は、具体的には、受信したメッセージ５に基づき、以下に示す処理を行う。
　宛先判定部３０１は、例えば、宛先ＩＤ＝０１０の場合にはＮＣ２１が宛先であり、宛先ＩＤ＝０００又は００１の場合にはＩＯＣ４０が宛先であると判定する。
　図７は、クロスバ３内における自ＮＣから所属子ノード４に属するＩＯＣへのメッセージ転送処理（以下、第１の処理と言う）を示す。
　第１の処理の一例として、ＮＣ２１ＡからＩＯＣ４０Ｂに対してのメッセージ転送処理が発生した場合において、クロスバ３内のメッセージ処理手段３０が実行する場合の処理について説明する。なお、以下の例において、メッセージ５に付加された拡張宛先ＩＤは、“００”であるものとする。
　宛先情報を含むメッセージ５が、ＮＣ２１Ａから送信され、クロスバ３のメッセージ処理手段３０内の第１メッセージ受信部３００で受信される（Ｔ１１）。宛先判定部３０１は、受信したメッセージ５を受取り（Ｔ１２）、これに含まれる拡張宛先ＩＤの２ビットからどのノード宛かを判定し、宛先ＩＤの３ビットからどの宛先ユニットかを判定する。
　宛先判定部３０１は、自ＮＣ（ＮＣ２１Ａ）の“ノードＩＤ＝００”と拡張宛先ＩＤの２ビットが同じ“００”であるため、所属子ノード４宛であり、また、宛先ＩＤの３ビットが“００１”であるため、ＩＯＣユニット（所属子ノード４に属するＩＯＣ４０Ｂ）であると判定する。
　次に、宛先判定部３０１は、受信したメッセージ５を拡張宛先ＩＤ削除部３０２に送る（Ｔ１３）。拡張宛先ＩＤ削除部３０２は、受信したメッセージ５から拡張宛先ＩＤの情報を削除したメッセージ５を第１メッセージ送信部３０３に送る（Ｔ１４）。第１メッセージ送信部３０３は、メッセージ５の宛先のＩＯＣ４０Ｂにそのメッセージ５を送信する（Ｔ１５）。以上により、自ＮＣから所属子ノード４内ＩＯＣ間へのメッセージ転送処理が実現できる。
　図８は、クロスバ３内における自ＮＣから他ＮＣへのメッセージ転送処理（以下、第２の処理と言う）を示す。
　第２の処理の一例として、ＮＣ２１ＢからＮＣ２１Ｃに対してのメッセージ転送処理が発生した場合の処理について説明する。なお、以下の例において、メッセージに付加された拡張宛先ＩＤ＝１０であるものとする。
　その宛先情報を含むメッセージ５が、ＮＣ２１Ｂから送信され、第１メッセージ受信部３００で受信される（Ｔ２１）。
　宛先判定部３０１は、受信したメッセージ５を受取り（Ｔ２２）、その情報から拡張宛先ＩＤの２ビットからどのノード宛かを判定し、宛先ＩＤの３ビットからどの宛先ユニットかを判定する。この場合、宛先判定部３０１は、自ＮＣ（ＮＣ２１Ｂ）の“ノードＩＤ＝０１”と、拡張宛先ＩＤの２ビットが“１０”であることより、宛先は他ＮＣ宛（ＮＣ２１Ｃ）であると判定する。
　宛先判定部３０１は、自ＮＣから他ＮＣ宛のメッセージ送信の場合、メッセージに付加された拡張宛先ＩＤを削除せず、そのメッセージ５を第１メッセージ送信部３０３に送る（Ｔ２３）。そして、そのメッセージ５を受取った第１メッセージ送信部３０３は、他ＮＣ宛（ＮＣ２１Ｃ）にそのメッセージ５を送信する（Ｔ２４）。以上により、自ＮＣから他ＮＣへのメッセージ転送処理が実現できる。
　図９は、クロスバ３内における所属子ノード４に属するＩＯＣから自ＮＣへのメッセージ転送処理（以下、第３の処理と言う）を示す。
　第３の処理の一例として、ＩＯＣ４０ＧからＮＣ２１Ｄに対してのメッセージ処理が発生した場合の処理について説明する。なお、以下の例において、メッセージに付加された“拡張宛先ＩＤ＝１１”とする。
　ＩＯＣ４０Ｇは、固定フォーマット形式のメッセージ５をクロスバ３に送信する。クロスバ３内の第２メッセージ受信部３０４は、ＩＯＣ４０Ｇからのメッセージ５を受信する（Ｔ３１）。
　このメッセージ５は、更に、第２メッセージ受信部３０４から拡張宛先ＩＤ付加部３０５に送られ（Ｔ３２）、拡張宛先ＩＤ付加部３０５により以下のように処理される。
　即ち、拡張宛先ＩＤ付加部３０５は、メッセージ送信元のＩＯＣ４０Ｇの子ノードの“ノードＩＤ＝１１”を“拡張宛先ＩＤ＝１１”として、固定フォーマット形式に付加する。
　次に、拡張宛先ＩＤ付加部３０５は、拡張宛先ＩＤを付加したメッセージ５を、第２メッセージ送信部３０６に送る（Ｔ３３）。第２メッセージ送信部３０６は、拡張宛先ＩＤ付加部３０５からメッセージ５を受取り、ＩＯＣ４０Ｇに属する子ノードに対応する自ＮＣ（ＮＣ２１Ｄ）へメッセージ５を送信する（Ｔ３４）。以上により、所属子ノード４内ＩＯＣから自ＮＣへのメッセージ５の転送処理を実行することができる。
　例えば、対応親ノード２に属するＣＰＵ２００からのメッセージ５が、非対応親ノード２に属するＣＰＵ２００へ送信される場合、第２の処理により自ＮＣ２１から他ＮＣ２１を介する処理が行われる。
　また、対応親ノード２に属するＣＰＵ２００からのメッセージ５が、非対応親ノード２に属するＩＯＣ４０へ送信される場合、第２の処理の実行の後、第１の処理が実行される。
　以上のように、このノード間通信方法により、既存のサーバ装置１のメッセージの形式に拡張宛先ＩＤの情報を付加されたメッセージ５が、ＮＣ２１とクロスバ３で送受信される。更に、ＩＯＣ４０側の送受信されるメッセージ５は、クロスバ３で既存のサーバ装置１のメッセージ形式で処理される。
　このノード間通信方法により、ＩＯＣ側の変更、又は取替え等を行うことなく、ユニットからのメッセージ５が、増設したＮＣの属する親ノード２のＣＰＵ２００へ送信され、又は、増設したＩＯＣ４０へ送信される。
　図１０～図１２は、図１のサーバシステムにおけるノード拡張処理フローを示す。図１０～図１２は、一体となって１つのノード拡張処理を示す。
　本サーバシステムにおいて、親ＮＣ２１がメッセージ５の宛先を決定し、ターゲット先へメッセージ５が送信されるまでの処理は、メッセージ５の送信元がＣＰＵ２００かＩＯＣ４０かに応じて、以下に説明するように実行される。
　ステップＳ１において、メッセージ５の送信元がＣＰＵ２００である場合、送信元のＣＰＵ２００が、メッセージ５の中の宛先ＩＤ（図４（Ａ）又は、図５（Ａ）に示す）を親ＮＣ２１のＩＤ（ユニットＩＤ）に設定する（ステップＳ２）。この設定の後、送信元のＣＰＵ２００がメッセージ５を親ＮＣ２１へ送信する（ステップＳ３）。この処理の後、図１１のステップＳ９が実行される。
　一方、ステップＳ１において、メッセージ５の送信元がＩＯＣ４０である場合、送信元のＩＯＣ４０が、メッセージ５の中の宛先ＩＤを親ＮＣ２１のＩＤに設定し（ステップＳ４）、この後、クロスバ３へメッセージ５を送信する（ステップＳ５）。
　クロスバ３は、このメッセージ５を受信し（ステップＳ６）、受信したメッセージ５に、送信元のＩＯＣ４０の親ノードＩＤを含む情報を拡張宛先ＩＤとして付加する（ステップＳ７）。クロスバ３が、拡張宛先ＩＤの付加されたメッセージ５を、送信元のＩＯＣ４０の親ＮＣ２１へ送信する（ステップＳ８）。
　この後、親ＮＣ２１は、ＣＰＵ２００、又はクロスバ３経由で送られてくるＩＯＣ４０からのメッセージ５を受信し、メッセージ５からターゲット先（メッセージ５の宛先を言う）を判定する（ステップＳ９）。この判定の結果に基づいて、親ＮＣ２１は、ターゲット先のＮＣ（ターゲットＮＣ）２１が自ＮＣであるか否かを調べる（ステップＳ１０）。ターゲット先が自ＮＣである場合、図１２のステップＳ１７が実行される。
　ターゲット先が自ＮＣでない（他ＮＣである）場合、親ＮＣ２１が、ターゲットＮＣ２１へメッセージ５を送信する（ステップＳ１１）。クロスバ３は、この親ＮＣ２１からのメッセージ５を受信し（ステップＳ１２）、受信したメッセージ５の拡張宛先ＩＤに基づいてターゲットＮＣ２１を判定する（ステップＳ１３）。クロスバ３が、ターゲットＮＣ２１へ拡張宛先ＩＤの付加されたメッセージ５を送信する（ステップＳ１４）。
　ターゲットＮＣ２１は、そのメッセージ５を受信し（ステップＳ１５）、メッセージ５からターゲット先を判定する（ステップＳ１６）。
　この後、ターゲットＮＣ２１又は親ＮＣ２１（以下、単にターゲットＮＣ２１という）は、ターゲットがＣＰＵ２００か否かを調べる（ステップＳ１７）。ターゲットがＣＰＵ２００である場合、ターゲットＮＣ２１がターゲットＣＰＵ２００へメッセージ５を送信する（ステップＳ１８）。ターゲットＣＰＵ２００がこのメッセージ５を受信し（ステップＳ１９）、メッセージ５の送信処理は終了する。
　一方、ターゲットがＣＰＵ２００でない場合、ターゲットＮＣ２１が、クロスバ３へメッセージ５を送信する（ステップＳ２０）。クロスバ３は、このメッセージ５を受信し（ステップＳ２１）、受信したメッセージ５からターゲット先を判定する（ステップＳ２２）。クロスバ３において、メッセージ処理手段３０がメッセージ５から拡張宛先ＩＤを削除する（ステップＳ２３）。
　この後、クロスバ３は、拡張宛先ＩＤが削除されたメッセージ５をターゲットＩＯＣ４０へ送信する（ステップＳ２４）。ターゲットＩＯＣ４０が、このメッセージ５を受信し（ステップＳ２５）、メッセージ５の送信処理は終了となる。
　図１３、図１４及び図１５は、各々、ノード間通信方法の動作の第１の例、第２の例及び第３の例を示す図である。なお、図１３～図１５のサーバシステムの構成は、図２と同様の構成である。
　図１３は、具体的には、子ノード４Ａに属するＩＯＣ４０Ａから、ターゲットを子ノード４Ｄに属するＩＯＣ４０Ｈに対してメッセージ５が発行された場合の動作（動作の第１の例）を示す。
　子ノード４Ａに属するＩＯＣ４０Ａは、メッセージ５のターゲットアドレス等（図４及び図５に示す）をＩＯＣ４０Ｈに設定し、親ＮＣ２１ＡのＩＤを“宛先ＩＤ＝０１０”とする情報を含むメッセージ５をクロスバ３に送信する（Ｔ４１）。
　クロスバ３は、子ノードＡに属するＩＯＣ４０Ａから固定フォーマット形式のメッセージ５を受信する。クロスバ３内のメッセージ処理手段３０（図示省略）は、受信したメッセージ５に拡張宛先ＩＤを付加する。この場合、拡張宛先ＩＤは、ＩＯＣ４０Ａの親ノード２Ａの“ノードＩＤ＝００”（２ビット）からなる“拡張宛先ＩＤ＝００”（２ビット）である。
　そして、クロスバ３は、ＩＯＣ４０Ａから受信したメッセージ５に拡張宛先ＩＤを付加したメッセージ５を、ＩＯＣ４０Ａの親ＮＣ２１Ａへ送信する（Ｔ４２）。
　ＮＣ２１Ａは、クロスバ３から拡張宛先ＩＤが付加されたメッセージ５を受信する。次に、ＮＣ２１Ａ内の宛先決定手段２２Ａ（図示省略）が、受信したメッセージ５からターゲット先を判定する。ターゲット先は、前述の図４又は図５に示すメッセージ５のターゲットアドレスやメッセージ種類に基づいて判定され、“宛先ＩＤ”に基づいては判定されない。
　この場合、宛先決定手段２２Ａは、判定処理によりターゲット先としてＩＯＣ４０Ｈと判定する。宛先決定手段２２Ａは、ＩＯＣ４０Ｈの親ノード２Ｄの“ノードＩＤ＝１１” からなる“拡張宛先ＩＤ＝１１”、及び、ＮＣ２１Ｄの“ユニットＩＤ＝０１０”からなる“宛先ＩＤ＝０１０”を設定する。宛先決定手段２２Ａがメッセージ５の拡張宛先ＩＤと宛先ＩＤを書換え後、ＮＣ２１Ａはそのメッセージ５をクロスバ３へ送信する（Ｔ４３）。
　クロスバ３は、ＮＣ２１Ａからメッセージ５を受信し、メッセージ処理手段３０で宛先判定を行う。メッセージ処理手段３０は、“拡張宛先ＩＤ＝１１”に対応するノード２ＤのＮＣ２１Ｄを宛先と判定する。更に、クロスバ３は、ＮＣ２１Ａからの受信したメッセージ５により他ＮＣのノードＩＤと判定するため、そのメッセージ５のまま、ＮＣ２１Ｄに送信する（Ｔ４４）。
　ＮＣ２１Ｄは、クロスバ３から拡張宛先ＩＤが付加されたメッセージ５を受信し、宛先決定手段２２Ｄによりターゲット先を判定する。この場合、宛先決定手段２２Ｄは、ターゲット先として所属子ノード４Ｄに属するＩＯＣ４０Ｈと判定する。この判定後、宛先決定手段２２Ｄは、ターゲット先が所属子ノード４Ｄに属するＩＯＣ４０Ｈであることより、拡張宛先ＩＤをそのままの値としたメッセージ５をクロスバ３へ送信する（Ｔ４５）。
　クロスバ３は、ＮＣ２１Ｄから拡張宛先ＩＤの付加されたメッセージ５を受信し、メッセージ処理手段３０で宛先判定を行う。メッセージ処理手段３０は、親ノードＮＣ２１Ｄから子ノード４Ｄに属するＩＯＣ４０Ｈへのメッセージ５であると判定する。メッセージ処理手段３０により、メッセージ５に付加された拡張宛先ＩＤがメッセージ５から削除され、クロスバ３から子ノード４Ｄ内のＩＯＣ４０Ｈへ拡張宛先ＩＤ削除後の固定フォーマットに従ったメッセージ５が送信される（Ｔ４６）。
　ターゲット先であるＩＯＣ４０Ｈが、この固定フォーマット形式のメッセージ５をクロスバ３から受信した後、そのメッセージに対する応答メッセージ５をクロスバ３へ送信する（Ｔ４７）。なお、以降のＴ４８～Ｔ５２において、応答メッセージ５の送信処理は、その実行の順序を逆にして、前述のメッセージ５の処理と同様に実行される。
　図１４は、具体的には、親ノード２Ａに属するプロセッサ群２０ＡのＣＰＵ２００Ａから、ターゲットを子ノード４Ｄに属するＩＯＣ４０Ｈとするメッセージ５が発行された場合の動作（動作の第２の例）を示す。
　親ノード２Ａに属するＣＰＵ２００Ａは、メッセージ５のターゲットアドレス等をＩＯＣ４０Ｈと設定し、親ＮＣ２１ＡのＩＤを“宛先ＩＤ＝０１０”とする情報を含むメッセージ５をＮＣ２１Ａに送信する（Ｔ６０）。
　ＮＣ２１Ａは、ＣＰＵ２００Ａからメッセージ５を受信する。次に、ＮＣ２１Ａ内の宛先決定手段２２Ａが、受信したメッセージ５からターゲット先を判定する。
　この場合、宛先決定手段２２Ａは、判定処理によりターゲット先としてＩＯＣ４０Ｈと判定する。宛先決定手段２２Ａは、ＩＯＣ４０Ｈの親ノード２Ｄの“ノードＩＤ＝１１” からなる“拡張宛先ＩＤ＝１１”、及び、ＮＣ２１Ｄの“ユニットＩＤ＝０１０”からなる“宛先ＩＤ＝０１０”を設定する。宛先決定手段２２Ａがメッセージ５に拡張宛先ＩＤを付加した後、ＮＣ２１Ａはそのメッセージ５をクロスバ３へ送信する（Ｔ６１）。
　クロスバ３は、ＮＣ２１Ａからメッセージ５を受信し、メッセージ処理手段３０で宛先判定を行う。メッセージ処理手段３０は、メッセージ５に付加された“拡張宛先ＩＤ＝１１”の２ビットから、対応するノード２Ｄに属するＮＣ２１Ｄを宛先と判定する。更に、クロスバ３は、ＮＣ２１Ａからの受信したメッセージ５により他ＮＣのノードＩＤと判定するため、そのメッセージ５のまま、ＮＣ２１Ｄに送信する（Ｔ６２）。
　ＮＣ２１Ｄは、クロスバ３から拡張宛先ＩＤが付加されたメッセージ５を受信し、宛先決定手段２２Ｄによりターゲット先を判定する。この場合、宛先決定手段２２Ｄは、ターゲット先として所属子ノード４Ｄに属するＩＯＣ４０Ｈと判定する。この判定後、宛先決定手段２２Ｄは、ターゲット先が所属子ノード４Ｄに属するＩＯＣ４０Ｈであることにより、拡張宛先ＩＤをそのままとしてメッセージ５をクロスバ３へメッセージ５を送信する（Ｔ６３）。
　クロスバ３は、ＮＣ２１Ｄから拡張宛先ＩＤの付加されたメッセージ５を受信し、メッセージ処理手段３０で宛先判定を行う。メッセージ処理手段３０は、親ノードＮＣ２１Ｄから子ノード４Ｄに属するＩＯＣ４０Ｈへのメッセージ５であると判定する。メッセージ処理手段３０により、メッセージ５に付加された拡張宛先ＩＤがメッセージ５から削除され、クロスバ３から子ノード４Ｄ内のＩＯＣ４０Ｈへ拡張宛先ＩＤ削除後の固定フォーマット形式のメッセージ５が送信される（Ｔ６４）。
　ターゲット先であるＩＯＣ４０Ｈが、このメッセージ５をクロスバ３から受信し、その応答メッセージ５を送信元へ向けて送信する（Ｔ６５）。なお、以降のＴ６６～Ｔ６９において、応答メッセージ５の送信処理は、その実行の順序を逆にして、前述のメッセージ５の処理と同様に実行される。
　図１５は、具体的には、子ノード４Ａ内のＩＯＣ４０Ａから、ターゲットを親ノード２Ｄに属するプロセッサ群２０ＤのＣＰＵ２００Ｈとするメッセージ５が発行された場合の動作（動作の第３の例）を示す。
　子ノード４Ａに属するＩＯＣ４０Ａは、メッセージ発行先のターゲットアドレス等をＣＰＵ２００Ｈに設定し、親ＮＣ２１ＡのＩＤを“宛先ＩＤ＝０１０” とする情報を含むメッセージ５をクロスバ３に送信する（Ｔ７０）。
　クロスバ３は、子ノード４Ａに属するＩＯＣ４０Ａからメッセージ５を受信する。クロスバ３内のメッセージ処理手段３０は、受信したメッセージ５に拡張宛先ＩＤを付加する。この場合、拡張宛先ＩＤは、ＩＯＣ４０Ａの親ノード２Ａの“ノードＩＤ＝００”（２ビット）からなる“拡張宛先ＩＤ＝００”（２ビット）である。
　そして、クロスバ３は、ＩＯＣ４０Ａから受信したメッセージ５に拡張宛先ＩＤを付加したメッセージ５を、親ＮＣ２１Ａへ送信する（Ｔ７１）。
　ＮＣ２１Ａは、クロスバ３から拡張宛先ＩＤが付加されたメッセージ５を受信する。次に、ＮＣ２１Ａ内の宛先決定手段２２Ａが、その受信したメッセージ５を処理する。宛先決定手段２２Ａは、受信したメッセージ５からターゲット先を判定する。なお、ターゲット先は、前述の図４又は図５に示すメッセージ５を基に判定されるものであり、宛先ＩＤ情報（３ビット）を示すものではなく、ターゲットアドレス、又はメッセージ種類から判定される。
　この場合、宛先決定手段２２Ａは、判定処理によりターゲット先としてＩＯＣ４０Ｈと判定する。宛先決定手段２２Ａは、ＩＯＣ４０Ｈの親ノード２Ｄの“ノードＩＤ＝１１” からなる“拡張宛先ＩＤ＝１１”、及び、ＮＣ２１Ｄの“ユニットＩＤ＝０１０”からなる“宛先ＩＤ＝０１０”を設定する。宛先決定手段２２Ａがメッセージ５に付加された拡張宛先ＩＤ書換え後、ＮＣ２１Ａはそのメッセージ５をクロスバ３へ送信する（Ｔ７２）。
　クロスバ３は、ＮＣ２１Ａからメッセージ５を受信し、メッセージ処理手段３０で宛先判定を行う。メッセージ処理手段３０は、“拡張宛先ＩＤ＝１１”の２ビットに対応するノード２ＤのＮＣ２１Ｄを宛先と判定する。クロスバ３は、メッセージ処理手段３０により、ＮＣ２１Ａの受信したメッセージ５から他ＮＣのノードＩＤの宛先と判定するため、そのメッセージ５のまま、ＮＣ２１Ｄに送信する（Ｔ７３）。
　ＮＣ２１Ｄは、クロスバ３から拡張宛先ＩＤが付加されたメッセージ５を受信し、宛先決定手段２２Ｄによりターゲット先を判定する。この場合、宛先決定手段２２Ｄは、ターゲット先としてプロセッサ群２０Ｄ内のＣＰＵ２００Ｈと判定する。この判定後、ＮＣ２１Ｄは、自ノード２Ｄに属するＣＰＵ２００Ｈにメッセージ５を送信する（Ｔ７４）。なお、Ｔ７５～Ｔ７９において、応答メッセージ５の送信処理は、その実行の順序を逆にして、前述のメッセージ５の処理と同様に実行される。
　ここで、宛先決定手段２２は、プロセッサ群２０へメッセージ５を送信する場合、拡張宛先ＩＤを削除したメッセージ５を送信するものとしても良い。この場合、ＣＰＵ２００側も固定フォーマット形式のメッセージ５に対応するようにすることができる。

Claims (5)

  1. 　複数の入出力装置と、各々が複数のＣＰＵを有する複数のプロセッサ群と、前記複数のプロセッサ群に接続された複数のノードコントローラと、前記複数の入出力装置と複数のノードコントローラとの間に設けられたクロスバとを備え、前記クロスバを介して前記複数の入出力装置と複数のＣＰＵとの間でメッセージを送受信するサーバ装置におけるノード間通信方法において、
    　メッセージを送信する前記入出力装置が、当該メッセージを受信すべき入出力装置又はノードコントローラに予め割り当てられた識別情報である固定長の宛先ＩＤと前記ターゲットを特定する内部情報とを含むメッセージを、前記入出力装置に予め対応付けられたノードコントローラである第１のノードコントローラを固定された宛先として、前記クロスバに送信するステップと、
    　前記クロスバが、前記メッセージを、前記第１のノードコントローラに送信するステップと、
    　前記第１のノードコントローラが、受信した前記メッセージの内部情報に基づいて前記ターゲットを表す情報を生成し、前記情報を前記メッセージに付加するステップと、
    　前記第１のノードコントローラが、前記情報の付加されたメッセージを、前記ターゲットである入出力装置に予め対応付けられたノードコントローラ又は前記ターゲットであるＣＰＵを有するプロセッサ群に接続されたノードコントローラである第２のノードコントローラを宛先として、前記クロスバに送信するステップと、
    　前記クロスバが、前記情報の付加されたメッセージから前記情報を削除することにより前記メッセージを復元し、復元した前記メッセージを前記第２のノードコントローラに送信するステップと、
    　を有することを特徴とするノード間通信方法。
  2. 　前記第１のノードコントローラが、受信した前記メッセージの内部情報に基づいて前記ターゲットを表す情報を生成するステップは、受信した前記メッセージの内部情報の一部であって、当該メッセージを受信すべき入出力装置又はＣＰＵのアドレスを表すターゲットアドレスをデコードすることにより、前記ターゲットを表す情報を生成するステップであることを特徴とする請求項１記載のノード間通信方法。
  3. 　前記第１のノードコントローラが、受信した前記メッセージの内部情報に基づいて前記ターゲットを表す情報を生成するステップは、受信した前記メッセージの内部情報の一部であって、当該メッセージの種類を表すメッセージ種類をデコードすることにより、前記ターゲットを表す情報を生成するステップであることを特徴とする請求項１記載のノード間通信方法。
  4. 　複数の入出力装置と、各々が複数のＣＰＵを有する複数のプロセッサ群と、前記複数のプロセッサ群に接続された複数のノードコントローラと、前記複数の入出力装置と複数のノードコントローラとの間に設けられたクロスバとを備え、前記クロスバを介して前記複数の入出力装置と複数のＣＰＵとの間でメッセージを送受信するサーバ装置であって、
    　メッセージを送信する入出力装置であって、当該メッセージを受信すべき入出力装置又はノードコントローラに予め割り当てられた識別情報である固定長の宛先ＩＤと前記ターゲットを特定する内部情報とを含むメッセージを、前記入出力装置に予め対応付けられたノードコントローラである第１のノードコントローラを固定された宛先として、前記クロスバに送信する入出力装置と、
    　受信した前記メッセージの内部情報に基づいて前記ターゲットを表す情報を生成し、前記情報を前記メッセージに付加し、前記情報の付加されたメッセージを、前記ターゲットである入出力装置に予め対応付けられたノードコントローラ又は前記ターゲットであるＣＰＵを有するプロセッサ群に接続されたノードコントローラである第２のノードコントローラを宛先として、前記クロスバに送信する第１のノードコントローラと、
    　前記入出力装置又はＣＰＵから受信した前記メッセージを前記第１のノードコントローラに送信すると共に、前記第１のノードコントローラから受信した前記情報の付加されたメッセージから前記情報を削除することにより前記メッセージを復元し、復元した前記メッセージを前記第２のノードコントローラに送信するクロスバとを備える
    　ことを特徴とするサーバ装置。
  5. 　複数の入出力装置と、各々が複数のＣＰＵを有する複数のプロセッサ群と、前記複数のプロセッサ群に接続された複数のノードコントローラと、前記複数の入出力装置と複数のノードコントローラとの間に設けられたクロスバとを備え、前記クロスバを介して前記複数の入出力装置と複数のＣＰＵとの間でメッセージを送受信するサーバ装置におけるノード間通信方法を実行するノード間通信プログラムであって、
    　前記プログラムは、前記サーバ装置に、
    　メッセージを送信する前記入出力装置において、当該メッセージを受信すべき入出力装置又はノードコントローラに予め割り当てられた識別情報である固定長の宛先ＩＤと前記ターゲットを特定する内部情報とを含むメッセージを、前記入出力装置に予め対応付けられたノードコントローラである第１のノードコントローラを固定された宛先として、前記クロスバに送信する処理と、
    　前記クロスバにおいて、前記メッセージを、前記第１のノードコントローラに送信する処理と、
    　前記第１のノードコントローラにおいて、受信した前記メッセージの内部情報に基づいて前記ターゲットを表す情報を生成し、前記情報を前記メッセージに付加する処理と、
    　前記第１のノードコントローラにおいて、前記情報の付加されたメッセージを、前記ターゲットである入出力装置に予め対応付けられたノードコントローラ又は前記ターゲットであるＣＰＵを有するプロセッサ群に接続されたノードコントローラである第２のノードコントローラを宛先として、前記クロスバに送信する処理と、
    　前記クロスバにおいて、前記情報の付加されたメッセージから前記情報を削除することにより前記メッセージを復元し、復元した前記メッセージを前記第２のノードコントローラに送信する処理とを、実行させる
    　ことを特徴とするノード間通信プログラム。
PCT/JP2008/064698 2008-08-18 2008-08-18 ノード間通信方法 WO2010021018A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2008/064698 WO2010021018A1 (ja) 2008-08-18 2008-08-18 ノード間通信方法
EP08809033A EP2320330A1 (en) 2008-08-18 2008-08-18 Internode communication method
JP2010525509A JP5212476B2 (ja) 2008-08-18 2008-08-18 ノード間通信方法、サーバ装置、ノード間通信プログラム
US12/929,570 US8386692B2 (en) 2008-08-18 2011-02-01 Method for communicating between nodes and server apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/064698 WO2010021018A1 (ja) 2008-08-18 2008-08-18 ノード間通信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/929,570 Continuation US8386692B2 (en) 2008-08-18 2011-02-01 Method for communicating between nodes and server apparatus

Publications (1)

Publication Number Publication Date
WO2010021018A1 true WO2010021018A1 (ja) 2010-02-25

Family

ID=41706914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/064698 WO2010021018A1 (ja) 2008-08-18 2008-08-18 ノード間通信方法

Country Status (4)

Country Link
US (1) US8386692B2 (ja)
EP (1) EP2320330A1 (ja)
JP (1) JP5212476B2 (ja)
WO (1) WO2010021018A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029163A1 (ja) * 2010-09-02 2012-03-08 富士通株式会社 ノードコントローラ、ノードコントローラの制御方法及びコンピュータシステム
JP2017151622A (ja) * 2016-02-23 2017-08-31 富士通株式会社 情報処理装置、演算処理装置及び情報処理装置の制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140036731A (ko) * 2012-09-18 2014-03-26 한국전자통신연구원 응용 프로그램 개발 방법 및 시스템
CN111917656B (zh) * 2017-07-27 2023-11-07 超聚变数字技术有限公司 传输数据的方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200435A (ja) * 1993-12-28 1995-08-04 Nippon Telegr & Teleph Corp <Ntt> 分散処理システムにおけるメッセージ通信方式
JP2003122729A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd マルチノードシステム
JP2004258998A (ja) * 2003-02-26 2004-09-16 Nec Corp プロセッサ間通信制御装置のクロスバ回路及びこれを用いたコンピュータシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2538976A1 (fr) * 1982-12-29 1984-07-06 Servel Michel Systeme de commutation de paquets synchrones de longueur fixe
US5422881A (en) * 1989-06-30 1995-06-06 Inmos Limited Message encoding
GB2268374A (en) * 1992-06-23 1994-01-05 Ibm Network addressing
US6044076A (en) * 1995-06-09 2000-03-28 Canon Kabushiki Kaisha Network system for transmitting a plurality of channels, and node device, packet transmission method, terminal equipment connection table generation method, and connection information registration method used in the system
US7161937B1 (en) * 1996-12-13 2007-01-09 Intel Corporation Method and apparatus for routing encoded signals through a network
JP2000132527A (ja) 1998-10-27 2000-05-12 Nec Eng Ltd プロセッサ間通信制御装置
US20050281282A1 (en) * 2004-06-21 2005-12-22 Gonzalez Henry J Internal messaging within a switch
US7565463B2 (en) * 2005-04-22 2009-07-21 Sun Microsystems, Inc. Scalable routing and addressing
US7430630B2 (en) * 2005-10-27 2008-09-30 International Business Machines Corporation Routing mechanism in PCI multi-host topologies using destination ID field
US7380046B2 (en) * 2006-02-07 2008-05-27 International Business Machines Corporation Method, apparatus, and computer program product for routing packets utilizing a unique identifier, included within a standard address, that identifies the destination host computer system
US7571273B2 (en) * 2006-12-06 2009-08-04 International Business Machines Corporation Bus/device/function translation within and routing of communications packets in a PCI switched-fabric in a multi-host environment utilizing multiple root switches

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200435A (ja) * 1993-12-28 1995-08-04 Nippon Telegr & Teleph Corp <Ntt> 分散処理システムにおけるメッセージ通信方式
JP2003122729A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd マルチノードシステム
JP2004258998A (ja) * 2003-02-26 2004-09-16 Nec Corp プロセッサ間通信制御装置のクロスバ回路及びこれを用いたコンピュータシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029163A1 (ja) * 2010-09-02 2012-03-08 富士通株式会社 ノードコントローラ、ノードコントローラの制御方法及びコンピュータシステム
JP5553111B2 (ja) * 2010-09-02 2014-07-16 富士通株式会社 ノードコントローラ、ノードコントローラの制御方法及びコンピュータシステム
JP2017151622A (ja) * 2016-02-23 2017-08-31 富士通株式会社 情報処理装置、演算処理装置及び情報処理装置の制御方法

Also Published As

Publication number Publication date
US20110138099A1 (en) 2011-06-09
US8386692B2 (en) 2013-02-26
JPWO2010021018A1 (ja) 2012-01-26
JP5212476B2 (ja) 2013-06-19
EP2320330A1 (en) 2011-05-11

Similar Documents

Publication Publication Date Title
US10732879B2 (en) Technologies for processing network packets by an intelligent network interface controller
KR101559644B1 (ko) 통신 제어 시스템, 스위치 노드 및 통신 제어 방법
KR100812225B1 (ko) 멀티프로세서 ＳｏＣ 플랫폼에 적합한 크로스바 스위치구조
CN108270676B (zh) 一种基于Intel DPDK的网络数据处理方法及装置
JP2006504184A5 (ja)
JP5231400B2 (ja) マルチプロセッサ・ゲートウェイ
CN107851078B (zh) 一种PCIe设备的聚合友好型地址分配的方法和系统
JP5212476B2 (ja) ノード間通信方法、サーバ装置、ノード間通信プログラム
CN1279790A (zh) 快速16位分离事务i/o总线
US20170293589A1 (en) Parallel processing apparatus and method for controlling communication
JP2016066278A (ja) データ転送制御システム、データ転送制御方法、及び、データ転送制御プログラム
CN115189977B (zh) 一种基于axi协议的广播传输方法、系统及介质
JP5272367B2 (ja) 無線ｌａｎアクセスポイントおよびプログラム
JP4104939B2 (ja) マルチプロセッサシステム
JP2014204160A (ja) ゲートウェイ装置
CN111147611B (zh) 参考附加网络地址转换表提供快速分组转发的电子设备
KR20190108001A (ko) 네트워크온칩 및 이를 포함하는 컴퓨팅 장치
WO2017047657A1 (ja) バッファ制御装置、通信ノード、及び中継装置
US8069273B2 (en) Processing module
JP2009276828A (ja) Ｕｓｂ接続装置、及びｕｓｂ接続方法
CN112052200A (zh) 信息处理装置、信息处理系统以及存储介质
WO2006048826A1 (en) Integrated circuit and method for data transfer in a network on chip environment
US11093308B2 (en) System and method for sending messages to configure remote virtual endpoints in nodes of a systolic array
US11604683B2 (en) System and methods for tag-based synchronization of tasks for machine learning operations
US8055813B2 (en) Flexible and efficient configuration of multiple common interfaces

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08809033

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010525509

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2008809033

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE