WO2015098138A1 - ストレージシステム - Google Patents

ストレージシステム Download PDF

Info

Publication number
WO2015098138A1
WO2015098138A1 PCT/JP2014/056962 JP2014056962W WO2015098138A1 WO 2015098138 A1 WO2015098138 A1 WO 2015098138A1 JP 2014056962 W JP2014056962 W JP 2014056962W WO 2015098138 A1 WO2015098138 A1 WO 2015098138A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage
storage unit
connector
card
unit
Prior art date
Application number
PCT/JP2014/056962
Other languages
English (en)
French (fr)
Inventor
敦寛 木下
浩 小室
洋志 笹川
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to US14/408,120 priority Critical patent/US9891841B2/en
Publication of WO2015098138A1 publication Critical patent/WO2015098138A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/025—Geometric lay-out considerations of storage- and peripheral-blocks in a semiconductor storage device

Definitions

  • Embodiments of the present invention relate to a storage system.
  • An object of one embodiment of the present invention is to provide a storage system with improved convenience.
  • a storage system includes a storage unit group including a first storage unit and a plurality of second storage units, and the first storage unit and the plurality of second storage units are , Are connected to each other so as to be able to transfer data.
  • the plurality of second storage units are mounted on the same first substrate.
  • One second storage unit of the plurality of second storage units cooperates with the first storage unit and does not cooperate with another second storage unit of the plurality of second storage units.
  • FIG. 1 is a diagram showing the concept of the configuration of a storage system.
  • FIG. 2 is a diagram illustrating an example of the configuration of the NM.
  • FIG. 3 is a diagram for explaining the configuration of a packet.
  • FIG. 4 is a diagram illustrating an NM implementation example.
  • FIG. 5 is a diagram illustrating a connection relationship between NMs when two storage systems are connected via the I / F unit.
  • FIG. 6 is a diagram showing an enclosure in which the storage system is accommodated.
  • FIG. 7 is a front view of the enclosure.
  • FIG. 8 is a rear view of the enclosure.
  • FIG. 9 is a top view of the inside of the enclosure.
  • FIG. 10 is a diagram illustrating a configuration example of the backplane.
  • FIG. 10 is a diagram illustrating a configuration example of the backplane.
  • FIG. 11 is a diagram illustrating an example of a usage pattern of the enclosure according to the first embodiment.
  • FIG. 12 is a block diagram showing the configuration of the NM card.
  • FIG. 13 is an overview of the NM card.
  • FIG. 14 is an overview of the NM card.
  • FIG. 15 is a diagram illustrating a logical connection relationship between NCs.
  • FIG. 16 is a block diagram showing the configuration of the I / F card.
  • FIG. 17 is a diagram illustrating a connection relationship between the NM card and the I / F card.
  • FIG. 18 is a block diagram illustrating a configuration of the CU card according to the first embodiment.
  • FIG. 19 is a block diagram showing the configuration of the MM card.
  • FIG. 12 is a block diagram showing the configuration of the NM card.
  • FIG. 13 is an overview of the NM card.
  • FIG. 14 is an overview of the NM card.
  • FIG. 15 is a diagram illustrating a logical connection relationship between NCs
  • FIG. 20 is a diagram illustrating a connection relationship among the NM card, the CU card, and the MM card.
  • FIG. 21 is a diagram illustrating a connection relationship between the CU card and the MM card.
  • FIG. 22 is a diagram illustrating a connector group used in the first connection example.
  • FIG. 23 is a diagram illustrating a specific connection relationship according to the first connection example.
  • FIG. 24 is a diagram illustrating a storage unit logically constructed according to the first connection example.
  • FIG. 25 is a diagram illustrating a specific connection relationship according to the second connection example.
  • FIG. 26 is a diagram illustrating a storage unit logically constructed according to the second connection example.
  • FIG. 27 is a diagram illustrating a connector group used in the third connection example.
  • FIG. 28 is a diagram illustrating a specific connection relationship according to the third connection example.
  • FIG. 29 is a diagram illustrating a storage unit logically constructed according to the third connection example.
  • FIG. 30 is a diagram illustrating a torus-like connection relationship.
  • FIG. 31 is a diagram illustrating a specific connection relationship according to the fourth connection example.
  • FIG. 32 is a diagram illustrating a specific connection relationship according to the fifth connection example.
  • FIG. 33 is a diagram illustrating a specific connection relationship according to the sixth connection example.
  • FIG. 34 is a diagram illustrating a rear view of the enclosure according to the second embodiment.
  • FIG. 35 is a block diagram illustrating a configuration of a CU card according to the second embodiment.
  • FIG. 36 is a diagram illustrating an example of a usage pattern of the enclosure of the second embodiment.
  • FIG. 1 is a diagram showing the concept of the configuration of a storage system.
  • the storage system 1 includes a storage unit 10, a connection unit (CU) 11, an interface unit (I / F unit) 12, and a management module (MM) 13.
  • CU connection unit
  • I / F unit interface unit
  • MM management module
  • the storage unit 10 has a configuration in which a plurality of node modules (NM) 14 each having a storage function and a data transfer function are connected to each other by a mesh network.
  • the storage unit 10 stores the data distributed to the plurality of NMs 14.
  • the data transfer function includes a transfer method in which each NM 14 efficiently transfers a packet.
  • FIG. 1 shows an example of a rectangular network in which each NM 14 is arranged at each grid point.
  • the coordinates of the grid point are indicated by coordinates (x, y), and the position information of the NM 14 arranged at the grid point is indicated by the node address (x D , y D ) corresponding to the coordinates of the grid point.
  • the NM 14 located in the upper left corner has the node address (0, 0) of the origin, and by moving each NM 14 in the horizontal direction (X direction) and the vertical direction (Y direction), The node address is increased or decreased by an integer value.
  • Each NM 14 includes two or more interfaces 15. Each NM 14 is connected to an adjacent NM 14 via an interface 15. Each NM 14 is connected to two or more adjacent NMs 14 in different directions. For example, in FIG. 1, the NM14 indicated by the node address (0, 0) in the upper left corner is different from the NM14 indicated by the node address (1, 0) adjacent to the X direction in the Y direction. Are connected to the NM 14 represented by the node address (0, 1) adjacent to each other. Further, in FIG. 1, the NM 14 represented by the node address (1, 1) is adjacent to four different directions, and the node addresses (1, 0), (0, 1), (2, 1) and (1 2) are connected to 4 NMs 14 respectively.
  • the NM 14 represented by the node address (x D , y D ) may be referred to as a node (x D , y D ).
  • FIG. 1 shows that each NM 14 is arranged at a grid point of a rectangular grid
  • the arrangement of each NM 14 is not limited to this example. That is, the shape of the lattice is not limited as long as each NM 14 arranged at a lattice point is connected to two or more adjacent NMs 14 in a different direction, and may be, for example, a triangle or a hexagon.
  • the NMs 14 are two-dimensionally arranged, but the NMs 14 may be three-dimensionally arranged.
  • each NM 14 can be designated by three values (x, y, z).
  • the NMs 14 When the NMs 14 are two-dimensionally arranged, the NMs 14 may be connected in a torus shape by connecting the NMs 14 located on opposite sides.
  • the CU 11 includes a connector for connecting to the outside, and can input and output data to the storage unit 10 in response to a request from the outside.
  • the CU 11 includes a storage device and an arithmetic device (not shown), and the arithmetic device can execute a server application program while using the storage device as a work area.
  • the CU 11 processes an external request under the control of the server application.
  • the CU 11 executes access to the storage unit 10 in the process of processing an external request.
  • the CU 11 When accessing the storage unit 10, the CU 11 generates a packet that can be transferred or executed by the NM 14, and transmits the generated packet to the NM 14 connected to the CU 11.
  • the storage system 1 includes four CUs 11.
  • the four CUs 11 are connected to different NMs 14, respectively.
  • the four CUs 11 are connected to the node (0, 0), the node (1, 0), the node (2, 0), and the node (3, 0) on a one-to-one basis.
  • the number of CUs 11 can be arbitrarily configured.
  • the CU 11 can be connected to an arbitrary NM 14 configuring the storage unit 10.
  • One CU11 may be connected to a plurality of NMs 14, or one NM14 may be connected to a plurality of CU11. Further, the CU 11 may be connected to an arbitrary NM 14 among the plurality of NMs 14 constituting the storage unit 10.
  • FIG. 2 is a diagram illustrating an example of the configuration of the NM 14.
  • the NM 14 includes a node controller (NC) 140, a first memory 141 that functions as a storage, and a second memory 142 that the NC 140 uses as a work area.
  • the first memory 141 a NAND memory, a bit cost scalable memory (BiCS), a magnetoresistive memory (MRAM), a phase change memory (PcRAM), a resistance change type memory (RRAM (registered trademark)), or a combination thereof is used. Applicable.
  • Various RAMs can be applied as the second memory 142. Note that the second memory 142 may not be included in the NM 14 by the first memory 141 providing a function as a work area.
  • NC 140 is connected to four interfaces 15.
  • the NC 140 receives a packet from the CU 11 or another NM 14 via the interface 15 or transmits a packet to the CU 11 or another NM 14 via the interface 15.
  • the NC 140 executes processing according to the packet (command recorded in the packet). For example, when the command is an access command (read command or write command), the NC 140 performs access to the first memory 141. If the destination of the received packet is not the local NM 14, the NC 140 transfers the packet to another NM 14 connected to the local NM 14.
  • FIG. 3 is a diagram for explaining the structure of a packet.
  • the packet is configured by recording a destination node address, a source node address, and a command or data.
  • the NC 140 that has received the packet determines the routing destination based on a predetermined transfer algorithm, so that the packet is transferred between the NMs 14 and reaches the destination NM 14. For example, the NC 140 determines, as the transfer destination NM 14, the NM 14 that is located on the route that minimizes the number of transfers from the own NM 14 to the destination NM 14 among the plurality of NMs 14 connected to the own NM 14. When there are a plurality of routes that minimize the number of transfers from the own NM 14 to the destination NM 14, the NC 140 selects one route from the plurality of routes by an arbitrary method. The NC 140 determines another NM 14 as a transfer destination when the NM 14 located on the route having the smallest transfer count among the plurality of NMs 14 connected to the NM 14 is broken or busy. To do.
  • the storage unit 10 is configured by connecting a plurality of NMs 14 via a mesh network, so that there are a plurality of paths that minimize the number of transfers. Even when a plurality of packets destined for a specific NM 14 are issued, the issued packets are distributed and transferred to a plurality of routes by the above-described transfer algorithm. Thus, a decrease in throughput of the entire storage system 1 is suppressed.
  • FIG. 4 is a diagram showing an implementation example of the NM14.
  • Each NM 14 is mounted on the card substrate 20.
  • Four card substrates 20 are detachably attached to the backplane 22 via connectors.
  • Four NMs 14 are mounted on each card substrate 20.
  • the four NMs 14 arranged in the Y direction are mounted on the same card board 20, and the four NMs 14 arranged in the X direction are mounted on different card boards 20.
  • RAID Redundant Arrays of Inexpensive Disks
  • FIG. 4 four RAID groups 21 are constructed, and each NM 14 belongs to one of the four RAID groups 21.
  • the four NMs 14 mounted on the different card substrates 20 constitute one RAID group 21.
  • four NMs 14 arranged in the X direction belong to the same RAID group 21.
  • the applied RAID level is arbitrary. For example, when RAID 5 is applied, when one of the plurality of NMs 14 constituting the RAID group 21 is damaged, the data stored in the damaged NM 14 is replaced by replacing the card board 20 having the damaged NM 14. Is restored. Further, when RAID 6 is applied, recovery is possible even when two NMs 14 out of a plurality of NMs 14 constituting the RAID group 21 are damaged.
  • the MM 13 is connected to each CU 11 and a node (0, 0).
  • the MM 13 includes a BMC (Base Management Controller) (not shown).
  • BMC Base Management Controller
  • the MM 13 monitors the environmental temperature, monitors and controls the fan speed, monitors the power supply current and power supply voltage, records the status of each CU11, monitors the temperature of each CU11, resets the CU11, And so on.
  • the MM 13 has a function of executing a process (NM control process) for the storage unit 10 in addition to the function of the BMC.
  • the NM control process is arbitrary.
  • the MM 13 may execute wear leveling of the first memory 141.
  • the MM 13 may notify the outside of the replacement of the card board 20 on which the failed MM 14 is mounted. Further, the MM 13 may rebuild the RAID after replacing the card substrate 20.
  • the failure detection of the MM 14 may be performed by the NC 140 or the CU 11. The detection of the failure of the MM 14 may be executed based on the error detection for the read data from the first memory 141 provided in the MM 14.
  • the MM 13 When the MM 13 performs a process on the storage unit 10, the MM 13 issues a packet corresponding to the process.
  • the MM 13 issues a packet conforming to the format shown in FIG. 3, for example.
  • the I / F unit 12 is a connection interface for expanding the storage unit 10. By connecting two different storage systems 1 to each other via the I / F unit 12, the storage units 10 included in each storage system 1 can be logically coupled and used as a single storage unit 10. Become.
  • the I / F unit 12 is connected by an interface 15 from one or more NMs 14. Here, each interface 15 connected to four NMs 14 of the node (0, 0), the node (0, 1), the node (0, 2), and the node (0, 3) is connected to the I / F unit 12. Each is connected.
  • FIG. 5 is a diagram showing a connection relationship between the NMs 14 when the two storage systems 1 are connected via the I / F unit 12.
  • four NMs 14 included in one storage system 1 of the two storage systems 1 and four NMs 14 included in other storage systems of the two storage systems 1 are included. And are connected in a one-to-one relationship via the I / F unit 12. Packets can be transferred between the two storage systems 1 via the interface 15 connected by the I / F unit 12.
  • the two storage units 10 configured by the NM14 group of 4 rows and 4 columns are logically coupled, and can be used as one storage unit 10 configured of the NM14 group of 4 rows and 8 columns.
  • any of the plurality of NMs 14 constituting the storage unit 10 is connected to the I / F unit 12 and the number of NMs 14 connected to the I / F unit 12 is arbitrary. Moreover, the variation of the connection relationship between the memory
  • FIG. 6 is a diagram showing a housing (enclosure) in which the storage system 1 is accommodated.
  • the storage system 1 is accommodated in an enclosure 200 that can be mounted on the server rack 201.
  • the dimensions of the enclosure 200 are defined by standards that the server rack 201 complies with.
  • the height of the dimensions of the enclosure 200 is expressed by “U (unit)”. For example, the enclosure 200 has a height of “2U”.
  • FIG. 7 is a front view of the enclosure 200
  • FIG. 8 is a rear view of the enclosure 200
  • FIG. 9 is a top view of the interior of the enclosure 200.
  • a console panel 202 on which a power button, various LEDs, and various connectors are arranged is provided.
  • Two fans 203 for intake and exhaust of air are provided on the left and right sides of the console panel 202, respectively.
  • the CU 11 is connected to the outside for a total of 12 connectors 205, the I / F unit 12 is connected to the outside for a total of 8 connectors 206, and the MM 13 is connected to the outside.
  • One connector 207 is provided on the left and right of the central portion.
  • any standard can be adopted as the standard of the connector 205 as long as it is a network connectable standard. is there.
  • any standard can be adopted as the standard of the connector 206.
  • LVDS Low voltage differential signaling
  • any standard can be adopted as the standard of the connector 207.
  • a power backplane 210 is accommodated in the central portion.
  • Backplanes 300 are accommodated on the left and right sides of the power supply backplane 210, respectively.
  • Each backplane 300 functions as one storage system 1 by mounting the CU 11, I / F unit 12, MM 13, and NM 14 mounted on the card board. That is, the enclosure 200 can accommodate two storage systems 1.
  • the enclosure 200 can operate in a state where one backplane 300 is accommodated. Further, when two backplanes 300 are accommodated in the enclosure 200, the two backplanes 300 are connected to each other via the connector 206, whereby the storage unit 10 included in each of the two storage systems 1 is stored as one.
  • the storage unit 10 can be integrated and operated.
  • Two power supply devices 211 stacked in the height direction of the enclosure 200 are connected to the backplane 210 for power supply on the rear side of the enclosure 200, and two batteries 212 are arranged in the depth direction of the enclosure 200. They are connected side by side on the front side of the enclosure 200.
  • the two power supply devices 211 generate internal power based on the commercial power supplied from the outside via the power connector 204, and the generated internal power is transferred to the two backplanes 300 via the power backplane 210.
  • the two batteries 212 are backup power supplies that generate internal power when supply of commercial power is interrupted, such as a power failure.
  • FIG. 10 is a diagram illustrating a configuration example of the backplane 300.
  • CU11, I / F unit 12, MM13, and NM14 are each mounted on a card board. These card substrates are mounted in slots provided in the backplane 300.
  • a card board on which the NM 14 is mounted is referred to as an NM card (NM card 400).
  • a card substrate on which the I / F unit 12 is mounted is referred to as an I / F card (I / F card 500).
  • a card substrate on which the CU 11 is mounted is referred to as a CU card (CU card 600).
  • a card substrate on which the MM 13 is mounted is referred to as an MM card (MM card 700).
  • the backplane 300 is mounted with one MM card 700, two I / F cards 500, and six CU cards 600 from the left side on the back side.
  • the backplane 300 has 24 NM cards 400 arranged in two rows on the front side.
  • the 24 NM cards 400 are classified into a block made up of 12 NM cards 400 on the left side of the page (first block 401) and a block made up of 12 NM cards 400 on the right side of the page (second block 402). The This classification is based on the mounting position.
  • FIG. 11 is a diagram illustrating an example of a usage pattern of the enclosure 200.
  • the enclosure 200 is connected to the PC server 2 via a connector 205 and a network switch (Network SW) 3.
  • the storage system 1 accommodated in the enclosure 200 can interpret the request from the PC server 2 in the CU card 600 and access the storage unit 10.
  • a server application is executed in the CU card 600.
  • the PC server 2 can transmit a request that can be accepted by the server application.
  • the connector 205 and the network switch 3 are connected to each CU card 600, but any CU card 600 and the network switch 3 can be connected.
  • FIG. 12 is a block diagram showing the configuration of the NM card 400.
  • 13 and 14 are schematic views of the NM card 400.
  • FIG. FIG. 13 shows one side of the NM card 400
  • FIG. 14 shows the other side.
  • LVDS is applied to the standard of the interface 15 that connects the NMs 14
  • PCIe PCI Express
  • I2C and Ethernet are applied as the standard for the interface connecting NM14 and CU11.
  • the NM card 400 includes a first FPGA (field-programmable gate array) 403, a second FPGA 404, flash memories 405 to 408, DRAMs 409 and 410, flash memories 411 to 414, DRAMs 415 and 416, and a connector 417.
  • the first FPGA 403, the flash memories 405 and 406, the DRAMs 409 and 410, and the flash memories 407 and 408 are respectively the second FPGA 404, the flash memories 411 and 412, and the DRAMs 415 and 416.
  • the flash memory 414, 415 is provided symmetrically with respect to the flash memory 415, and the connector 417 is provided at a position eccentric from the symmetrical center.
  • the connector 417 is a connection mechanism that is physically and electrically connected to a slot on the backplane 300.
  • the NM card 400 can communicate with other cards via the connector 417 and wiring formed on the backplane 300.
  • the first FPGA 403 is connected to four flash memories 405 to 408 and two DRAMs 409 and 410.
  • the first FPGA 403 includes four NCs 140 inside.
  • the four NCs 140 included in the first FPGA 403 use the DRAMs 409 and 410 as the second memory 142.
  • the four NCs 140 included in the first FPGA 403 use different flash memories among the flash memories 405 to 408 as the first memory 141. That is, the first FPGA 403, the flash memories 405 to 408, and the DRAMs 409 and 410 correspond to an NM14 group including four NM14.
  • the second FPGA 404 is connected to four flash memories 411 to 414 and two DRAMs 415 and 416.
  • the second FPGA 404 includes four NCs 140 inside.
  • the four NCs 140 included in the second FPGA 404 use the DRAMs 415 and 416 as the second memory 142.
  • the four NCs 140 included in the second FPGA 404 use different flash memories among the flash memories 411 to 414 as the first memory 141.
  • the second FPGA 404, the flash memories 411 to 414, and the DRAMs 415 and 416 correspond to an NM14 group including four NM14.
  • the first FPGA 403 is connected to the connector 417 by one PCIe interface 418 and six LVDS interfaces 419. Further, the second FPGA 404 is connected to the connector 417 by one PCIe interface 418 and six LVDS interfaces 419. The first FPGA 403 and the second FPGA 404 are connected by two LVDS interfaces 420. The first FPGA 403 and the second FGPA 404 are connected to the connector 417 via the I2C interface 421.
  • FIG. 15 is a diagram showing a logical connection relationship between the NCs 140.
  • Each NC 140 includes a total of four interfaces.
  • Each NC 140 is connected to two other NCs 140 included in the same FPGA through two interfaces inside the FPGA.
  • Two NCs 140 out of the four NCs 140 included in the first FPGA 403 are connected to two NCs 140 out of the four NCs 140 included in the second FPGA 404 by the LVDS interface 420.
  • the eight NMs 14 included in the NM card 400 constitute a NM14 group of 4 rows and 2 columns.
  • the remaining interface provided in each NC 140 is an interface (LVDS interface 419) for connecting to the NC 140 included in the FPGA on another NM card 400 (not shown).
  • the NC 140 located at the four corners of the 4 ⁇ 2 array includes two LVDS interfaces 419, and the NC 140 located at the outer edge other than the four corners includes one LVDS interface 419. That is, the NM card 400 includes a total of 12 LVDS interfaces 419.
  • the LVDS interface 419 is used for connection between the NM cards 400.
  • the NC 140 located on the positive side in the X direction (the “X +” direction) can be connected to the NC 140 on another NM card 400 mounted logically adjacent to the “X +” direction.
  • NC 140 located on the negative side of the X direction (“X ⁇ ” direction) can be interconnected with NC 140 on another NM card 400 mounted logically adjacent in the “X ⁇ ” direction.
  • the NC 140 located on the positive side in the Y direction (“Y +” direction) can be connected to the NC 140 on another NM card 400 mounted logically adjacent to the “Y +” direction.
  • NC 140 located on the negative side in the Y direction (“Y ⁇ ” direction) can be interconnected with NC 140 on another NM card 400 that is mounted logically adjacent to “Y ⁇ ” direction. .
  • a total of 12 LVDS interfaces 419 included in the NM card 400 will be described by being classified into two groups, an odd group and an even group.
  • the LVDS interface 419 classified as an odd group is denoted as LVDS interface 419a
  • the LVDS interface 419 classified as an even group is denoted as LVDS interface 419b.
  • the twelve LVDS interfaces 419 are equal in the odd group and the even group in the “X +” direction, the “X ⁇ ” direction, the “Y +” direction, and the “Y ⁇ ” direction, respectively. being classified.
  • the solid line indicates the LVDS interface 419a belonging to the odd group
  • the dotted line indicates the LVDS interface 419b belonging to the even group.
  • FIG. 16 is a block diagram showing the configuration of the I / F card 500.
  • the I / F card 500 includes LVDS buffers 501 and 502, capacitors 503 and 504, a connector 206, and a connector 509.
  • the connector 509 is a connection mechanism that is physically and electrically connected to a slot on the backplane 300.
  • the I / F card 500 is connected to the NM card 400 via a connector 509 and wiring formed on the backplane 300.
  • the connector 206 includes four connectors 505 to 508. Note that the connector 505 and the connector 506 are provided with an attaching / detaching mechanism that can be attached and detached simultaneously, and the connector 507 and the connector 508 are provided with an attaching / detaching mechanism that can be attached and detached simultaneously.
  • the connector 505 is an LVDS cable connector that collects terminals of the LVDS interface 419 in the “X +” direction.
  • the connector 506 is an LVDS cable connector that collects the terminals of the LVDS interface 419 in the “X-” direction.
  • the connector 507 is an LVDS cable connector that collects terminals of the LVDS interface 419 in the “Y +” direction.
  • the connector 508 is an LVDS cable connector that collects the terminals of the LVDS interface 419 in the “Y-” direction.
  • the LVDS interface 419 in the “X +” direction and the LVDS interface 419 in the “X ⁇ ” direction are connected to the connector 505 and the connector 506 via the connector 509, the LVDS buffer 501, and the capacitor 503, respectively.
  • the LVDS interface 419 in the “Y +” direction and the LVDS interface 419 in the “Y ⁇ ” direction are connected to the connector 507 and the connector 508 via the connector 509, the LVDS buffer 502, and the capacitor 504, respectively.
  • two I / F cards 500 are mounted on the backplane 300.
  • One of the two I / F cards 500 mounted on the backplane 300 is a collection of only odd groups, and the other is a collection of only even groups.
  • FIG. 17 is a diagram showing a connection relationship between the NM card 400 and the I / F card 500.
  • the connector related to the odd group is distinguished from each other by adding an alphabet “a” to the end of the symbol, and the connector relating to the even group is appended with the alphabet “b” at the end of the symbol.
  • two NM cards 400 that are physically adjacent to each other in the horizontal direction on the paper surface include two LVDS interfaces 419a and two LVDS interfaces 419b. And connected to each other.
  • two NM cards 400 that are physically adjacent in the vertical direction on the paper surface are connected to each other by one LVDS interface 419a and one LVDS interface 419b. Is done.
  • the NM card 400 mounted on the lower stage of the first block 401 is one-to-one with the NM card 400 mounted on the lower stage of the second block 402, one LVDS interface 419a, and one LVDS interface 419b. Connected.
  • the NM card 400 mounted i-th from the left side of the drawing in the lower part of the first block 401 is connected one-to-one with the NM card 400 mounted i-th from the right side of the drawing in the lower part of the second block 402.
  • the definition of the X direction and the definition of the Y direction are logically different between the first block 401 and the second block 402.
  • the right side of the drawing corresponds to the “X +” direction.
  • the left direction of the drawing corresponds to the “X +” direction.
  • the upward direction on the paper corresponds to the “Y +” direction.
  • the downward direction in the drawing corresponds to the “Y +” direction.
  • the LVDS interface 419a belonging to the odd group is a connector. 505a.
  • the LVDS interface 419b belonging to the even group is a connector. 505b.
  • the LVDS interface 419a belonging to the odd group is Connected to the connector 506a.
  • the LVDS interface 419b belonging to the even group is Connected to the connector 506b.
  • the LVDS interface 419a belonging to the odd group is connected to the connector 507a.
  • the LVDS interface 419b belonging to the even group is connected to the connector 507b.
  • the LVDS interface 419a belonging to the odd group is connected to the connector 508a.
  • the LVDS interface 419b belonging to the even group is connected to the connector 508b.
  • FIG. 18 is a block diagram showing the configuration of the CU card 600.
  • the CU card 600 includes a first processor 601, a second processor 602, a DRAM 603, a DRAM 604, two connectors 205, an SD socket 609, an SD socket 610, and a connector 611.
  • the connector 611 is a connection mechanism that is physically and electrically connected to a slot on the backplane 300.
  • the CU card 600 can communicate with other cards via the connector 611 and wiring formed on the backplane 300.
  • the first processor 601 and the second processor 602 each function as an individual CU 11 by executing a program. That is, the CU card 600 corresponds to two CU11.
  • the first processor 601 is connected to the DRAM 603, and the DRAM 603 can be used as a work area.
  • the first processor 601 is connected to the SD socket 609. Connected to the SD socket 609 is a MicroSD card 612 in which a program executed by the first processor 601 is stored in advance.
  • the second processor 602 is connected to the DRAM 604, and the DRAM 604 can be used as a work area.
  • the second processor 602 is connected to the SD socket 610.
  • the SD socket 610 is connected to a MicroSD card 613 in which a program executed by the second processor 602 is stored in advance.
  • the first processor 601 is connected to one of the two connectors 205 via an interface 606 conforming to the Ethernet standard. In addition, the first processor 601 is connected to the connector 611 by two PCIe interfaces 605. The first processor 601 is connected to the connector 611 by a single interface 607 compliant with the Ethernet standard. In addition, the first processor 601 is connected to the connector 611 by one I2C interface 608.
  • the second processor 602 is connected to one of the two connectors 205 via an interface 606 compliant with the Ethernet standard. Further, the second processor 602 is connected to the connector 611 by two PCIe interfaces 605. The second processor 602 is connected to the connector 611 by a single interface 607 that conforms to the Ethernet standard. The second processor 602 is connected to the connector 611 by a single I2C interface 608.
  • FIG. 19 is a block diagram showing the configuration of the MM card 700.
  • the MM card 700 includes a BMC chip 701, a third processor 702, a DRAM 703, a DRAM 704, a switch 705, a connector 207, an SD socket 706, an SD socket 707, and a connector 720.
  • Connector 720 is a connection mechanism that is physically and electrically connected to a slot on backplane 300.
  • the MM card 700 can communicate with other cards via the connector 720 and wiring formed on the backplane 300.
  • the BMC chip 701 is a chip that realizes a BMC function.
  • the BMC chip 701 is connected to the DRAM 703 and uses the DRAM 703 as a work area.
  • the BMC chip 701 is connected to the SD socket 706.
  • the BMC chip 701 can record various monitoring data on the MicroSD card 716 connected to the SD socket 706.
  • the BMC chip 701 is connected to the connector 207 via an interface 708 compliant with the Ethernet standard, and can communicate with the outside via the connector 207.
  • the third processor 702 can execute NM control processing on the storage unit 10 based on a program.
  • the third processor 702 is connected to the DRAM 704, and the DRAM 704 can be used as a work area.
  • the third processor 702 is connected to the SD socket 707.
  • the SD socket 707 is connected to a MicroSD card 717 in which a program executed by the third processor 702 is stored in advance.
  • the switch 705 is connected to the connector 720 through 12 interfaces 710, is connected to the third processor 702 through a single interface 711, and is connected to the BMC chip 701 through a single interface. Is done. Each interface connected to the switch 705 conforms to the Ethernet standard.
  • the twelve interfaces 710 are connected to the respective processors (first processor 601 and second processor 602) mounted on the CU card 600 via the connector 720 and the backplane 300.
  • the switch 705 relays communication between the first processor 601, the second processor 602, the third processor 702, and the BMC chip 701.
  • the BMC chip 701 can acquire information generated by each processor via the switch 705.
  • the BMC chip 701 is connected to the connector 720 through the I2C interface 712.
  • the I2C interface 712 branches to the I2C interface 713 on the way, and the I2C interface 713 is connected to the third processor 702.
  • the terminal on the connector 720 side of the I2C interface 712 is connected to the first processor 601, the second processor 602, the first FPGA 403, and the second FPGA 404 via the backplane 300 and various card connectors.
  • the BMC chip 701 monitors the first processor 601, the second processor 602, the first FPGA 403, and the second FPGA 404 via the I2C interface 712.
  • the monitoring data transmitted from the first processor 601, the second processor 602, the first FPGA 403, and the second FPGA 404 is also referred to by the third processor 702 via the I2C interface 713.
  • the third processor 702 can execute the NM control process using the monitoring data.
  • the third processor 702 is connected to the connector 720 through the PCIe interface 714.
  • a terminal on the connector 720 side of the PCIe interface 714 is connected to one NM card 400 via the backplane 300.
  • the third processor 702 can transmit a packet for any NC 140 to the PCIe interface 714 and receive a packet from any NC 140 via the PCIe interface 714.
  • FIG. 20 is a diagram illustrating a connection relationship among the NM card 400, the CU card 600, and the MM card 700. All the connections shown in this figure are based on the PCIe interface. 20 is realized by the wiring in each card and the wiring formed on the backplane 300.
  • each CU card 600 includes four PCIe interfaces 605, and each NM card 400 includes two PCIe interfaces 418.
  • Each CU card 600 is connected to four NM cards 400 by using four PCIe interfaces 605 for connection to different NM cards 400.
  • one of the two PCIe interfaces 418 is used for connection to the CU card 600.
  • the PCIe interface 418 included in the first FPGA 403 is used for connection to the CU card 600.
  • Each of the first processors 601 included in the three CU cards 600 on the left side of the drawing includes different NM cards 400 mounted on the upper stage of the first block 401 and different NM cards mounted on the upper stage of the second block 402. 400. Further, each of the second processors 602 included in the three CU cards 600 on the left side of the page is different from each of the different NM cards 400 mounted in the lower stage of the first block 401 and different in the lower stage of the second block 402. Connected to the NM card 400.
  • Each of the first processors 601 included in the three CU cards 600 on the right side of the page includes different NM cards 400 mounted on the upper stage of the first block 401 and different NM cards mounted on the upper stage of the second block 402. 400 and both. Further, each of the second processors 602 included in the three CU cards 600 on the right side of the page is different from each of the different NM cards 400 mounted in the lower stage of the first block 401 and different in the lower stage of the second block 402. NM card 400 and both.
  • each CU card 600 is connected to both the NM card 400 belonging to the first block 401 and the NM card belonging to the second block 402.
  • each CU card 600 functions as a CU 11 with respect to the attached NM card 400.
  • it can be operated with any number of CU cards 600 of 1 to 6 attached. It becomes possible.
  • the enclosure 200 is in a state where the NM card 400 is connected to at least the first block 401. Operated.
  • the enclosure 200 can be operated in a state where the NM card 400 is attached only to the second block 402.
  • the MM card 700 includes a single PCIe interface 714.
  • the MM card 700 is connected to one NM card 400 by using the PCIe interface 714.
  • the PCIe interface 418 included in the second FPGA 404 is used for connection to the MM card 700.
  • the MM card 700 is connected to the NM card 400 mounted on the leftmost side of the upper stage of the first block 401.
  • the MM card 700 can transmit and receive packets via the PCIe interface 714.
  • FIG. 21 is a diagram showing a connection relationship between the CU card 600 and the MM card 700.
  • the illustration of the connection by the I2C interface is omitted, and the connection relation by the interface conforming to the Ethernet standard is shown.
  • the connection relationship shown in FIG. 21 is realized by wiring in each card and wiring formed on the backplane 300.
  • the MM card 700 includes twelve interfaces 710 conforming to the Ethernet standard. Each CU card 600 includes two interfaces 607 that conform to the Ethernet standard. The MM card 700 is connected to six CU cards 600 by using two interfaces 710 for each CU card 600.
  • connection example for constructing one storage unit 10 using two storage systems 1 provided in one enclosure 200 will be described.
  • an alphabet is added to the end of the code of each storage system 1.
  • FIG. 22 is a diagram showing a connector group used in the first connection example.
  • FIG. 23 is a diagram illustrating a specific connection relationship according to the first connection example.
  • FIG. 24 is a diagram illustrating the storage unit 10 that is logically constructed according to the first connection example.
  • a connector 206 included in one (storage system 1a) of two storage systems 1 included in one enclosure 200 and a connector 206 included in the other (storage system 1b). are connected to each other.
  • a connector 507a included in the storage system 1a and a connector 508a included in the storage system 1b are connected.
  • the connector 507b provided in the storage system 1a and the connector 508b provided in the storage system 1b are connected.
  • the storage unit 10 included in the storage system 1b is connected in the “Y +” direction of the storage unit 10 included in the storage system 1a.
  • the storage units 10 of the storage systems 1a and 1b are integrated to logically configure a new storage unit 10 as shown in FIG.
  • the new storage unit 10 is configured by arranging six NM cards 400 in the X direction and eight NM cards 400 in the Y direction.
  • FIG. 25 is a diagram illustrating a specific connection relationship according to the second connection example.
  • FIG. 26 is a diagram illustrating the storage unit 10 logically constructed according to the second connection example.
  • the connector 505a provided in the storage system 1a and the connector 506a provided in the storage system 1b are connected. Further, the connector 505b included in the storage system 1a and the connector 506b included in the storage system 1b are connected. With these connections, the storage unit 10 included in the storage system 1b is connected in the “X +” direction of the storage unit 10 included in the storage system 1a. That is, as shown in FIG. 26, the storage units 10 of the respective storage systems 1a and 1b are integrated so that 12 NM cards 400 are arranged in the X direction and four NM cards 400 are arranged in the Y direction.
  • One new storage unit 10 configured is logically constructed.
  • the storage unit 10 can be expanded using a plurality of enclosures 200.
  • a third connection example which is a connection example for constructing one storage unit 10 using a total of four storage systems 1 provided in the two enclosures 200, will be described. In order to identify the two enclosures 200, different alphabets are added to the end of the reference numerals of the two enclosures 200, respectively.
  • FIG. 27 is a diagram showing a connector group used in the third connection example.
  • FIG. 28 is a diagram illustrating a specific connection relationship according to the third connection example.
  • FIG. 29 is a diagram illustrating the storage unit 10 logically constructed according to the third connection example.
  • the connection is made through the connector 206. More specifically, the storage systems 1a and 1d are connected to the storage system 1b and the storage system 1c.
  • the connectors are connected. That is, the connector 505a included in the storage system 1a and the connector 506a included in the storage system 1b are connected. Further, the connector 505b included in the storage system 1a and the connector 506b included in the storage system 1b are connected. In addition, a connector 507a included in the storage system 1a and a connector 508a included in the storage system 1c are connected. Further, the connector 507b provided in the storage system 1a and the connector 508b provided in the storage system 1c are connected. Further, the connector 505a included in the storage system 1c and the connector 506a included in the storage system 1d are connected.
  • the connector 505b included in the storage system 1c and the connector 506b included in the storage system 1b are connected. Further, the connector 507a included in the storage system 1b and the connector 508a included in the storage system 1d are connected. Further, the connector 507b provided in the storage system 1b and the connector 508b provided in the storage system 1d are connected.
  • the storage units 10 included in the storage systems 1a to 1d are integrated and configured with 12 NM cards 400 arranged in the X direction and 8 NM cards 400 arranged in the Y direction.
  • One new storage unit 10 is logically constructed.
  • FIG. 30 is a diagram illustrating a torus-like connection relationship.
  • the NMs 14 are connected to each other by a wiring indicated by a solid line and a wiring indicated by a dotted line.
  • the wiring indicated by the dotted line is equivalent to the wiring indicated by the solid line.
  • routing is performed in a direction in which the X coordinate value of the node address is increased or decreased, and / or routing is performed in a direction in which the Y coordinate value of the node address is increased or decreased.
  • a packet whose source is the node (2, 0) and whose destination is the memory node (2, 2) is routed in the direction in which the Y coordinate value increases, for example, the node address is (2,
  • the NMs 14 of (0), (2, 1), (2, 2) are transferred in this order.
  • the NMs 14 having node addresses (2, 0), (2, 3), (2, 2) are transferred in this order. Is done.
  • the route to the destination increases, so that the throughput of the entire storage system 1 is improved.
  • a connection example between connectors for realizing a torus-like connection will be described.
  • FIG. 31 is a diagram showing a specific connection relationship according to the fourth connection example.
  • the fourth connection example is a connection example in which a torus-like connection is realized with only one storage system 1a. As illustrated, the connector 505a and the connector 506a are connected. Further, the connector 505b and the connector 506b are connected. Further, the connector 507a and the connector 508a are connected. Further, the connector 507b and the connector 508b are connected. Thereby, a torus-like connection is realized only by the storage unit 10 included in one storage system 1a.
  • FIG. 32 is a diagram illustrating a specific connection relationship according to the fifth connection example.
  • the fifth connection example is a connection example in which a torus-like connection is realized by two storage systems 1a and 1b.
  • the fifth connection example is realized by connecting as follows in addition to the connection between connectors similar to the second connection example. That is, the connector 506a of the storage system 1a and the connector 505a of the storage system 1b are connected. Further, the connector 506b of the storage system 1a and the connector 505b of the storage system 1b are connected. In each of the storage system 1a and the storage system 1b, the connector 507a and the connector 508a are connected, and the connector 507b and the connector 508b are connected.
  • FIG. 33 is a diagram showing a specific connection relationship according to the sixth connection example.
  • the sixth connection example is a connection example in which a torus-like connection is realized by the four storage systems 1a, 1b, 1c, and 1d.
  • the sixth connection example is realized by connecting as follows in addition to the connection between connectors similar to the third connection example. That is, the connector 506a of the storage system 1a and the connector 505a of the storage system 1b are connected. Further, the connector 506b of the storage system 1a and the connector 505b of the storage system 1b are connected. Further, the connector 506a of the storage system 1c and the connector 505a of the storage system 1d are connected.
  • the connector 506b of the storage system 1c and the connector 505b of the storage system 1d are connected. Further, the connector 508a of the storage system 1a and the connector 507a of the storage system 1c are connected. Further, the connector 508b of the storage system 1a and the connector 507b of the storage system 1c are connected. Further, the connector 508a of the storage system 1b and the connector 507a of the storage system 1d are connected. Further, the connector 508b of the storage system 1b and the connector 507b of the storage system 1d are connected.
  • the storage system 1 includes the I / F unit 12 connected to the storage unit 10, and the I / F unit 12 includes an I / F included in another storage system 1. Connected to the unit 12. With this configuration, the storage unit 10 can be expanded. That is, the storage system 1 can easily scale out the storage unit 10.
  • the LVDS interface 419 is classified into an odd group and an even group.
  • One of the two I / F cards 500 mounted on the backplane 300 is a collection of only odd group terminals, and the other is a collection of only even group terminals.
  • the LVDS interface 419 has been described as being classified into two types, an odd group and an even group.
  • the LVDS interface 419 is classified into three or more types, and each type of terminal is collected in a separate I / F card 500. May be configured.
  • the storage system 1 accommodated in the enclosure 200 receives and interprets an external request by the CU 11.
  • the enclosure 200 is configured by omitting the CU 11 and can be directly connected to the storage unit 10 from the outside by a cable.
  • FIG. 34 is a diagram showing a rear view of the enclosure 200 according to the second embodiment.
  • FIG. 35 is a block diagram illustrating a configuration of a CU card 600 according to the second embodiment.
  • the configuration of the CU card 600 is different from that of the first embodiment.
  • the CU card 600 includes a connector 208 that is a cable connector that conforms to the PCIe standard.
  • the plurality of CU cards 600 are attached to the backplane 300, so that the connector 208 is arranged on the rear surface of the enclosure 200.
  • the CU card 600 includes a switch 620 and a connector 611.
  • the switch 620 is connected to the connector 611 by four PCIe interfaces 621 and is connected to the connector 208 by one PCIe interface 622.
  • the switch 620 bundles four PCIe interfaces 621 into one PCIe interface 622.
  • the four PCIe interfaces 621 are connected to different NM cards 400 via the connector 611 and the backplane 300, respectively.
  • FIG. 36 is a diagram illustrating an example of a usage pattern of the enclosure 200 according to the second embodiment.
  • the enclosure 200 is connected to different connectors 208 from the three PC servers 4.
  • Each connector 208 is connected to a different PC server 4 on a one-to-one basis.
  • the communication standard between the enclosure 200 and the PC server 4 can be any standard as long as the internal bus of the PC server 4 can be extended to the outside of the PC server 4 by cabling. It is.
  • a plurality of PC servers 4 can be connected to the storage unit 10 via different connectors 208, and the storage unit 10 has a plurality of data transfer functions. Since the NM 14 has a configuration connected by a mesh network, even if a situation occurs in which a plurality of PC servers 4 access one NM 14, access is distributed to a plurality of routes to the NM 14. As a result, according to the second embodiment, performance degradation caused by access collision is unlikely to occur.
  • the external PC server 4 can directly transmit a packet to the storage unit 10, so that a configuration in which a server application program is executed on the external PC server 4 is configured. It becomes possible to adopt. Even when the calculation cost of the server application program is high, an external PC server 4 that fits the calculation cost can be prepared.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Bus Control (AREA)
  • Memory System (AREA)
  • Multi Processors (AREA)
  • Debugging And Monitoring (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

　利便性を向上させるために、ストレージシステムは、第１記憶部および複数の第２記憶部を備える記憶部グループを備え、前記第１記憶部と、前記複数の第２記憶部とは、其々互いにデータ転送可能に接続される。前記複数の第２記憶部は、同一の第１基板上に実装される。前記複数の第２記憶部のうちの一の第２記憶部は、前記第１記憶部と連携し、かつ、前記複数の第２記憶部のうちの他の第２記憶部と連携しない。

Description

ストレージシステム
　本発明の実施形態は、ストレージシステムに関する。
　近年、ストレージシステムを備えた複数台の情報処理装置を、相互にネットワークで接続して、一つの情報処理システムとして動作させる場合（例えばクラウドコンピューティング）が増加している。また、ストレージシステムとしても、従来型のＨＤＤを使用したものと比較してより高速な、ＤＲＡＭチップやＮＡＮＤフラッシュチップなどを多数並べてチップ間配線によって接続し、一つのストレージシステムとして用いられるものが存在する。
特開２０１２－１０３９２６号公報
　本発明の一つの実施形態は、利便性を向上させたストレージシステムを提供することを目的とする。
　本発明の一つの実施形態によれば、ストレージシステムは、第１記憶部および複数の第２記憶部を備える記憶部グループを備え、前記第１記憶部と、前記複数の第２記憶部とは、其々互いにデータ転送可能に接続される。前記複数の第２記憶部は、同一の第１基板上に実装される。前記複数の第２記憶部のうちの一の第２記憶部は、前記第１記憶部と連携し、かつ、前記複数の第２記憶部のうちの他の第２記憶部と連携しない。
図１は、ストレージシステムの構成の概念を示す図である。 図２は、ＮＭの構成の一例を示す図である。 図３は、パケットの構成を説明する図である。 図４は、ＮＭの実装例を示す図である。 図５は、Ｉ／Ｆ部を介して２台のストレージシステムが接続されたときのＮＭ間の接続関係を示す図である。 図６は、ストレージシステムが収容されるエンクロージャを示す図である。 図７は、エンクロージャの前面図である。 図８は、エンクロージャの背面図である。 図９は、エンクロージャの内部の上面図である。 図１０は、バックプレーンの構成例を示す図である。 図１１は、第１の実施形態のエンクロージャの使用形態の一例を示す図である。 図１２は、ＮＭカードの構成を示すブロック図である。 図１３は、ＮＭカードの概観図である。 図１４は、ＮＭカードの概観図である。 図１５は、ＮＣ間の論理的な接続関係を示す図である。 図１６は、Ｉ／Ｆカードの構成を示すブロック図である。 図１７は、ＮＭカードとＩ／Ｆカードとの間の接続関係を示す図である。 図１８は、第１の実施形態のＣＵカードの構成を示すブロック図である。 図１９は、ＭＭカードの構成を示すブロック図である。 図２０は、ＮＭカード、ＣＵカード、およびＭＭカードの間の接続関係を示す図である。 図２１は、ＣＵカードとＭＭカードとの間の接続関係を示す図である。 図２２は、第１接続例において使用されるコネクタ群を示す図である。 図２３は、第１接続例による具体的な接続関係を示す図である。 図２４は、第１接続例によって論理的に構築される記憶部を示す図である。 図２５は、第２接続例による具体的な接続関係を示す図である。 図２６は、第２接続例によって論理的に構築される記憶部を示す図である。 図２７は、第３接続例において使用されるコネクタ群を示す図である。 図２８は、第３接続例による具体的な接続関係を示す図である。 図２９は、第３接続例によって論理的に構築される記憶部を示す図である。 図３０は、トーラス状の接続関係を示す図である。 図３１は、第４接続例による具体的な接続関係を示す図である。 図３２は、第５接続例による具体的な接続関係を示す図である。 図３３は、第６接続例による具体的な接続関係を示す図である。 図３４は、第２の実施形態のエンクロージャの背面図を示す図である。 図３５は、第２の実施形態のＣＵカードの構成を示すブロック図である。 図３６は、第２の実施形態のエンクロージャの、使用形態の一例を示す図である。
　以下に添付図面を参照して、実施形態にかかるストレージシステムを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
（第１の実施形態）
　まず、実施形態のストレージシステムの構成の概念を説明する。図１は、ストレージシステムの構成の概念を示す図である。図示するように、ストレージシステム１は、記憶部１０、コネクションユニット（ＣＵ）１１、インタフェース部（Ｉ／Ｆ部）１２およびマネジメントモジュール（ＭＭ）１３を備えている。
　記憶部１０は、記憶機能およびデータ転送機能を其々有する複数のノードモジュール（ＮＭ）１４をメッシュネットワークにより相互に接続した構成を備える。記憶部１０は、複数のＮＭ１４に対してデータを分散して記憶する。データ転送機能は、各ＮＭ１４が効率的にパケットを転送する転送方式を備える。
　図１では、各ＮＭ１４が其々格子点に配置された、矩形状のネットワークの例を示す。格子点の座標を座標（ｘ、ｙ）で示し、格子点に配置されるＮＭ１４の位置情報は、当該格子点の座標と対応してノードアドレス（ｘD、ｙD）で示されるものとする。また、図１の例では、左上隅に位置するＮＭ１４が原点のノードアドレス（０、０）を有し、各ＮＭ１４を横方向（Ｘ方向）および縦方向（Ｙ方向）に移動することで、ノードアドレスが整数値で増減する。
　各ＮＭ１４は、それぞれ、２つ以上のインタフェース１５を備える。各ＮＭ１４は、隣接するＮＭ１４と、インタフェース１５を介して接続される。各ＮＭ１４は、２以上の異なる方向に隣接するＮＭ１４と接続される。例えば、図１において左上隅のノードアドレス（０、０）で示されるＮＭ１４は、Ｘ方向に隣接するノードアドレス（１、０）で表されるＮＭ１４と、Ｘ方向とは異なる方向であるＹ方向に隣接するノードアドレス（０、１）で表されるＮＭ１４と、それぞれ接続される。また、図１においてノードアドレス（１、１）で表されるＮＭ１４は、互いに異なる４の方向に隣接する、ノードアドレス（１、０）、（０、１）、（２、１）および（１、２）でそれぞれ示される４のＮＭ１４に接続される。以降、ノードアドレス（ｘD、ｙD）で表されるＮＭ１４を、ノード（ｘD、ｙD）と表記することがある。
　図１では、各ＮＭ１４が矩形格子の格子点に配置されるように示したが、各ＮＭ１４の配置の様態は、この例に限定されない。すなわち、格子の形状は、格子点に配置される各ＮＭ１４が２以上の異なる方向に隣接するＮＭ１４と接続されればよく、例えば三角形、六角形などでもよい。また、図１では各ＮＭ１４が２次元状に配置されているが、各ＮＭ１４を３次元的に配置しても構わない。３次元的にＮＭ１４を配置した場合は、（ｘ、ｙ、ｚ）の３つの値で各ＮＭ１４を指定することができる。また、ＮＭ１４が２次元的に配置される場合には、対辺に位置するＮＭ１４同士を接続することによって、ＮＭ１４をトーラス状に接続するようにしてもよい。
　ＣＵ１１は、外部に接続するコネクタを備え、外部からの要求に応じて記憶部１０にデータを入出力することができる。具体的には、ＣＵ１１は、図示していない記憶装置と演算装置とを備え、演算装置は、記憶装置をワークエリアとして使用しながらサーバアプリケーションプログラムを実行することができる。ＣＵ１１は、サーバアプリケーションによる制御の下で、外部からの要求を処理する。ＣＵ１１は、外部からの要求の処理の過程において、記憶部１０に対するアクセスを実行する。ＣＵ１１は、記憶部１０にアクセスする際には、ＮＭ１４が転送したり実行したりすることが可能なパケットを生成し、生成したパケットを、自ＣＵ１１に接続されているＮＭ１４に送信する。
　図１の例では、ストレージシステム１は、４つのＣＵ１１を備えている。４つのＣＵ１１は、夫々異なるＮＭ１４に接続される。ここでは、４つのＣＵ１１は、ノード（０、０）、ノード（１、０）、ノード（２、０）、およびノード（３、０）に一対一に接続されている。なお、ＣＵ１１の数は任意に構成することが可能である。また、ＣＵ１１は、記憶部１０を構成する任意のＮＭ１４に接続されることが可能である。また、１つのＣＵ１１が複数のＮＭ１４に接続されてもよいし、１つのＮＭ１４が複数のＣＵ１１に接続されてもよい。また、記憶部１０を構成する複数のＮＭ１４のうちの任意のＮＭ１４にＣＵ１１が接続されてもよい。
　図２は、ＮＭ１４の構成の一例を示す図である。ＮＭ１４は、ノードコントローラ（ＮＣ）１４０と、ストレージとして機能する第１のメモリ１４１と、ＮＣ１４０がワークエリアとして使用する第２のメモリ１４２とを備えている。第１のメモリ１４１としては、ＮＡＮＤメモリ、ビットコストスケーラブルメモリ（ＢｉＣＳ）、磁気抵抗メモリ（ＭＲＡＭ）、相変化メモリ（ＰｃＲＡＭ）、抵抗変化型メモリ（ＲＲＡＭ（登録商標））、またはこれらの組み合わせが適用可能である。第２のメモリ１４２としては、各種ＲＡＭが適用可能である。なお、第１のメモリ１４１がワークエリアとしての機能を提供することによって第２のメモリ１４２はＮＭ１４に具備されなくてもよい。
　ＮＣ１４０は、４つのインタフェース１５が接続される。ＮＣ１４０は、ＣＵ１１または他のＮＭ１４からインタフェース１５を介してパケットを受信したり、ＣＵ１１または他のＮＭ１４にインタフェース１５を介してパケットを送信したりする。ＮＣ１４０は、受信したパケットの宛先が自ＮＭ１４である場合には、そのパケット（そのパケットに記録されるコマンド）に応じた処理を実行する。例えば、コマンドがアクセスコマンド（リードコマンドまたはライトコマンド）である場合には、ＮＣ１４０は第１のメモリ１４１に対するアクセスを実行する。ＮＣ１４０は、受信したパケットの宛先が自ＮＭ１４では無い場合には、そのパケットを自ＮＭ１４に接続されている他のＮＭ１４に転送する。
　図３は、パケットの構成を説明する図である。パケットは、宛先のノードアドレス、送り元のノードアドレス、および、コマンドまたはデータが記録されて構成される。
　パケットは、そのパケットを受信したＮＣ１４０が所定の転送アルゴリズムに基づいてルーティング先を決定することで、ＮＭ１４間を転送されて、宛先のＮＭ１４に到達する。例えば、ＮＣ１４０は、自ＮＭ１４に接続されている複数のＮＭ１４のうちの、自ＮＭ１４から宛先のＮＭ１４までの転送回数が最小となる経路上に位置するＮＭ１４を、転送先のＮＭ１４に決定する。ＮＣ１４０は、自ＮＭ１４から宛先のＮＭ１４までの転送回数が最小となる経路が複数存在する場合には、複数の経路から１つの経路を任意の方法で選択する。ＮＣ１４０は、自ＮＭ１４に接続されている複数のＮＭ１４のうちの転送回数が最小となる経路上に位置するＮＭ１４が故障していたりビジーであったりする場合には、他のＮＭ１４を転送先に決定する。
　記憶部１０は、複数のＮＭ１４がメッシュネットワークで接続されて構成されていることにより、転送回数が最小となる経路が複数存在する。特定のＮＭ１４を宛先とするパケットが複数発行された場合であっても、発行された複数のパケットは、上述の転送アルゴリズムにより複数の経路に分散して転送されるので、特定のＮＭ１４に対するアクセス集中によるストレージシステム１全体のスループットの低下が抑制される。
　図４は、ＮＭ１４の実装例を示す図である。各ＮＭ１４は、カード基板２０に実装されている。４つのカード基板２０が、着脱可能にコネクタを介してバックプレーン２２に装着される。各カード基板２０には、４つのＮＭ１４が実装されている。Ｙ方向に配列された４つのＮＭ１４は、同一のカード基板２０に実装され、Ｘ方向に配列された４つのＮＭ１４は、夫々異なるカード基板２０に実装されている。ここで、記憶部１０においてＲＡＩＤ（Redundant　Arrays　of　Inexpensive　Disks）を構築することが可能である。例えば、図４に示す例では、４つのＲＡＩＤグループ２１が構築されており、各ＮＭ１４は、４つのＲＡＩＤグループ２１のうちのいずれかに属する。そして、夫々異なるカード基板２０に実装されている４つのＮＭ１４は１つのＲＡＩＤグループ２１が構成される。ここでは、Ｘ方向に配列された４つのＮＭ１４が同一のＲＡＩＤグループ２１に属する。適用されるＲＡＩＤのレベルは、任意である。例えばＲＡＩＤ５が適用される場合には、ＲＡＩＤグループ２１を構成する複数のＮＭ１４のうちの１つが破損したとき、破損したＮＭ１４を有するカード基板２０を交換することで、破損したＮＭ１４に記憶されるデータが復旧される。また、ＲＡＩＤ６が適用される場合には、ＲＡＩＤグループ２１を構成する複数のＮＭ１４のうちの２つのＮＭ１４が破損した場合であっても復旧可能である。
　ＭＭ１３は、各ＣＵ１１と、ノード（０、０）とに接続されている。ＭＭ１３は、図示していないＢＭＣ（Base　Management　Controller）を備えている。ＭＭ１３は、ＢＭＣの機能の一環として、環境温度の監視、ファンの回転数の監視とコントロール、電源電流および電源電圧の監視、各ＣＵ１１のステータスの記録、各ＣＵ１１の温度の監視、ＣＵ１１のリセット、などを実行する。また、ＭＭ１３は、ＢＭＣの機能のほかに、記憶部１０に対する処理（ＮＭ制御処理）を実行する機能を備える。ＮＭ制御処理は任意である。例えば、第１のメモリ１４１がフラッシュメモリで構成される場合には、ＭＭ１３は、第１のメモリ１４１のウェアレベリングを実行してもよい。また、ＭＭ１３は、ＭＭ１４の故障が発見されたとき、故障したＭＭ１４が実装されているカード基板２０の交換を外部に通知するようにしてもよい。また、ＭＭ１３は、カード基板２０の交換後、ＲＡＩＤのリビルドを行ってもよい。なお、ＭＭ１４の故障の検知は、ＮＣ１４０によって行われてもよいし、ＣＵ１１によって行われてもよい。ＭＭ１４の故障の検知は、そのＭＭ１４に具備される第１のメモリ１４１からのリードデータに対するエラー検出に基づいて実行されてもよい。ＭＭ１３は、記憶部１０に対して処理を行う際には、処理に応じたパケットを発行する。ＭＭ１３は、例えば図３に示す様式に準拠するパケットを発行する。
　Ｉ／Ｆ部１２は、記憶部１０を拡張するための接続インタフェースである。異なる２台のストレージシステム１がＩ／Ｆ部１２を介して相互に接続されることで、各ストレージシステム１が備える記憶部１０が論理的に結合されて、１つの記憶部１０として使用可能になる。Ｉ／Ｆ部１２は、１以上のＮＭ１４からインタフェース１５で接続されている。ここでは、ノード（０、０）、ノード（０、１）、ノード（０、２）、およびノード（０、３）の４つのＮＭ１４に接続されている各インタフェース１５がＩ／Ｆ部１２に夫々接続されている。
　図５は、Ｉ／Ｆ部１２を介して２台のストレージシステム１が接続されたときのＮＭ１４間の接続関係を示す図である。図示するように、２台のストレージシステム１のうちの一のストレージシステム１に具備される４つのＮＭ１４と、２台のストレージシステム１のうちの他のストレージシステムに具備される４つのＮＭ１４とが、Ｉ／Ｆ部１２を介して一対一で接続されている。２台のストレージシステム１間では、Ｉ／Ｆ部１２により接続されたインタフェース１５を介してパケットが転送可能である。これにより、４行４列のＮＭ１４群により構成される２つの記憶部１０が論理的に結合されて、４行８列のＮＭ１４群により構成される１つの記憶部１０として使用可能となる。
　なお、記憶部１０を構成する複数のＮＭ１４のうちの何れをＩ／Ｆ部１２に接続するか、および、Ｉ／Ｆ部１２に接続するＮＭ１４の数は、任意である。また、記憶部１０間の接続関係のバリエーションについては後述する。
　次に、第１の実施形態の実装例を説明する。
　図６は、ストレージシステム１が収容される筐体（エンクロージャ）を示す図である。ストレージシステム１は、サーバラック２０１にマウント可能なエンクロージャ２００に収容される。エンクロージャ２００の寸法は、サーバラック２０１が準拠する規格によって規定されている。エンクロージャ２００の寸法のうちの高さは、「Ｕ（ユニット）」によって表現される。例えば、エンクロージャ２００は、「２Ｕ」の高さを有する。
　図７は、エンクロージャ２００の前面図、図８は、エンクロージャ２００の背面図、図９は、エンクロージャ２００の内部の上面図、を夫々示している。
　エンクロージャ２００の前面の中央には、電源ボタン、各種ＬＥＤ、および各種コネクタが配設されたコンソールパネル２０２が設けられている。コンソールパネル２０２の左右には、空気を吸気または排気するファン２０３が夫々２つずつ設けられている。
　エンクロージャ２００の背面の中央部分には、後述の電源装置２１１を冷却するための２つのファン２０３と、２つの電源コネクタ２０４と、が設けられている。そして、ＣＵ１１が外部と接続するための６対で合計１２個のコネクタ２０５と、Ｉ／Ｆ部１２が外部と接続するための４対で合計８個のコネクタ２０６と、ＭＭ１３が外部と接続するための１個のコネクタ２０７と、が、中央部分の左右に夫々設けられている。
　なお、ここでは、コネクタ２０５の規格として、イーサネット（登録商標）規格に準拠するコネクタが採用されるとして説明するが、ネットワーク接続可能な規格であればコネクタ２０５の規格として任意の規格が採用可能である。また、コネクタ２０６の規格には、任意の規格が採用可能である。ここでは、ＮＭ１４間のインタフェースとしてＬＶＤＳ（Low　voltage　differential　signaling）が採用され、コネクタ２０６の規格としてＬＶＤＳが採用されるものとする。また、コネクタ２０７の規格として、任意の規格が採用可能である。
　エンクロージャ２００の内部においては、中央部分に、電源用のバックプレーン２１０が収容されている。そして、電源用のバックプレーン２１０の左右には、バックプレーン３００が其々収容されている。各バックプレーン３００は、カード基板に実装されたＣＵ１１、Ｉ／Ｆ部１２、ＭＭ１３、およびＮＭ１４が装着されることで、１つのストレージシステム１として機能する。即ち、エンクロージャ２００は、２つのストレージシステム１が収容可能である。なお、エンクロージャ２００には、１つのバックプレーン３００が収容されている状態で動作可能である。また、エンクロージャ２００は、２つのバックプレーン３００が収容された場合、２つのバックプレーン３００がコネクタ２０６を介して互いに接続されることにより、２つのストレージシステム１の夫々が有する記憶部１０を１つの記憶部１０に統合して運用することが可能である。
　電源用のバックプレーン２１０には、エンクロージャ２００の高さ方向に重ねられた２個の電源装置２１１がエンクロージャ２００の背面（Rear）側に接続され、エンクロージャ２００の奥行き方向に２個のバッテリー２１２がエンクロージャ２００の前面（Front）側に並べて接続される。２個の電源装置２１１は、外部から電源コネクタ２０４を介して供給された商用電源に基づいて内部電源を生成し、生成した内部電源を電源用のバックプレーン２１０を介して２つのバックプレーン３００に供給する。２個のバッテリー２１２は、停電など商用電源の供給が途絶えたときに内部電源を生成するバックアップ電源である。
　図１０は、バックプレーン３００の構成例を示す図である。ＣＵ１１、Ｉ／Ｆ部１２、ＭＭ１３、およびＮＭ１４は、夫々カード基板に実装される。これらのカード基板は、バックプレーン３００に設けられたスロットに装着される。ＮＭ１４が実装されているカード基板を、ＮＭカード（ＮＭカード４００）と表記する。Ｉ／Ｆ部１２が実装されているカード基板を、Ｉ／Ｆカード（Ｉ／Ｆカード５００）と表記する。ＣＵ１１が実装されているカード基板を、ＣＵカード（ＣＵカード６００）と表記する。ＭＭ１３が実装されているカード基板を、ＭＭカード（ＭＭカード７００）と表記する。
　バックプレーン３００は、背面側において、左から１枚のＭＭカード７００、２枚のＩ／Ｆカード５００、および６枚のＣＵカード６００が装着される。また、バックプレーン３００は、前面側において、２４枚のＮＭカード４００が２列に配列されて装着されている。２４枚のＮＭカード４００は、紙面左側の１２枚のＮＭカード４００からなるブロック（第１ブロック４０１）と、紙面右側の１２枚のＮＭカード４００からなるブロック（第２ブロック４０２）とに分類される。この分類は、装着位置に基づくものである。
　図１１は、エンクロージャ２００の使用形態の一例を示す図である。エンクロージャ２００は、コネクタ２０５とネットワークスイッチ（Network　SW）３を介してＰＣサーバ２が接続されている。エンクロージャ２００に収容されているストレージシステム１は、ＣＵカード６００においてＰＣサーバ２からの要求を解釈し、記憶部１０にアクセスすることができる。ＣＵカード６００においては、サーバアプリケーションが実行されている。ＰＣサーバ２は、サーバアプリケーションが受け付け可能な要求を送信することができる。なお、ここでは、ＣＵカード６００毎にコネクタ２０５とネットワークスイッチ３とが接続されているが、任意のＣＵカード６００とネットワークスイッチ３とを接続することができる。
　図１２は、ＮＭカード４００の構成を示すブロック図である。図１３および図１４は、ＮＭカード４００の概観図である。図１３は、ＮＭカード４００の一方の面を示し、図１４は、他方の面を示している。この実装例においては、ＮＭ１４間を接続するインタフェース１５の規格には、ＬＶＤＳが適用され、ＮＭ１４とＣＵ１１とを接続するインタフェース１５の規格には、ＰＣＩｅ（PCI　Express）が適用される。また、ＮＭ１４とＭＭ１３とを接続するインタフェースの規格には、ＰＣＩｅが適用され、ＮＭ１４とＣＵ１１とを接続するインタフェースの規格には、Ｉ２Ｃおよびイーサネットが適用される。
　ＮＭカード４００は、第１のＦＰＧＡ（field-programmable　gate　array）４０３、第２のＦＰＧＡ４０４、フラッシュメモリ４０５～４０８、ＤＲＡＭ４０９、４１０、フラッシュメモリ４１１～４１４、ＤＲＡＭ４１５、４１６およびコネクタ４１７を備えている。図１３および図１４に示すように、第１のＦＰＧＡ４０３、フラッシュメモリ４０５，４０６、ＤＲＡＭ４０９、４１０、及びフラッシュメモリ４０７，４０８は、其々、第２のＦＰＧＡ４０４、フラッシュメモリ４１１，４１２、ＤＲＡＭ４１５，４１６、フラッシュメモリ４１４，４１５に対して位置的に対称に設けられ、コネクタ４１７は、該対称の中心から偏心された位置に設けられる。
　コネクタ４１７は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。ＮＭカード４００は、コネクタ４１７と、バックプレーン３００に形成された配線と、を介して他のカードと通信を行うことができる。
　第１のＦＰＧＡ４０３は、４つのフラッシュメモリ４０５～４０８と、２つのＤＲＡＭ４０９、４１０とに接続されている。第１のＦＰＧＡ４０３は、４つのＮＣ１４０を内部に含む。第１のＦＰＧＡ４０３に含まれる４つのＮＣ１４０は、ＤＲＡＭ４０９、４１０を、第２のメモリ１４２として使用する。また、第１のＦＰＧＡ４０３に含まれる４つのＮＣ１４０は、フラッシュメモリ４０５～４０８のうちの夫々異なるフラッシュメモリを、第１のメモリ１４１として使用する。即ち、第１のＦＰＧＡ４０３、フラッシュメモリ４０５～４０８、ＤＲＡＭ４０９、４１０は、４つのＮＭ１４からなるＮＭ１４群に相当する。
　第２のＦＰＧＡ４０４は、４つのフラッシュメモリ４１１～４１４と、２つのＤＲＡＭ４１５、４１６とに接続されている。第２のＦＰＧＡ４０４は、４つのＮＣ１４０を内部に含む。第２のＦＰＧＡ４０４に含まれる４つのＮＣ１４０は、ＤＲＡＭ４１５、４１６を、第２のメモリ１４２として使用する。また、第２のＦＰＧＡ４０４に含まれる４つのＮＣ１４０は、フラッシュメモリ４１１～４１４のうちの夫々異なるフラッシュメモリを、第１のメモリ１４１として使用する。即ち、第２のＦＰＧＡ４０４、フラッシュメモリ４１１～４１４、ＤＲＡＭ４１５、４１６は、４つのＮＭ１４からなるＮＭ１４群に相当する。
　第１のＦＰＧＡ４０３は、１本のＰＣＩｅインタフェース４１８と、６本のＬＶＤＳインタフェース４１９とでコネクタ４１７と接続されている。また、第２のＦＰＧＡ４０４は、１本のＰＣＩｅインタフェース４１８と、６本のＬＶＤＳインタフェース４１９とでコネクタ４１７と接続されている。第１のＦＰＧＡ４０３と、第２のＦＰＧＡ４０４とは、２本のＬＶＤＳインタフェース４２０で接続されている。また、第１のＦＰＧＡ４０３および第２のＦＧＰＡ４０４は、Ｉ２Ｃインタフェース４２１でコネクタ４１７に接続されている。
　図１５は、ＮＣ１４０間の論理的な接続関係を示す図である。各ＮＣ１４０は、合計４つのインタフェースを其々備える。各ＮＣ１４０は、ＦＰＧＡの内部の２つのインタフェースで、同一のＦＰＧＡに含まれる他の２つのＮＣ１４０と接続される。第１のＦＰＧＡ４０３に含まれる４つのＮＣ１４０のうちの２つのＮＣ１４０は、第２のＦＰＧＡ４０４に含まれる４つのＮＣ１４０のうちの２つのＮＣ１４０と、ＬＶＤＳインタフェース４２０で相互に接続される。このようにＮＣ１４０間が接続されることにより、ＮＭカード４００が有する８個相当のＮＭ１４は、４行２列のＮＭ１４群を構成する。
　各ＮＣ１４０が備える残りのインタフェースは、他のＮＭカード４００（図示せず）上のＦＰＧＡに含まれるＮＣ１４０と接続するためのインタフェース（ＬＶＤＳインタフェース４１９）である。４行２列の配列の４隅に位置するＮＣ１４０は、２つのＬＶＤＳインタフェース４１９を備え、４隅以外の外縁部に位置するＮＣ１４０は、１つのＬＶＤＳインタフェース４１９を備える。即ち、ＮＭカード４００は、合計１２本のＬＶＤＳインタフェース４１９を具備する。
　ＬＶＤＳインタフェース４１９は、ＮＭカード４００間の接続に使用される。Ｘ方向のうちの正側（「Ｘ＋」方向）に位置するＮＣ１４０は、「Ｘ＋」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。Ｘ方向のうちの負側（「Ｘ－」方向）に位置するＮＣ１４０は、「Ｘ－」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。Ｙ方向のうちの正側（「Ｙ＋」方向）に位置するＮＣ１４０は、「Ｙ＋」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。Ｙ方向のうちの負側（「Ｙ－」方向）に位置するＮＣ１４０は、「Ｙ－」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。
　本実施例では、ＮＭカード４００が有する合計１２本のＬＶＤＳインタフェース４１９は、オッドグループとイーブングループとの２つのグループに分類して説明する。オッドグループに分類されるＬＶＤＳインタフェース４１９を、ＬＶＤＳインタフェース４１９ａ、イーブングループに分類されるＬＶＤＳインタフェース４１９を、ＬＶＤＳインタフェース４１９ｂ、と表記する。ここでは、１２本のＬＶＤＳインタフェース４１９は、「Ｘ＋」方向、「Ｘ－」方向、「Ｙ＋」方向、および「Ｙ－」方向の夫々において、オッドグループとイーブングループとで同数となるように、分類される。図１５において、実線はオッドグループに属するＬＶＤＳインタフェース４１９ａを示しており、点線はイーブングループに属するＬＶＤＳインタフェース４１９ｂを示している。
　図１６は、Ｉ／Ｆカード５００の構成を示すブロック図である。Ｉ／Ｆカード５００は、ＬＶＤＳバッファ５０１、５０２、キャパシタ５０３、５０４、コネクタ２０６、およびコネクタ５０９を備える。
　コネクタ５０９は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。Ｉ／Ｆカード５００は、コネクタ５０９と、バックプレーン３００に形成された配線と、を介してＮＭカード４００に接続される。
　コネクタ２０６は、４つのコネクタ５０５～５０８を含む。なお、コネクタ５０５とコネクタ５０６とは、同時に着脱可能な着脱機構を備え、コネクタ５０７とコネクタ５０８とは、同時に着脱可能な着脱機構を備えるものとする。コネクタ５０５は、「Ｘ＋」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。コネクタ５０６は、「Ｘ－」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。コネクタ５０７は、「Ｙ＋」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。コネクタ５０８は、「Ｙ－」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。
　「Ｘ＋」方向のＬＶＤＳインタフェース４１９および「Ｘ－」方向のＬＶＤＳインタフェース４１９は、コネクタ５０９、ＬＶＤＳバッファ５０１、およびキャパシタ５０３を介して、コネクタ５０５およびコネクタ５０６に夫々接続される。「Ｙ＋」方向のＬＶＤＳインタフェース４１９および「Ｙ－」方向のＬＶＤＳインタフェース４１９は、コネクタ５０９、ＬＶＤＳバッファ５０２、およびキャパシタ５０４を介して、コネクタ５０７およびコネクタ５０８に夫々接続される。
　なお、前述のように、バックプレーン３００には、２枚のＩ／Ｆカード５００が装着される。バックプレーン３００に装着される２枚のＩ／Ｆカード５００のうちの一方は、オッドグループだけを集めたものであり、他方は、イーブングループだけを集めたものである。
　図１７は、ＮＭカード４００とＩ／Ｆカード５００との間の接続関係を示す図である。ここで、オッドグループにかかるコネクタには、符号の末尾にアルファベット「ａ」を付し、イーブングループにかかるコネクタには、符号の末尾にアルファベット「ｂ」を付して互いに区別する。
　図１７に示すように、第１ブロック４０１および第２ブロック４０２の夫々において、紙面横方向に物理的に隣接する２枚のＮＭカード４００が、２本のＬＶＤＳインタフェース４１９ａと２本のＬＶＤＳインタフェース４１９ｂとで相互に接続される。また、第１ブロック４０１および第２ブロック４０２の夫々において、紙面縦方向に物理的に隣接する２枚のＮＭカード４００が、１本のＬＶＤＳインタフェース４１９ａと１本のＬＶＤＳインタフェース４１９ｂとで相互に接続される。
　第１ブロック４０１の下段に装着されているＮＭカード４００は、第２ブロック４０２の下段に装着されているＮＭカード４００と、１本のＬＶＤＳインタフェース４１９ａと１本のＬＶＤＳインタフェース４１９ｂとで一対一に接続される。第１ブロック４０１の下段において紙面左側からｉ番目に装着されているＮＭカード４００は、第２ブロック４０２の下段において紙面右側からｉ番目に装着されているＮＭカード４００と一対一に接続される。上記のように物理的に接続されることにより、論理的には、Ｘ方向の定義およびＹ方向の定義が、第１ブロック４０１と第２ブロック４０２とで相違する。第１ブロック４０１においては紙面右方向が「Ｘ＋」方向に該当する。第２ブロック４０２においては紙面左方向が「Ｘ＋」方向に該当する。第１ブロック４０１においては紙面上方向が「Ｙ＋」方向に該当する。第２ブロック４０２においては紙面下方向が「Ｙ＋」方向に該当する。
　第１ブロック４０１の右端に装着されたＮＭカード４００および第２ブロック４０２の左端に装着されたＮＭカード４００が有する「Ｘ＋」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０５ａに接続される。第１ブロック４０１の右端に装着されたＮＭカード４００および第２ブロック４０２の左端に装着されたＮＭカード４００が有する「Ｘ＋」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０５ｂに接続される。
　第１ブロック４０１の左端に装着されたＮＭカード４００および第２ブロック４０２の右端に装着されたＮＭカード４００が有する「Ｘ－」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０６ａに接続される。第１ブロック４０１の左端に装着されたＮＭカード４００および第２ブロック４０２の右端に装着されたＮＭカード４００が有する「Ｘ－」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０６ｂに接続される。
　第１ブロック４０１の上段に装着されたＮＭカード４００が有する「Ｙ＋」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０７ａに接続される。第１ブロック４０１の上段に装着されたＮＭカード４００が有する「Ｙ＋」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０７ｂに接続される。
　第２ブロック４０２の上段に装着されたＮＭカード４００が有する「Ｙ－」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０８ａに接続される。第２ブロック４０２の上段に装着されたＮＭカード４００が有する「Ｙ－」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０８ｂに接続される。
　図１８は、ＣＵカード６００の構成を示すブロック図である。ＣＵカード６００は、第１のプロセッサ６０１、第２のプロセッサ６０２、ＤＲＡＭ６０３、ＤＲＡＭ６０４、２つのコネクタ２０５、ＳＤソケット６０９、ＳＤソケット６１０、およびコネクタ６１１を備える。
　コネクタ６１１は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。ＣＵカード６００は、コネクタ６１１と、バックプレーン３００に形成された配線と、を介して他のカードと通信を行うことができる。
　第１のプロセッサ６０１および第２のプロセッサ６０２は、夫々プログラムを実行することにより、夫々個別のＣＵ１１として機能する。即ち、ＣＵカード６００は、２つのＣＵ１１に相当する。第１のプロセッサ６０１は、ＤＲＡＭ６０３に接続されており、ＤＲＡＭ６０３をワークエリアとして使用することができる。第１のプロセッサ６０１は、ＳＤソケット６０９に接続されている。ＳＤソケット６０９には、第１のプロセッサ６０１によって実行されるプログラムが予め格納されたＭｉｃｒｏＳＤカード６１２が接続される。第２のプロセッサ６０２は、ＤＲＡＭ６０４に接続されており、ＤＲＡＭ６０４をワークエリアとして使用することができる。第２のプロセッサ６０２は、ＳＤソケット６１０に接続される。ＳＤソケット６１０は、第２のプロセッサ６０２によって実行されるプログラムが予め格納されたＭｉｃｒｏＳＤカード６１３が接続される。
　第１のプロセッサ６０１は、２個のコネクタ２０５のうちの１つにイーサネット規格に準拠するインタフェース６０６で接続される。また、第１のプロセッサ６０１は、２本のＰＣＩｅインタフェース６０５でコネクタ６１１に接続される。また、第１のプロセッサ６０１は、イーサネット規格に準拠する１本のインタフェース６０７でコネクタ６１１に接続される。また、第１のプロセッサ６０１は、１本のＩ２Ｃインタフェース６０８でコネクタ６１１に接続される。
　同様に、第２のプロセッサ６０２は、２個のコネクタ２０５のうちの１つにイーサネット規格に準拠するインタフェース６０６で接続される。また、第２のプロセッサ６０２は、２本のＰＣＩｅインタフェース６０５でコネクタ６１１に接続される。また、第２のプロセッサ６０２は、イーサネット規格に準拠する１本のインタフェース６０７でコネクタ６１１に接続される。また、第２のプロセッサ６０２は、１本のＩ２Ｃインタフェース６０８でコネクタ６１１に接続される。
　図１９は、ＭＭカード７００の構成を示すブロック図である。ＭＭカード７００は、ＢＭＣチップ７０１、第３のプロセッサ７０２、ＤＲＡＭ７０３、ＤＲＡＭ７０４、スイッチ７０５、コネクタ２０７、ＳＤソケット７０６、ＳＤソケット７０７、およびコネクタ７２０を備えている。
　コネクタ７２０は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。ＭＭカード７００は、コネクタ７２０と、バックプレーン３００に形成された配線と、を介して他のカードと通信を行うことができる。
　ＢＭＣチップ７０１は、ＢＭＣの機能を実現するチップである。ＢＭＣチップ７０１は、ＤＲＡＭ７０３に接続されており、ＤＲＡＭ７０３をワークエリアとして使用する。ＢＭＣチップ７０１は、ＳＤソケット７０６と接続されている。ＢＭＣチップ７０１は、ＳＤソケット７０６に接続されたＭｉｃｒｏＳＤカード７１６に、各種監視データを記録することができる。ＢＭＣチップ７０１は、コネクタ２０７とイーサネット規格に準拠するインタフェース７０８で接続されており、コネクタ２０７を介して外部と通信を行うことができる。
　第３のプロセッサ７０２は、プログラムに基づいて記憶部１０に対してＮＭ制御処理を実行することができる。第３のプロセッサ７０２は、ＤＲＡＭ７０４に接続されており、ＤＲＡＭ７０４をワークエリアとして使用することができる。第３のプロセッサ７０２は、ＳＤソケット７０７に接続されている。ＳＤソケット７０７は、第３のプロセッサ７０２によって実行されるプログラムが予め格納されたＭｉｃｒｏＳＤカード７１７が接続される。
　スイッチ７０５は、コネクタ７２０との間で１２本のインタフェース７１０で接続され、第３のプロセッサ７０２との間で１本のインタフェース７１１で接続され、ＢＭＣチップ７０１との間で１本のインタフェースで接続される。スイッチ７０５に接続される各インタフェースは、イーサネット規格に準拠するものである。１２本のインタフェース７１０は、コネクタ７２０およびバックプレーン３００を介して、ＣＵカード６００に実装されている各プロセッサ（第１のプロセッサ６０１、第２のプロセッサ６０２）に接続される。スイッチ７０５は、第１のプロセッサ６０１、第２のプロセッサ６０２、および第３のプロセッサ７０２と、ＢＭＣチップ７０１と、の間の通信を中継する。ＢＭＣチップ７０１は、各プロセッサが生成する情報を、スイッチ７０５を介して取得することができる。
　また、ＢＭＣチップ７０１は、コネクタ７２０との間でＩ２Ｃインタフェース７１２で接続されている。Ｉ２Ｃインタフェース７１２は、途中でＩ２Ｃインタフェース７１３に分岐して、Ｉ２Ｃインタフェース７１３は第３のプロセッサ７０２に接続されている。Ｉ２Ｃインタフェース７１２のコネクタ７２０側の端子は、バックプレーン３００および各種カードのコネクタを介して第１のプロセッサ６０１、第２のプロセッサ６０２、第１のＦＰＧＡ４０３、および第２のＦＰＧＡ４０４に接続される。ＢＭＣチップ７０１は、Ｉ２Ｃインタフェース７１２を介して第１のプロセッサ６０１、第２のプロセッサ６０２、第１のＦＰＧＡ４０３、および第２のＦＰＧＡ４０４を監視する。第１のプロセッサ６０１、第２のプロセッサ６０２、第１のＦＰＧＡ４０３、および第２のＦＰＧＡ４０４から送られてくる監視データは、Ｉ２Ｃインタフェース７１３を介して第３のプロセッサ７０２からも参照される。第３のプロセッサ７０２は、監視データを用いてＮＭ制御処理を実行することができる。
　第３のプロセッサ７０２は、ＰＣＩｅインタフェース７１４でコネクタ７２０と接続される。ＰＣＩｅインタフェース７１４のコネクタ７２０側の端子は、バックプレーン３００を介して、１つのＮＭカード４００に接続される。第３のプロセッサ７０２は、任意のＮＣ１４０に対するパケットをＰＣＩｅインタフェース７１４に送信したり、任意のＮＣ１４０からのパケットをＰＣＩｅインタフェース７１４を介して受信したりすることができる。
　図２０は、ＮＭカード４００、ＣＵカード６００、およびＭＭカード７００の間の接続関係を示す図である。本図に示す接続は、全てＰＣＩｅインタフェースによるものである。また、図２０に示す接続関係は、各カード内の配線とバックプレーン３００に形成された配線とによって実現する。
　前述のように、各ＣＵカード６００は、４本のＰＣＩｅインタフェース６０５を備え、各ＮＭカード４００は、２本のＰＣＩｅインタフェース４１８を備える。各ＣＵカード６００は、４本のＰＣＩｅインタフェース６０５が夫々異なるＮＭカード４００との接続に使用されることにより、４つのＮＭカード４００に接続される。各ＮＭカード４００は、２本のＰＣＩｅインタフェース４１８のうちの１本がＣＵカード６００との接続に使用される。ここでは、第１のＦＰＧＡ４０３が有するＰＣＩｅインタフェース４１８がＣＵカード６００との接続に使用される。
　紙面左側の３枚のＣＵカード６００が有する各第１のプロセッサ６０１は、第１ブロック４０１の上段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の上段に装着された夫々異なるＮＭカード４００と、に接続される。また、紙面左側の３枚のＣＵカード６００が有する各第２のプロセッサ６０２は、第１ブロック４０１の下段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の下段に装着された夫々異なるＮＭカード４００と、に接続される。
　紙面右側の３枚のＣＵカード６００が有する各第１のプロセッサ６０１は、第１ブロック４０１の上段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の上段に装着された夫々異なるＮＭカード４００と、の両方に接続される。また、紙面右側の３枚のＣＵカード６００が有する各第２のプロセッサ６０２は、第１ブロック４０１の下段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の下段に装着された夫々異なるＮＭカード４００と、の両方に接続される。
　このように、各ＣＵカード６００は、第１ブロック４０１に属するＮＭカード４００と第２ブロック４０２に属するＮＭカードの両方に接続される。これにより、第１ブロック４０１および第２ブロック４０２の何れか一方にしかＮＭカード４００が装着されない場合であっても、各ＣＵカード６００は、装着されているＮＭカード４００に対してＣＵ１１としての機能を発揮することが可能となる。また、第１ブロック４０１および第２ブロック４０２の両方にＮＭカード４００が装着されているか否かにかかわらず、１～６のうちの任意の数のＣＵカード６００を装着した状態で運用することが可能となる。
　なお、次に説明するようにＭＭカード７００は第１ブロック４０１に属する１つのＮＭカード４００にのみ接続されるので、エンクロージャ２００は、少なくとも第１ブロック４０１にＮＭカード４００が接続されている状態で運用される。ＭＭカード７００が第２ブロック４０２に属する任意のＮＭカード４００に接続される場合には、エンクロージャ２００は、第２ブロック４０２にのみＮＭカード４００が装着されている状態での運用が可能である。
　ＭＭカード７００は、１本のＰＣＩｅインタフェース７１４を備える。ＭＭカード７００は、ＰＣＩｅインタフェース７１４が使用されることにより、１つのＮＭカード４００に接続される。ここでは、ＮＭカード４００においては、第２のＦＰＧＡ４０４が有するＰＣＩｅインタフェース４１８がＭＭカード７００との接続に使用される。また、ＭＭカード７００は、第１ブロック４０１の上段の最も左側に装着されたＮＭカード４００に接続される。ＭＭカード７００は、ＰＣＩｅインタフェース７１４を介してパケットを送受信することができる。
　図２１は、ＣＵカード６００とＭＭカード７００との間の接続関係を示す図である。ここでは、Ｉ２Ｃインタフェースによる接続の図示を省略し、イーサネット規格に準拠するインタフェースによる接続関係を示す。図２１に示す接続関係は、各カード内の配線とバックプレーン３００に形成された配線とによって実現する。
　ＭＭカード７００は、イーサネット規格に準拠する１２本のインタフェース７１０を備えている。また、各ＣＵカード６００は、イーサネット規格に準拠する２本のインタフェース６０７を備えている。ＭＭカード７００は、ＣＵカード６００毎に２本のインタフェース７１０が使用されることにより、６枚のＣＵカード６００と接続される。
　次に、記憶部１０をスケールアウトするための接続例を説明する。
　１つのエンクロージャ２００が備える２つのストレージシステム１を用いて１つの記憶部１０を構築するための接続例（第１接続例）を説明する。複数のストレージシステム１を互いに識別するために、各ストレージシステム１の符号の末尾にアルファベットを付すこととする。
　図２２は、第１接続例において使用されるコネクタ群を示す図である。図２３は、第１接続例による具体的な接続関係を示す図である。図２４は、第１接続例によって論理的に構築される記憶部１０を示す図である。
　図２２に示すように、第１接続例においては、１つのエンクロージャ２００が備える２つのストレージシステム１のうちの一（ストレージシステム１ａ）が備えるコネクタ２０６と、他（ストレージシステム１ｂ）が備えるコネクタ２０６と、の間で相互に接続される。具体的には、図２３に示すように、ストレージシステム１ａが備えるコネクタ５０７ａと、ストレージシステム１ｂが備えるコネクタ５０８ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０７ｂと、ストレージシステム１ｂが備えるコネクタ５０８ｂとが接続される。これらの接続により、ストレージシステム１ａが備える記憶部１０の「Ｙ＋」方向にストレージシステム１ｂが備える記憶部１０が接続される。即ち、各ストレージシステム１ａ、１ｂの記憶部１０が統合されて、図２４に示すような新たな１つの記憶部１０が論理的に構成される。新たな記憶部１０は、Ｘ方向に６枚のＮＭカード４００が配列され、Ｙ方向に８枚のＮＭカード４００が配列されて構成される。
　第１接続例においてはＹ方向に２つの記憶部１０が接続されたが、２つの記憶部１０をＸ方向に接続することも可能である。図２５は、第２接続例による具体的な接続関係を示す図である。図２６は、第２接続例によって論理的に構築される記憶部１０を示す図である。
　図２５に示すように、第２接続例においては、ストレージシステム１ａが備えるコネクタ５０５ａとストレージシステム１ｂが備えるコネクタ５０６ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０５ｂとストレージシステム１ｂが備えるコネクタ５０６ｂとが接続される。これらの接続により、ストレージシステム１ａが備える記憶部１０の「Ｘ＋」方向にストレージシステム１ｂが備える記憶部１０が接続される。即ち、図２６に示すように、各ストレージシステム１ａ、１ｂの記憶部１０は統合されて、Ｘ方向に１２枚のＮＭカード４００が配列され、Ｙ方向に４枚のＮＭカード４００が配列されて構成される、新たな１つの記憶部１０が、論理的に構築される。
　このように、一のストレージシステム１ａの「Ｘ＋」方向のコネクタ５０５と、他のストレージシステム１ｂの「Ｘ－」方向のコネクタ５０６と、を相互に接続することによって、記憶部１０の規模をＸ方向に拡張することができる。また、一のストレージシステム１ａの「Ｙ＋」方向のコネクタ５０７と、他のストレージシステム１ｂの「Ｙ－」方向のコネクタ５０８と、を相互に接続することによって、記憶部１０の規模をＹ方向に拡張することができる。
　さらに、複数のエンクロージャ２００を用いて記憶部１０を拡張することが可能である。２つのエンクロージャ２００が備える合計４つのストレージシステム１を用いて１つの記憶部１０を構築するための接続例である第３接続例を説明する。２つのエンクロージャ２００を夫々識別するために、２つのエンクロージャ２００の符号の末尾に夫々異なるアルファベットを付すこととする。
　図２７は、第３接続例において使用されるコネクタ群を示す図である。図２８は、第３接続例による具体的な接続関係を示す図である。図２９は、第３接続例によって論理的に構築される記憶部１０を示す図である。
　図２７に示すように、第３接続例においては、１つのエンクロージャ２００（エンクロージャ２００ａ）が備えるストレージシステム１ａ、１ｂと、他のエンクロージャ２００（エンクロージャ２００ｂ）が備えるストレージシステム１ｃ、１ｄと、の間で、コネクタ２０６を介して接続される。より詳しくは、ストレージシステム１ａ、１ｄは、ストレージシステム１ｂおよびストレージシステム１ｃと接続される。
　図２８に示すようにコネクタ間が接続される。即ち、ストレージシステム１ａが備えるコネクタ５０５ａとストレージシステム１ｂが備えるコネクタ５０６ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０５ｂとストレージシステム１ｂが備えるコネクタ５０６ｂとが接続される。また、ストレージシステム１ａが備えるコネクタ５０７ａと、ストレージシステム１ｃが備えるコネクタ５０８ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０７ｂと、ストレージシステム１ｃが備えるコネクタ５０８ｂとが接続される。また、ストレージシステム１ｃが備えるコネクタ５０５ａとストレージシステム１ｄが備えるコネクタ５０６ａとが接続される。また、ストレージシステム１ｃが備えるコネクタ５０５ｂとストレージシステム１ｂが備えるコネクタ５０６ｂとが接続される。また、ストレージシステム１ｂが備えるコネクタ５０７ａと、ストレージシステム１ｄが備えるコネクタ５０８ａとが接続される。また、ストレージシステム１ｂが備えるコネクタ５０７ｂと、ストレージシステム１ｄが備えるコネクタ５０８ｂとが接続される。
　図２９に示すように、ストレージシステム１ａ～１ｄが備える記憶部１０は統合されて、Ｘ方向に１２枚のＮＭカード４００が配列され、Ｙ方向に８枚のＮＭカード４００が配列されて構成される、１つの新たな記憶部１０が、論理的に構築される。
　このように、複数のエンクロージャ２００を用いて記憶部１０の規模をＸ方向およびＹ方向の両方に拡張することが可能である。なお、ストレージシステム１ａ～１ｄを用いてＸ方向のみに拡張することも可能である。また、ストレージシステム１ａ～１ｄを用いてＹ方向のみに拡張することも可能である。なお、ここでは２台のエンクロージャ２００を用いて記憶部１０の規模が拡張される例を示したが、３台以上のエンクロージャ２００を用いて記憶部１０の規模が拡張されることも可能である。
　ＮＭ１４が２次元的に配置される場合には、対辺に位置するＮＭ１４同士を接続することによって、ＮＭ１４をトーラス状に接続するようにしてもよい。図３０は、トーラス状の接続関係を示す図である。図３０で示した例では、ＮＭ１４間は、実線で示す配線と点線で示す配線とで互いに接続されている。点線で示す配線は、実線で示す配線と等価である。このような場合、ノードアドレスのＸ座標値が増加する方向にルーティングするか減少する方向にルーティングするか、および／または、ノードアドレスのＹ座標値が増加する方向にルーティングするか減少する方向にルーティングするか、に応じて、複数の方向にルーティングすることが可能である。例えば、ノード（２、０）を送り元とし、メモリノード（２、２）を宛先とするパケットは、Ｙ座標値が増加する方向にルーティングされる場合には、例えば、ノードアドレスが（２、０）、（２、１）、（２、２）のＮＭ１４をこの順番で転送される。また、このパケットは、Ｙ座標値が減少する方向にルーティングされる場合には、例えば、ノードアドレスが（２、０）、（２、３）、（２、２）のＮＭ１４をこの順番で転送される。このように、記憶部１０を構成する複数のＮＭ１４がトーラス状に接続される場合、宛先までの経路が増加するので、ストレージシステム１全体のスループットが向上する。以下、トーラス状の接続を実現するためのコネクタ間の接続例を説明する。
　図３１は、第４接続例による具体的な接続関係を示す図である。第４接続例は、１つのストレージシステム１ａのみでトーラス状の接続を実現する接続例である。図示するように、コネクタ５０５ａとコネクタ５０６ａとが接続される。また、コネクタ５０５ｂとコネクタ５０６ｂとが接続される。また、コネクタ５０７ａとコネクタ５０８ａとが接続される。また、コネクタ５０７ｂとコネクタ５０８ｂとが接続される。これにより、１つのストレージシステム１ａが有する記憶部１０のみによってトーラス状の接続が実現する。
　図３２は、第５接続例による具体的な接続関係を示す図である。第５接続例は、２つのストレージシステム１ａ、１ｂによりトーラス状の接続を実現する接続例である。第５接続例は、第２接続例と同様のコネクタ間の接続に加えて次のように接続することによって、実現される。即ち、ストレージシステム１ａのコネクタ５０６ａと、ストレージシステム１ｂのコネクタ５０５ａとが接続される。また、ストレージシステム１ａのコネクタ５０６ｂと、ストレージシステム１ｂのコネクタ５０５ｂとが接続される。また、ストレージシステム１ａ、ストレージシステム１ｂの夫々において、コネクタ５０７ａとコネクタ５０８ａとが接続され、コネクタ５０７ｂとコネクタ５０８ｂとが接続される。
　図３３は、第６接続例による具体的な接続関係を示す図である。第６接続例は、４つのストレージシステム１ａ、１ｂ、１ｃ、１ｄによりトーラス状の接続を実現する接続例である。第６接続例は、第３接続例と同様のコネクタ間の接続に加えて次のように接続することによって、実現される。即ち、ストレージシステム１ａのコネクタ５０６ａと、ストレージシステム１ｂのコネクタ５０５ａとが接続される。また、ストレージシステム１ａのコネクタ５０６ｂと、ストレージシステム１ｂのコネクタ５０５ｂとが接続される。また、ストレージシステム１ｃのコネクタ５０６ａと、ストレージシステム１ｄのコネクタ５０５ａとが接続される。また、ストレージシステム１ｃのコネクタ５０６ｂと、ストレージシステム１ｄのコネクタ５０５ｂとが接続される。また、ストレージシステム１ａのコネクタ５０８ａと、ストレージシステム１ｃのコネクタ５０７ａとが接続される。また、ストレージシステム１ａのコネクタ５０８ｂと、ストレージシステム１ｃのコネクタ５０７ｂとが接続される。また、ストレージシステム１ｂのコネクタ５０８ａと、ストレージシステム１ｄのコネクタ５０７ａとが接続される。また、ストレージシステム１ｂのコネクタ５０８ｂと、ストレージシステム１ｄのコネクタ５０７ｂとが接続される。
　このように、第１の実施形態においては、ストレージシステム１は記憶部１０に接続されるＩ／Ｆ部１２を有し、当該Ｉ／Ｆ部１２は、他のストレージシステム１が有するＩ／Ｆ部１２と接続される。この構成により、記憶部１０を拡張することが可能である。即ち、ストレージシステム１は、容易に記憶部１０のスケールアウトを行うことが可能である。
　さらに、前述のように、ＬＶＤＳインタフェース４１９は、オッドグループとイーブングループとに分類される。バックプレーン３００に装着される２枚のＩ／Ｆカード５００のうちの一方は、オッドグループの端子だけを集めたものであり、他方は、イーブングループの端子だけを集めたものである。これにより、２枚のＩ／Ｆカード５００のうちの何れか一方が故障した場合であっても、外部との接続が故障していない他方のＩ／Ｆカード５００を介して維持される。なお、ここでは、ＬＶＤＳインタフェース４１９は、オッドグループとイーブングループとの２種類に分類されるとして説明したが、３種類以上に分類され、各種類の端子が夫々別々のＩ／Ｆカード５００に集められて構成されてもよい。
（第２の実施形態）
　第１の実施形態においては、エンクロージャ２００に収容されたストレージシステム１は、外部からの要求をＣＵ１１において受け付けられて解釈される。第２の実施形態においては、エンクロージャ２００は、ＣＵ１１を省略して構成され、外部から直接に記憶部１０にケーブル接続することが可能である。
　図３４は、第２の実施形態のエンクロージャ２００の背面図を示す図である。図３５は、第２の実施形態のＣＵカード６００の構成を示すブロック図である。第２の実施形態においては、ＣＵカード６００の構成が第１の実施形態と異なる。ＣＵカード６００は、ＰＣＩｅ規格に準拠するケーブルコネクタであるコネクタ２０８を備え、複数のＣＵカード６００がバックプレーン３００に装着されることによりコネクタ２０８がエンクロージャ２００の背面部に配列される。
　また、ＣＵカード６００は、スイッチ６２０およびコネクタ６１１を備える。スイッチ６２０は、４本のＰＣＩｅインタフェース６２１でコネクタ６１１に接続され、１本のＰＣＩｅインタフェース６２２でコネクタ２０８に接続される。スイッチ６２０は、４本のＰＣＩｅインタフェース６２１を１本のＰＣＩｅインタフェース６２２に束ねる。４本のＰＣＩｅインタフェース６２１は、コネクタ６１１およびバックプレーン３００を介して夫々異なるＮＭカード４００に接続される。
　図３６は、第２の実施形態のエンクロージャ２００の、使用形態の一例を示す図である。エンクロージャ２００は、３つのＰＣサーバ４から夫々異なるコネクタ２０８に接続されている。各コネクタ２０８は、夫々異なるＰＣサーバ４と一対一に接続される。
　なお、エンクロージャ２００とＰＣサーバ４との間の通信規格は、ＰＣサーバ４の内部のバスをＰＣサーバ４の外部にケーブリングにより拡張することが可能な規格であれば、任意の規格が採用可能である。
　一般に、複数のコンピュータと１つの記憶装置とがバス型のネットワークで接続される場合には、複数のコンピュータからの記憶装置に対するアクセスが衝突することにより全体の性能が低下するという問題（いわゆるフォン・ノイマン・ボトルネック）が発生する。第２の実施形態によれば、複数のＰＣサーバ４が夫々異なるコネクタ２０８を介して記憶部１０に対して接続されることが可能であり、かつ、記憶部１０はデータ転送機能を有する複数のＮＭ１４がメッシュネットワークにより接続された構成を有するので、仮に複数のＰＣサーバ４が１つのＮＭ１４に対してアクセスする事態が発生したとしても、そのＮＭ１４への複数の経路にアクセスが分散される。その結果、第２の実施形態によれば、アクセスの衝突に起因する性能低下が起こりにくい。
　また、第２の実施形態によれば、外部のＰＣサーバ４は、記憶部１０に対して直接にパケットを送信することができるので、外部のＰＣサーバ４上でサーバアプリケーションプログラムを実行する構成を採用することが可能となる。サーバアプリケーションプログラムの演算コストが高い場合であっても、その演算コストにフィットした外部のＰＣサーバ４を用意することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (11)

  1. 　第１記憶部および複数の第２記憶部を備える記憶部グループを備え、
    　前記第１記憶部と、前記複数の第２記憶部とは、其々互いにデータ転送可能に接続され、
    　前記複数の第２記憶部は、同一の第１基板上に実装され、
    　前記複数の第２記憶部のうちの一の第２記憶部は、前記第１記憶部と連携し、かつ、前記複数の第２記憶部のうちの他の第２記憶部と連携しない、
    　ことを特徴とするストレージシステム。
  2. 　前記記憶部グループは、第３記憶部を更に備え、
    　前記第３記憶部は、前記他の第２記憶部のうちの１つと連携する、
    　ことを特徴とする請求項１に記載のストレージシステム。
  3. 　前記第１記憶部と、前記第３記憶部とは、前記第１基板と異なる、其々同一の第２基板に実装され、前記第２基板は着脱可能であって、
    　前記一の第２記憶部は、前記第１記憶部が格納されるデータを復旧するためのデータが格納される、
    　ことを特徴とする請求項２に記載のストレージシステム。
  4. 　外部のコンピュータと前記記憶部グループとを接続する複数の接続部と、
    　前記記憶部グループと前記複数の接続部とを制御可能な第１制御部と、
    　電源部と、
    　ファンと、
    　を更に備え、
    　前記第１制御部は、環境温度の監視、前記ファンの回転数の監視および制御、前記電源部が各部に供給する電流および電圧の監視、各接続部のステータスの記録、各接続部の温度の監視、ならびに、各制御部の暴走時のリセット、の何れか少なくとも１つを実行する、
    　ことを特徴とする請求項１に記載のストレージシステム。
  5. 　前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部は、其々第２制御部を有し、
    　前記第２制御部は、前記記憶部グループ内でのデータ転送ルートを其々決定する、
    　ことを特徴とする請求項２に記載のストレージシステム。
  6. 　前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部は、其々不揮発性メモリを備え、
    　前記第１制御部は、前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部の夫々が備える不揮発性メモリの管理を実行する、
    　ことを特徴とする請求項４に記載のストレージシステム。
  7. 　前記第１制御部は、前記第２基板の交換通知と、前記第２基板の交換後の連携のリビルドと、を実行する、
    　ことを特徴とする請求項４に記載のストレージシステム。
  8. 　２つのストレージを備え、
    　前記２つのストレージの夫々は、
    　夫々互いにデータ転送可能に接続された複数の記憶部を備える記憶部グループと、
    　前記記憶部グループに接続された接続部と、
    　を備え、
    　前記２つのストレージは、前記接続部を介して互いに接続される、
    　ことを特徴とするストレージシステム。
  9. 　前記記憶部グループが備える複数の記憶部は、第１記憶部および複数の第２記憶部を備え、
    　前記複数の第２記憶部は、同一の第１基板上に実装され、
    　前記複数の第２記憶部のうちの一の第２記憶部は、前記第１記憶部と連携し、かつ、前記複数の第２記憶部のうちの他の第２記憶部と連携しない、
    　ことを特徴とする請求項８に記載のストレージシステム。
  10. 　前記記憶部グループは、第３記憶部を更に備え、
    　前記第３記憶部は、前記他の第２記憶部のうちの１つと連携する、
    　ことを特徴とする請求項９に記載のストレージシステム。
  11. 　前記第１記憶部と、前記第３記憶部とは、前記第１基板と異なる、其々同一の第２基板に実装され、前記第２基板は着脱可能であって、
    　前記一の第２記憶部は、前記第１記憶部が格納されるデータを復旧するためのデータが格納される、
    　ことを特徴とする請求項１０に記載のストレージシステム。
PCT/JP2014/056962 2013-12-27 2014-03-14 ストレージシステム WO2015098138A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/408,120 US9891841B2 (en) 2013-12-27 2014-03-14 Storage system including a plurality of memory nodes connected through first and second groups of interfaces

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013272300A JP5659289B1 (ja) 2013-12-27 2013-12-27 ストレージシステム
JP2013-272300 2013-12-27

Publications (1)

Publication Number Publication Date
WO2015098138A1 true WO2015098138A1 (ja) 2015-07-02

Family

ID=52437492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056962 WO2015098138A1 (ja) 2013-12-27 2014-03-14 ストレージシステム

Country Status (3)

Country Link
US (1) US9891841B2 (ja)
JP (1) JP5659289B1 (ja)
WO (1) WO2015098138A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6313237B2 (ja) 2015-02-04 2018-04-18 東芝メモリ株式会社 ストレージシステム
JP6342351B2 (ja) * 2015-03-02 2018-06-13 東芝メモリ株式会社 ストレージシステム
JP2018156594A (ja) * 2017-03-21 2018-10-04 東芝メモリ株式会社 ストレージシステムおよび処理方法
US11710531B2 (en) * 2019-12-30 2023-07-25 Micron Technology, Inc. Memory redundancy repair

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784876A (ja) * 1993-09-07 1995-03-31 At & T Global Inf Solutions Internatl Inc データ記憶装置のマトリックス構造
JPH09297663A (ja) * 1996-05-08 1997-11-18 Ekushingu:Kk ディスクアレイ装置
JP2004272527A (ja) * 2003-03-07 2004-09-30 Hitachi Ltd ディスクアレイ装置および障害回復制御方法
JP2007219846A (ja) * 2006-02-16 2007-08-30 Fuji Xerox Co Ltd 半導体ディスク装置の異常監視・記録方法、プログラム、半導体ディスク装置、および記憶システム
JP2012103926A (ja) * 2010-11-10 2012-05-31 Toshiba Corp 転送機能を有するメモリノードを相互に接続したストレージ装置及びデータ処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308524B2 (en) * 2003-01-13 2007-12-11 Silicon Pipe, Inc Memory chain
JP2006065697A (ja) * 2004-08-27 2006-03-09 Hitachi Ltd 記憶デバイス制御装置
US7827345B2 (en) * 2005-08-04 2010-11-02 Joel Henry Hinrichs Serially interfaced random access memory
US7562271B2 (en) 2005-09-26 2009-07-14 Rambus Inc. Memory system topologies including a buffer device and an integrated circuit memory device
US8234235B2 (en) * 2008-03-25 2012-07-31 Fuhu Holdings, Inc. Security and remote support apparatus, system and method
US8738962B2 (en) * 2010-11-17 2014-05-27 International Business Machines Corporation Memory mirroring with memory compression
WO2013132532A1 (en) * 2012-03-06 2013-09-12 Hitachi, Ltd. Semiconductor storage device having nonvolatile semiconductor memory

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784876A (ja) * 1993-09-07 1995-03-31 At & T Global Inf Solutions Internatl Inc データ記憶装置のマトリックス構造
JPH09297663A (ja) * 1996-05-08 1997-11-18 Ekushingu:Kk ディスクアレイ装置
JP2004272527A (ja) * 2003-03-07 2004-09-30 Hitachi Ltd ディスクアレイ装置および障害回復制御方法
JP2007219846A (ja) * 2006-02-16 2007-08-30 Fuji Xerox Co Ltd 半導体ディスク装置の異常監視・記録方法、プログラム、半導体ディスク装置、および記憶システム
JP2012103926A (ja) * 2010-11-10 2012-05-31 Toshiba Corp 転送機能を有するメモリノードを相互に接続したストレージ装置及びデータ処理方法

Also Published As

Publication number Publication date
JP2015125763A (ja) 2015-07-06
US20150293710A1 (en) 2015-10-15
JP5659289B1 (ja) 2015-01-28
US9891841B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
US20180024775A1 (en) Technologies for storage block virtualization for non-volatile memory over fabrics
KR101604962B1 (ko) 큰 확장성 프로세서 설치에 있어서 유연한 저장 및 네트워크 프로비저닝을 위한 시스템 및 방법
JP2016162458A (ja) モジュール型不揮発性フラッシュメモリブレード及びその動作方法
JP5985403B2 (ja) ストレージ装置
US9176799B2 (en) Hop-by-hop error detection in a server system
US9547610B2 (en) Hybrid memory blade
US20150036681A1 (en) Pass-through routing at input/output nodes of a cluster server
JP5659289B1 (ja) ストレージシステム
US10545901B2 (en) Memory card expansion
JP2017531856A (ja) アクティブストレージユニットおよびアレイ
US20190243796A1 (en) Data storage module and modular storage system including one or more data storage modules
US9939863B2 (en) Power control system and storage system
US10346083B2 (en) Storage system and control method thereof
US10558603B2 (en) Storage system including a plurality of storage devices arranged in a holder
US9645760B2 (en) Storage system and control method thereof
US10389808B2 (en) Storage system and control method thereof

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14408120

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14874885

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14874885

Country of ref document: EP

Kind code of ref document: A1