WO2018154743A1 - ストレージシステム及びストレージの制御方法 - Google Patents

ストレージシステム及びストレージの制御方法 Download PDF

Info

Publication number
WO2018154743A1
WO2018154743A1 PCT/JP2017/007282 JP2017007282W WO2018154743A1 WO 2018154743 A1 WO2018154743 A1 WO 2018154743A1 JP 2017007282 W JP2017007282 W JP 2017007282W WO 2018154743 A1 WO2018154743 A1 WO 2018154743A1
Authority
WO
WIPO (PCT)
Prior art keywords
data transfer
storage
controller
group
path
Prior art date
Application number
PCT/JP2017/007282
Other languages
English (en)
French (fr)
Inventor
正太郎 新谷
健太郎 島田
真喜夫 水野
定広 杉本
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2017/007282 priority Critical patent/WO2018154743A1/ja
Priority to US16/329,570 priority patent/US10732872B2/en
Publication of WO2018154743A1 publication Critical patent/WO2018154743A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/08—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers from or to individual record carriers, e.g. punched card, memory card, integrated circuit [IC] card or smart card
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0028—Serial attached SCSI [SAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0036—Small computer system interface [SCSI]

Definitions

  • the present invention relates to a storage system that uses back-end switches in cascade connection and uses a connectionless storage protocol.
  • Patent Document 1 is known as a technique for evenly using the performance of each storage device when cascade connecting back-end switches.
  • Patent Document 1 is a technology that uses the performance of each storage device equally for Serial-attached SCSI (SAS), which is a connection-type storage protocol.
  • SAS Serial-attached SCSI
  • the present invention is a storage system comprising a plurality of storage devices, a controller that includes a processor and a memory to control the storage device, and a data transfer path that connects the storage device and the controller.
  • the devices are divided into a plurality of groups, and the controller specifies storage devices belonging to each of the plurality of groups among the plurality of storage devices connected via the plurality of independent data transfer paths, and requests access.
  • the storage device to be accessed is specified, the data transfer path different for each group of the specified storage devices is specified as the storage device, and the storage device is connectedless type according to the specified data transfer path Data transfer using the protocol.
  • FIG. 10 is a block diagram illustrating an example of a configuration of a storage system according to a fifth embodiment of this invention. It is a figure which shows Example 5 of this invention and shows an example of a route selection table.
  • 10 is a flowchart illustrating an example of processing performed in the storage system according to the fifth embodiment of this invention.
  • 10 is a flowchart illustrating an example of transfer path determination processing according to the fifth exemplary embodiment of this invention.
  • FIG. 10 is a block diagram illustrating an example of a configuration of a storage system according to a sixth embodiment of this invention. It is a figure which shows Example 6 of this invention and shows an example of a load information table.
  • 10 is a flowchart illustrating an example of processing performed in the storage system according to the sixth embodiment of this invention. It is a flowchart which shows Example 6 of this invention and shows an example of the update process of a load information table.
  • the storage system 100 includes a drive 132 (for example, a solid state drive (SSD)) as one or more nonvolatile storage devices that store data, and one or more switches (back end switches) for connecting the drive 132. 130, a storage control controller 106 that controls the storage system 100, and a main memory 109 used by the storage control controller 106.
  • SSD solid state drive
  • switches back end switches
  • the drive 132 is a storage device that employs a data communication protocol for connectionless communication (for example, Peripheral Component Interconnect Express (PCIe)).
  • PCIe Peripheral Component Interconnect Express
  • the storage control controller 106 has a CPU 125 and hardware resources such as a main memory 109.
  • the main memory 109 of the storage controller 106 stores a drive position information table 110, a request command queue 112, a response command queue 122, a storage control program 114, and a data transfer area 116.
  • the drive 132a designates the virtual area (0x00) 126a as a transfer destination address during data transfer
  • the transfer data is stored in the data transfer area 116 via the path 128a.
  • the drive 132 selects each data transfer path by transferring data to the address of the virtual data transfer area associated with each path.
  • the drive position information table 110 is information for specifying the switches 130a to 130d to which the drives 132a to 132h are connected. As shown in FIG. 1C, the drive position information table 110 includes, as one entry, a drive No. 1101 that stores an identifier that identifies the drive 132 and a switch No. 1102 that stores an identifier that identifies the switch 130 to which the drive 132 is connected. Including.
  • the storage control program 114 identifies the connected switch 130 among the plurality of drive 132 devices connected via the data transfer path 128, and sets the identifier of the drive 132 and the identifier of the switch 130 to the drive position. Store in the information table 110.
  • the bandwidths of the routes 128a to 128d are set evenly, for example, 8 lanes (x8).
  • the input sides of the demultiplexers 133b and 133a are connected to the ports 131i and 131j, respectively. Ports 131a to 131d are connected to the output side of the demultiplexers 133a and 133b.
  • the demultiplexer 133a connects the port 131j to any of the ports 131a to 131d according to the data transfer destination address. The same applies to the demultiplexer 133b.
  • the storage control program 114 when the storage control controller 106 is activated, the storage control program 114 performs initialization for generating the drive position information table 110.
  • the storage control program 114 detects which switch 130a to 130d each drive 132 is connected to, and records the identifier of each switch 130 corresponding to each drive 132 in the drive position information table 110.
  • step 205 the storage control program 114 receives an access request from the host computer 101.
  • the storage control program 114 analyzes the access request and identifies the access target drive 132.
  • the storage control program 114 selects the path 128 so that the same paths 128a to 128d are not selected if the switches 130a to 130d to which the drive 132 is connected are different. That is, the first embodiment shows an example in which paths 128a to 128d corresponding to the addresses of the virtual areas 126a to 126d serving as transfer destinations are assigned in advance to the switches 130a to 130d.
  • the storage control program 114 refers to the drive position information table 110 in step 212 in FIG. 3, so that the drive 132a is connected to the first-stage switch 130a. Identify that. Thereafter, the process proceeds to step 220, and the storage control program 114 specifies 0x00 as the data transfer destination address so that the drive 132a selects the path 128a as the data transfer path.
  • the process advances to any of steps 216, 218, and 220, and the storage control program 114 refers to the drive position information table 110.
  • the transfer destination address of the drive 132 is designated as 0x04, 0x08, or 0x0C. In accordance with the designated transfer destination address, paths 128a to 128d through which the drives 132c to 132h transfer data are determined.
  • the storage control program 114 generates a request command for the drive 132, stores the request command in the request command queue 112, and then issues the request command to the drive 132.
  • step 280 the storage control program 114 reads the response command from the drive 132 stored in the response command queue 122, thereby completing the processing of the request command issued in step 260.
  • steps 205 to 282 can be repeatedly executed whenever the storage controller 106 receives an access request from the host computer 101.
  • the storage controller 106 allocates a plurality of virtual areas 126a to 126d equally to the access target drives 132 according to the number of switches 130 (number of stages) connected to the CPU 125.
  • the data transfer path 128 is separated for each switch 130.
  • each drive 132 selects the paths 128a to 128d for performing data transfer according to the data transfer destination address (virtual area 126) of the main memory 109 designated by the storage controller 106.
  • Paths 128a to 128d connected to the switch 130 are allocated to the plurality of virtual areas 126a to 126d with equal bandwidth.
  • a relay device in which the drives 132a and 132b are connected to the storage controller 106 as a first group and the drives 132c and 132d are connected to the first group as a second group can be used.
  • the data transfer path 128 that is independent for each group is allocated in an equal area, so that the drive 132 of each group differs.
  • the path 128 it becomes possible to eliminate the performance difference of the drives 132 between the groups.
  • FIG. 5A is a block diagram illustrating an example of the configuration of the storage system 100 according to the second embodiment.
  • a path-switch table 118 is added to the main memory 109 of FIG. 1 shown in the first embodiment, and other configurations are the same as those of the first embodiment.
  • the maximum number of switches 130 is four is shown.
  • FIG. 5B is a diagram showing an example of the route-switch table 118.
  • the path-switch table 118 stores the number of effective paths 1181 cascaded from the storage control controller 106 and the number of effective switches 1182 cascaded from the storage control controller 106.
  • step 395 the storage control program 114 accepts an access request from the host computer 101.
  • the storage control program 114 analyzes the access request and identifies the access target drive 132.
  • the path 128 is selected so as not to select the same paths 128a to 128d.
  • paths 128a to 128d corresponding to the addresses of the virtual areas 126a to 126d serving as transfer destinations are assigned in advance to the switches 130a to 130d.
  • the process proceeds to any of steps 306, 308, and 310, and the storage control program 114 refers to the drive position information table 110.
  • the transfer destination address of the drive 132 is designated as 0x04, 0x08, or 0x0C.
  • paths 128a to 128d through which the drives 132c to 132h transfer data are determined. Thereafter, the process proceeds to step 360 in FIG. 6A.
  • step 304 if it is determined in step 304 that the drive 132 is connected to the first-stage switch 130a, the process proceeds to step 316.
  • step 316 the storage control program 114 designates 0x00 or 0x04 as the transfer destination address of the drive 132 so that the drive 132 selects the path 128a or the path 12b as the data transfer path. Thereafter, the process proceeds to step 360 in FIG. 6A.
  • FIG. 6B is a flowchart illustrating an example of the route-switch number table update process performed in step 370.
  • step 374 the storage control program 114 updates the number of paths 128 that have changed or the entry in the path-switch table 118 corresponding to the switch 130 that has changed.
  • FIG. 8 is a flowchart illustrating an example of a transfer path determination process performed in step 300 illustrated in FIG. 6A according to the second embodiment.
  • steps other than step 300 in FIG. 8 are the same as those in the second embodiment.
  • the contents of step 300 are different from those in the second embodiment, and FIGS. 8 to 10 show examples of processing performed in step 300 in the third embodiment.
  • FIG. 9 is a flowchart showing an example of processing performed in step 330.
  • the storage control program 114 refers to the drive position information table 110 and calculates the ratio of the number of drives 132 of the first-stage, second-stage, third-stage, and fourth-stage switches 130. Then, the storage control program 114 performs branching according to the calculated ratio.
  • step 336 If the ratio of the number of drives 132 of the first stage, second stage, third stage, and fourth stage switch 130 is 3: 1: 0: 0, the process proceeds to step 336, and the storage control program 114
  • the transfer destination address of the drive 132 connected to the second switch 130a is equally designated as any of 0x00 to 0x08, and the transfer destination address of the drive 132 connected to the second-stage switch 130b is designated as 0x0C.
  • the drive 132 of the switch 130a executes data transfer through one of the paths 128a to 128c, and the drive 132 of the switch 130b executes data transfer through the path 128d.
  • the storage control program 114 first specifies the transfer destination address of the drive 132 connected to the first-stage switch 130a evenly as either 0x00 or 0x04, and the drive control program 114 of the drive 132 connected to the second-stage switch 130b.
  • the transfer destination address is specified as 0x08
  • the transfer destination address of the drive 132 connected to the third-stage switch 130c is specified as 0x0C.
  • the drive 132 of the switch 130a executes data transfer through either the path 128a or 128b
  • the drive 132 of the switch 130b executes data transfer through the path 128c
  • the drive 132 of the switch 130c passes through the path 128d. Perform data transfer.
  • the storage control program 114 first designates the transfer destination address of the drive 132 connected to the first-stage switch 130a as 0x00, and designates the transfer destination address of the drive 132 connected to the second-stage switch 130b as 0x04. Then, the transfer destination address of the drive 132 connected to the third-stage switch 130c is designated as 0x08, and the transfer destination address of the drive 132 connected to the fourth-stage switch 130d is designated as 0x0C.
  • step 330 the series of processes in step 330 is terminated, and then the series of processes in step 300 is terminated.
  • FIG. 10 is a flowchart showing an example of processing performed in step 340.
  • the quotient is two, and in the third embodiment, the switch 130 has two stages.
  • the drive 132 of the switch 130a executes data transfer through either the path 128a or 128b, and the drive 132 of the switch 130b executes data transfer through the path 128c or 128d.
  • the storage control program 114 ends the series of processes in step 340, and then ends the series of processes in step 300.
  • step 350 of FIG. 8 since the number of stages of the switch 130 is one, the storage control program 114 sets 0x00 as the data transfer destination address so that the drive 132 of the switch 130a selects the paths 128a to 128d as the data transfer paths. Specify ⁇ 0x0C.
  • the storage control program 114 selects the paths 128a to 128d for performing data transfer according to the ratio of the number of stages of the switches 130 connected to the storage control controller 106 and the number of drives 132.
  • the data transfer path 128 can be separated between the plurality of switches 130, and the performance difference between the drives 132a to 132h connected to the switches 130a to 130d can be eliminated.
  • FIG. 11A is a block diagram illustrating an example of a configuration of the storage system 100 according to the fourth embodiment.
  • a path abnormality detection circuit 127 is added to the storage controller 106 of FIG. 5A shown in the second embodiment, and a path status table for recording whether the path 128 is normal or abnormal in the main memory 109. 117 was added.
  • FIG. 12A is a flowchart illustrating an example of processing performed in the storage system 100 according to the fourth embodiment.
  • the storage control controller 106 When the storage control controller 106 is activated, in step 490 of FIG. 12A, the storage control program 114 performs initialization to generate the drive position information table 110 and the path state table 117.
  • step 490 the storage control program 114 detects which switch 130a to 130d each drive 132 is connected to, and records the identifier of each switch 130 corresponding to each drive 132 in the drive position information table 110.
  • step 390 the storage control program 114 records the number of valid paths 128 and the number of valid switches 130 in the path-switch table 118.
  • the path abnormality detection circuit 127 detects whether each of the paths 128a to 128d is normal or abnormal, and stores the detection result in the path state table 117.
  • FIG. 13 is a flowchart illustrating an example of transfer path determination processing performed in step 400.
  • step 402 the storage control program 114 specifies the connection position (number of stages) of the drive 132 that performs data transfer by referring to the drive position information table 110. Thereafter, the storage control program 114 determines one of the paths 128a to 128d according to the number of stages of the switch 130 to which the drive 132 is connected.
  • the storage control program 114 proceeds to step 405 if the connection position of the drive 132 is the switch 130d (fourth stage). If the connection position of the drive 132 is the switch 130c (third stage), the storage control program 114 proceeds to step 407. If the connection position of the drive 132 is the switch 130b (second stage), the storage control program 114 proceeds to step 409. If the connection position of the drive 132 is the switch 130a (first stage), the storage control program 114 proceeds to step 411.
  • step 405 or 407 or 409 or 411 the storage control program 114 determines whether or not the path 128 corresponding to the connection position of the drive 132 is normal (valid) with reference to the path status table 117.
  • the storage control program 114 proceeds to steps 406, 408, 410, and 412 corresponding to the path 128 to specify the transfer destination address.
  • step 405 the storage control program 114 proceeds to step 407 and determines the state of the path 128c. If the state of the path 128c is normal, the process proceeds to step 408, and the storage control program 114 performs data transfer of the drive 132 connected to the fourth-stage switch 130d through the path 128c. Thereafter, the process proceeds to step 460 of FIG. 12A.
  • step 404 in which the quotient is 2 the storage control program 114 specifies the connection position of the drive 132 to which data is transferred by referring to the drive position information table 110.
  • the storage control program 114 refers to the path state table 117 and designates a transfer destination address so that even if the path 128 is abnormal, data can be transferred by bypassing the other path 128. .
  • step 413 the storage control program 114 proceeds to step 415 and determines the state of the path 128b or path 128a. If the status of the path 128b or the path 128a is normal, the storage control program 114 proceeds to step 416.
  • the storage control program 114 designates a transfer destination address corresponding to the data transfer path 128b or the path 128a of the drive 132 connected to the second-stage switch 130b. Thereafter, the process proceeds to step 460.
  • Step 460 is the same processing as step 260 in FIG. 1, and the storage control program 114 issues a request command to the drive 132.
  • FIG. 12B is a flowchart illustrating an example of the process performed in step 450.
  • step 452 the storage control program 114 determines whether or not there is a change in the number of paths 128 or switches 130. If there is a change, the process proceeds to step 454. If there is no change, the process proceeds to step 456. move on.
  • step 454 the storage control program 114 updates the number of paths 128 that have changed or the number of switches 130 that have changed with the corresponding entry in the path-switch table 118, and proceeds to step 456.
  • step 456 the path abnormality detection circuit 127 determines whether or not the state of the path 128 has changed. If there is a change, the process proceeds to step 458. If there is no change, the process proceeds to step 400. In step 458, the corresponding entry in the route state table 117 corresponding to the changed route 128 is updated, and the process returns to step 405 in FIG. Note that the processing in step 450 includes the processing in steps 280 and 282 shown in the first embodiment.
  • the storage control program 114 switches to the normal path 128 and performs data transfer. Perform the transfer.
  • the data transfer path 128 is separated between the plurality of switches 130, and the performance difference between the drives 132a to 132h connected to the switches 130a to 130d is eliminated. Can do.
  • FIG. 14A of the fifth embodiment a management terminal 104 and a storage system management program 108 are added to the storage system 100 shown in FIG. 1 of the first embodiment, and the main memory 109 of the storage control controller 106 is further added.
  • a route selection table 150 is added.
  • Other configurations are the same as those of the first embodiment.
  • step 585 the storage control program 114 accepts an access request from the host computer 101.
  • the storage control program 114 analyzes the access request and identifies the access target drive 132.
  • FIG. 16 is a flowchart showing an example of transfer path determination processing performed in step 500.
  • step 502 of FIG. 16 the storage control program 114 identifies the switch 130 to which the drive 132 that is the target of data transfer is connected by referring to the drive position information table 110, and proceeds to step 504.
  • step 504 the storage control program 114 refers to the entry in the path selection table 150 and identifies the path 128 that the drive 132 uses for data transfer. Thereafter, the storage control program 114 proceeds to one of steps 506 to 510 in accordance with the identified paths 128a to 128d, and designates a transfer destination address corresponding to the path 128 used for data transfer. Thereafter, the process proceeds to step 560 in FIG.
  • Step 560 is the same processing as step 260 in FIG. 1, and the storage control program 114 issues a request command to the drive 132. It should be noted that after issuing the request command, the processing of steps 280 and 282 shown in the first embodiment is performed, although not shown. Thereafter, the process returns to step 580 to repeat the above process.
  • Embodiment 6 of the present invention will be described with reference to FIGS. 17A to 19.
  • Each of the following embodiments including this embodiment corresponds to a modification of the first embodiment.
  • FIG. 18 is a flowchart illustrating an example of processing performed in the storage system 100 according to the sixth embodiment.
  • the storage control program 114 detects the connection position to which each drive 132 is connected to which switch 130, and stores it in the drive position information table 110 for each drive 132. The identifier of each corresponding switch 130 is recorded. Furthermore, in step 690, the storage control program 114 initializes all entries in the load information table 120 with zero.
  • step 695 the storage control program 114 receives an access request from the host computer 101.
  • the storage control program 114 analyzes the access request and identifies the access target drive 132.
  • step 602 the storage control program 114 increments the number of commands being issued 1202 in the entry of the load information table 120 corresponding to the switch 130 to which the drive 132 to which the request command has been issued is connected.
  • the corresponding entry in the load information table 120 is incremented by the number of issued commands 1202 because a request command has been issued.
  • the value of the number of commands being issued 1202 indicates the load size of the switch 130.
  • step 604 the storage control program 114 refers to the response command queue 122. If there is a response from the drive 132 connected to the switch 130, the process proceeds to step 606. If there is no response, the process proceeds to step 622 in FIG.
  • step 606 when the drive 132 completes the data transfer to the data transfer area 116, the response command is stored in the response command queue 122, and the storage control program 114 reads the response command, so that the request command issued in step 660 is updated. Complete the process.
  • step 608 the storage control program 114 decrements the number of issued commands 1202 of the entry in the load information table 120 corresponding to the drive 132 corresponding to the request command processed in step 606. Thereafter, the process proceeds to step 622 in FIG.
  • step 624 the storage control program 114 changes the transfer destination address of the drives 132a and 132b connected to the first-stage switch 130a to any of 0x00 to 0x0C, and returns to step 660 to repeat the above processing.
  • step 622 if the total number of commands issued to the drives 132c to 132h connected to the switches 130b to 130d in the second and subsequent stages is other than 0, the storage control program 114 returns to step 660 again. Repeat the above process.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • each of the above-described configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multi Processors (AREA)

Abstract

複数の記憶デバイスと、プロセッサとメモリを含んで前記記憶デバイスを制御するコントローラと、前記記憶デバイスと前記コントローラとを接続するデータ転送経路と、を有するストレージシステムであって、前記記憶デバイスは複数のグループに分かれ、前記コントローラは、前記複数の独立したデータ転送経路を介して接続された前記複数の記憶デバイスのうち、前記複数のグループそれぞれについて所属する記憶デバイスを特定し、アクセス要求を受信してアクセス対象の記憶デバイスを特定し、前記特定した記憶デバイスのグループ毎に異なる前記データ転送経路を前記記憶デバイスに指定し、前記記憶デバイスは前記指定されたデータ転送経路に従ってコネクションレス型のプロトコルでデータ転送を行う。

Description

ストレージシステム及びストレージの制御方法
　本発明は、バックエンドスイッチをカスケード接続し、コネクションレス型のストレージプロトコルを使用するストレージシステムに関する。
　ストレージシステムの記憶デバイスが使用するプロトコルとして、Flashストレージ向けにNon-Volatile Memory Express （ＮＶＭｅ）を始めとするコネクションレス型のプロトコルが普及しつつある。また、ストレージシステムの容量を容易に拡張する手段として、バックエンドスイッチをカスケード接続することで記憶デバイスを増設する方法が挙げられる。
　バックエンドスイッチをカスケード接続する場合に、各記憶デバイスの性能を均等に使用する技術として、例えば、特許文献１が知られている。特許文献１は、コネクション型のストレージプロトコルであるSerial Attached SCSI（ＳＡＳ）を対象として、各記憶デバイスの性能を均等に使用する技術である。
特開２００７－２５６９９３号公報
　上記特許文献１は、コネクション型のプロトコルを用いるため、上述のＮＶＭｅ等のコネクションレス型のプロトコルを用いるストレージシステムには適用ができない、という問題があった。
　このため、コネクションレス型通信のストレージプロトコルで、バックエンドスイッチをカスケード接続する時に、コネクション型プロトコルのように予め通信経路を確保することはできない。このため、後段のバックエンドスイッチに接続された記憶デバイスへの帯域が充分に取れず、前段と後段のバックエンドスイッチでは記憶デバイス間で性能差が発生する課題があった。
　そこで、本発明は、コネクションレス型のプロトコルを用いるストレージシステムで、記憶デバイスを接続するバックエンドスイッチをカスケード接続した場合でも、バックエンドスイッチ間での記憶デバイスの性能差を解消することを目的とする。
　本発明は、複数の記憶デバイスと、プロセッサとメモリを含んで前記記憶デバイスを制御するコントローラと、前記記憶デバイスと前記コントローラとを接続するデータ転送経路と、を有するストレージシステムであって、前記記憶デバイスは複数のグループに分かれ、前記コントローラは、前記複数の独立したデータ転送経路を介して接続された前記複数の記憶デバイスのうち、前記複数のグループそれぞれについて所属する記憶デバイスを特定し、アクセス要求を受信してアクセス対象の記憶デバイスを特定し、前記特定した記憶デバイスのグループ毎に異なる前記データ転送経路を前記記憶デバイスに指定し、前記記憶デバイスは前記指定されたデータ転送経路に従ってコネクションレス型のプロトコルでデータ転送を行う。
　本発明によれば、各記憶デバイスがコントローラのメモリ上のデータ転送先アドレスによりデータ転送経路を選択することで、複数のグループ間でデータ転送経路を分離して、記憶デバイス間の性能差を解消することができる。
本発明の実施例１を示し、ストレージシステムの構成の一例を示すブロック図である。 本発明の実施例１を示し、スイッチの接続関係の一例を示すブロック図である。 本発明の実施例１を示し、ドライブ位置情報テーブルの一例を示す図である。 本発明の実施例１を示し、ストレージシステムで行われる処理の一例を示すフローチャートである。 本発明の実施例１を示し、転送経路の決定処理の一例を示すフローチャートである。 本発明の実施例１を示し、パケットの一例を示す図である。 本発明の実施例２を示し、ストレージシステムの構成の一例を示すブロック図である。 本発明の実施例２を示し、経路－スイッチ数テーブルの一例を示す図である。 本発明の実施例２を示し、ストレージシステムで行われる処理の一例を示すフローチャートである。 本発明の実施例２を示し、経路－スイッチ数テーブルの更新処理の一例を示すフローチャートである。 本発明の実施例２を示し、転送経路の決定処理の一例を示すフローチャートである。 本発明の実施例３を示し、転送経路の決定処理の一例を示すフローチャートである。 本発明の実施例３を示し、図８のステップ３３０で行われる転送先の決定処理の一例を示すフローチャートである。 本発明の実施例３を示し、図８のステップ３４０で行われる転送先の決定処理の一例を示すフローチャートである。 本発明の実施例４を示し、ストレージシステムの構成の一例を示すブロック図である。 本発明の実施例４を示し、経路状態テーブルの一例を示す図である。 本発明の実施例４を示し、ストレージシステムで行われる処理の一例を示すフローチャートである。 本発明の実施例４を示し、経路状態テーブルの更新処理の一例を示すフローチャートである。 本発明の実施例４を示し、転送経路の決定処理の一例を示すフローチャートである。 本発明の実施例５を示し、ストレージシステムの構成の一例を示すブロック図である。 本発明の実施例５を示し、経路選択テーブルの一例を示す図である。 本発明の実施例５を示し、ストレージシステムで行われる処理の一例を示すフローチャートである。 本発明の実施例５を示し、転送経路の決定処理の一例を示すフローチャートである。 本発明の実施例６を示し、ストレージシステムの構成の一例を示すブロック図である。 本発明の実施例６を示し、負荷情報テーブルの一例を示す図である。 本発明の実施例６を示し、ストレージシステムで行われる処理の一例を示すフローチャートである。 本発明の実施例６を示し、負荷情報テーブルの更新処理の一例を示すフローチャートである。
　以下、本発明の一実施形態について添付図面を用いて説明する。
　図１Ａは、本発明の一実施形態に係るストレージシステム１００の構成の一例を示すブロック図である。以下、同種の要素には、同一の親符号を付し、同種の要素を個々に説明する場合には、親符号に子符号（例えば、ａ～ｎ等）を付して説明する。
　ストレージシステム１００は、一または複数の（例えば２台）のホスト計算機１０１が、ネットワーク（図示省略）を介して接続されている。
　ストレージシステム１００は、データを記憶する一又は複数の不揮発性の記憶デバイスとしてのドライブ１３２（例えばソリッドステートドライブ（ＳＳＤ））と、ドライブ１３２を接続するための一又は複数のスイッチ（バックエンドスイッチ）１３０と、ストレージシステム１００を制御するストレージ制御コントローラ１０６と、ストレージ制御コントローラ１０６が使用する主記憶１０９を有する。
　また、ストレージシステム１００が複数のスイッチを有する場合は、図１Ａのように、複数のスイッチ１３０がストレージ制御コントローラ１０６から順番に接続される（カスケード接続）。
　ホスト計算機１０１は、例えば、図示しないＣＰＵと、メモリ、及びストレージシステム１００との通信に用いるＩ／Ｏポートなどのハードウェア資源を含む。ホスト計算機１０１は、ストレージシステム１００のデータにアクセスすることができる。
　ドライブ１３２は、コネクションレス型通信のデータ通信プロトコル（例えば、Peripheral Component Interconnect Express（ＰＣＩｅ））を採用する記憶デバイスである。
　ドライブ１３２がストレージ制御コントローラ１０６の主記憶１０９内のデータ転送領域１１６に対してデータ転送を行う場合は、各スイッチ１３０の経路１２８ａ、経路１２８ｂ、経路１２８ｃ、経路１２８ｄのいずれかを経由してデータを送信する。
　ストレージ制御コントローラ１０６は、ＣＰＵ１２５と、主記憶１０９などのハードウェア資源を有する。ストレージ制御コントローラ１０６の主記憶１０９は、ドライブ位置情報テーブル１１０と、要求コマンドキュー１１２と、応答コマンドキュー１２２と、ストレージ制御プログラム１１４と、データ転送領域１１６を格納する。
　データ転送領域１１６はドライブ１３２から読み出したデータ及び、ドライブ１３２に書き込むデータを格納する。データ転送領域１１６は、４つの経路１２８ａ～１２８ｄに対応する仮想領域１２６ａ～１２６ｄを含む。なお、仮想領域１２６は、４つに限定されるものではなく、経路１２８の数に応じて設定することができる。
　仮想領域１２６は、ドライブ１３２がデータ転送時に指定する転送先アドレスであり、データを転送する経路１２８と紐付いている。また、ドライブ１３２がデータの転送先として仮想領域１２６を指定した際の、実際のデータ転送先はデータ転送領域１１６である。
　図示の例では、ドライブ１３２ａがデータ転送時に、仮想領域（０ｘ００）１２６ａを転送先アドレスとして指定すると、転送データは経路１２８ａを経由して、データ転送領域１１６に格納される。他の経路１２８ｂ～１２８ｄも同様に、ドライブ１３２は、各経路と紐付いた仮想的なデータ転送領域のアドレス宛にデータを転送することで、各々のデータ転送経路を選択する。
　要求コマンドキュー１１２は、ストレージ制御コントローラ１０６が生成したドライブ１３２に対する要求コマンド（例えば、ドライブ１３２に対するデータ転送の指示を出すコマンド）を格納する領域である。また、応答コマンドキュー１２２はドライブ１３２からストレージ制御コントローラ１０６に対する応答コマンド（例えば、データ転送完了を示す応答コマンド）を格納する領域である。
　ドライブ位置情報テーブル１１０は、各ドライブ１３２ａ～１３２ｈが接続されたスイッチ１３０ａ～１３０ｄを特定する情報である。ドライブ位置情報テーブル１１０は、図１Ｃで示すように、ドライブ１３２を特定する識別子を格納するドライブＮｏ１１０１と、ドライブ１３２が接続されたスイッチ１３０を特定する識別子を格納するスイッチＮｏ１１０２とを一つのエントリに含む。
　ストレージ制御プログラム１１４は、ホスト計算機１０１から指示を受けた後の、ドライブ１３２に対するデータの読み書き処理を制御するプログラムである。また、制御プログラム１１４は、本発明に必要な情報(例えば、ドライブ位置情報テーブル１１０)の初期化を行う。
　すなわち、ストレージ制御プログラム１１４は、データ転送の経路１２８を介して接続された複数のドライブ１３２デバイスのうち、接続されているスイッチ１３０を特定して、ドライブ１３２の識別子とスイッチ１３０の識別子をドライブ位置情報テーブル１１０に格納する。
　図１Ｂは、ストレージシステム１００のスイッチ１３０とドライブ１３２の接続関係の一例を示すブロック図である。ストレージ制御コントローラ１０６のＣＰＵ１２５には、スイッチ１３０ａが接続される。スイッチ１３０ａには、ドライブ１３２ａ、１３２ｂが接続される。
　スイッチ１３０ａの後段には、スイッチ１３０ｂが接続される。スイッチ１３０ｂには、ドライブ１３２ｃ、１３２ｄが接続される。スイッチ１３０ｂの後段には、スイッチ１３０ｃが接続される。スイッチ１３０ｃには、ドライブ１３２ｅ、１３２ｆが接続される。スイッチ１３０ｃの後段には、スイッチ１３０ｄが接続される。スイッチ１３０ｄには、ドライブ１３２ｇ、１３２ｈが接続される。
　図１Ｂでは、ストレージ制御コントローラ１０６のＣＰＵ１２５からスイッチ１３０ａ～１３０ｄが順番にカスケード接続されている。
　経路１２８ａ～１２８ｄの帯域は均等に設定されており、例えば、８レーン（ｘ８）に設定される。
　スイッチ１３０ａは、前段のデバイス（ＣＰＵ１２５）に接続されるポート１３１ａ～１３１ｄと、後段のデバイス（スイッチ１３０ｂ）に接続されるポート１３１ｅ～１３１ｈと、ドライブ１３２ａ、１３２ｂに接続されるポート１３１ｉ、１３１ｊとを含む。
　ポート１３１ｉと１３１ｊには、それぞれデマルチプレクサ１３３ｂ、１３３ａの入力側が接続される。デマルチプレクサ１３３ａ、１３３ｂの出力側には、ポート１３１ａ～１３１ｄが接続される。デマルチプレクサ１３３ａは、データの転送先アドレスに応じて、ポート１３１ｊをポート１３１ａ～１３１ｄのいずれかと接続する。デマルチプレクサ１３３ｂも同様である。
　他のスイッチ１３０ｂ～１３０ｄも上記スイッチ１３０ａと同様に構成されて前段のデバイスと後段のデバイスまたはドライブ１３２との接続を切り替える。なお、図示の例では、ひとつのスイッチ１３０に２つのドライブ１３２を接続した例を示すが、これに限定されるものではない。
　本実施例１では、仮想領域１２６ａ～１２６ｄにデータ転送の経路１２８ａ～１２８ｄが予め割り当てられている。
　経路１２８ａは、スイッチ１３０ａ～１３０ｄのポート１３１ｈから１３１ａを通り、ストレージ制御コントローラ１０６のＣＰＵ１２５を介して、データ転送領域１１６に接続される。
　経路１２８ｂは、スイッチ１３０ａ～１３０ｄのポート１３１ｇから１３１ｂを通り、ストレージ制御コントローラ１０６のＣＰＵ１２５を介して、データ転送領域１１６に接続される。
　経路１２８ｃは、スイッチ１３０ａ～１３０ｄのポート１３１ｆから１３１ｃを通り、ストレージ制御コントローラ１０６のＣＰＵ１２５を介して、データ転送領域１１６に接続される。
　経路１２８ｄは、スイッチ１３０ａ～１３０ｄのポート１３１ｅから１３１ｄを通り、ストレージ制御コントローラ１０６のＣＰＵ１２５を介して、データ転送領域１１６に接続される。
　上述のように、各経路１２８ａ～１２８ｄの帯域は均等に割り当てられている。図１Ａ及び図１Ｂでは、４段のスイッチ１３０をカスケード接続した例を示すが、スイッチ１３０の数に応じて、経路１２８ａ～１２８ｄに割り当てるレーン数や使用するポートの組み合わせを変更してもよい。例えば、２つのスイッチ１３０ａ、１３０ｂの２段で構成される場合は、経路１２８ａ、１２８ｂをスイッチ１３０ａに割り当て、経路１２８ｃ、１２８ｄをスイッチ１３０ｂに割り当てるようにしてもよい。
　図２及び図３は、ストレージ制御コントローラ１０６のストレージ制御プログラム１１４が行う処理の一例を示すフローチャートである。図２及び図３に基づいて、本実施例１の処理の一例を説明する。なお、以下に述べる各フローチャートは、本発明の実施に必要な範囲で処理の概要を示しており、実際のコンピュータプログラムとは相違する場合がある。また、ステップの入れ替えやステップの追加、変更または削除が可能な場合もある。
　図２のステップ２００において、ストレージ制御コントローラ１０６が起動すると、ストレージ制御プログラム１１４は、ドライブ位置情報テーブル１１０を生成する初期化を実施する。ストレージ制御プログラム１１４は、各ドライブ１３２がどのスイッチ１３０ａ～１３０ｄに接続されているかを検出し、ドライブ位置情報テーブル１１０に、各ドライブ１３２に対応した各スイッチ１３０の識別子を記録する。
　ステップ２０５において、ストレージ制御プログラム１１４は、ホスト計算機１０１からアクセス要求を受け付ける。ストレージ制御プログラム１１４は、アクセス要求を解析してアクセス対象のドライブ１３２を特定する。
　次にステップ２１０の転送経路の決定処理に進む。図３にステップ２１０で行われる転送経路の決定処理の一例を示す。ステップ２１２では、ストレージ制御プログラム１１４が、データ転送を行うドライブ１３２の接続位置を、ドライブ位置情報テーブル１１０を参照することで特定する。なお、本実施例１では、接続位置をスイッチ１３０の段数で表し、１段目がスイッチ１３０ａを示し、２段目がスイッチ１３０ｂを示し、３段目がスイッチ１３０ｃを示し、４段目がスイッチ１３０ｄを示す。
　その後、ストレージ制御プログラム１１４は、特定した接続位置に応じてステップ２１４～２２０のいずれかに進む。すなわち、ストレージ制御プログラム１１４は、ドライブ１３２が接続されたスイッチ１３０の段数に応じて、データを転送する経路１２８を決定する。
　この際、ストレージ制御プログラム１１４は、ドライブ１３２が接続されたスイッチ１３０ａ～１３０ｄが異なれば、同一の経路１２８ａ～１２８ｄを選択しないように、経路１２８を選択する。すなわち、本実施例１では、スイッチ１３０ａ～１３０ｄ毎に転送先となる仮想領域１２６ａ～１２６ｄのアドレスに対応する経路１２８ａ～１２８ｄが予め割り当てられている例を示す。
　例えば、データ転送の対象がドライブ１３２ａである場合、図３のステップ２１２において、ストレージ制御プログラム１１４はドライブ位置情報テーブル１１０を参照することで、ドライブ１３２ａは１段目のスイッチ１３０ａに接続されていることを特定する。その後、ステップ２２０に進み、ストレージ制御プログラム１１４は、ドライブ１３２ａがデータ転送経路として経路１２８ａを選択するように、データ転送先アドレスとして０ｘ００を指定する。
　他のスイッチ１３０ｂ～１３０ｄに接続されているドライブ１３２ｃ～１３２ｈについても同様であり、ステップ２１６、２１８、２２０のいずれかに進んで、でストレージ制御プログラム１１４が、ドライブ位置情報テーブル１１０を参照して、該ドライブ１３２の転送先アドレスを０ｘ０４、０ｘ０８、０ｘ０Ｃのいずれかに指定する。指定された転送先アドレスに応じて、ドライブ１３２ｃ～１３２ｈがデータを転送する経路１２８ａ～１２８ｄが決定される。
　その後、図２のステップ２６０に進み、ストレージ制御プログラム１１４はドライブ１３２への要求コマンドを生成し、要求コマンドキュー１１２に格納した後に、ドライブ１３２へ要求コマンドを発行する。
　ステップ２８０では、ストレージ制御プログラム１１４が応答コマンドキュー１２２を参照し、ドライブ１３２からの応答があればステップ２８２に進み、応答がなければステップ２８０に戻る。
　ステップ２８０において、ストレージ制御プログラム１１４は応答コマンドキュー１２２に格納されているドライブ１３２からの応答コマンドを読み出すことで、ステップ２６０で発行した要求コマンドの処理を完了する。
　なお、上記ステップ２０５～２８２の処理は、ストレージ制御コントローラ１０６がホスト計算機１０１からアクセス要求を受け付ける度に繰り返して実行することができる。
　図４は、経路１２８で転送されるＰＣＩｅのパケットの一例を示す図である。図示の例は、ＰＣＩｅのトランザクション層パケット１６０を示す。ＰＣＩｅのトランザクション層パケット１６０は、ヘッダ１６１と、データ１６２と、ＥＣＲＣ（End to end Cyclic Redundancy Check）１６３とを含む。
　上記図３のステップ２１４～２１８で、ストレージ制御コントローラ１０６が指定する転送先アドレスは、図４のヘッダ１６１内の転送先アドレス１６４に仮想領域１２６を設定する。トランザクション層パケット１６０を受信したドライブ１３２は、所定のアクセスを完了すると転送先アドレス１６４で指定された仮想領域１２６へ応答パケットを送信する。
　なお、ストレージ制御コントローラ１０６からの要求を処理し、応答するドライブ１３２が転送するデータは、図４と同様にパケットに分割されて、各パケットのヘッダ１６１には転送先アドレス１６４が付与されている。
　図４に示したようなパケットによって、転送を行う場合、転送の経路は転送先アドレス１６４に応じて選ぶことができる。前段と後段のバックエンドスイッチで経路を分離しなければ、後段の記憶デバイスが用いる経路を前段の記憶デバイスも使用することが可能であり、後段の記憶デバイスの転送が前段の記憶デバイスの転送に妨げられて、後段の記憶デバイスからの転送が滞る場合が発生する。これが、前記課題として記載した前段と後段のバックエンドスイッチで記憶デバイス間の性能差が発生する例である。
　これに対して、本実施例１では、ストレージ制御コントローラ１０６がＣＰＵ１２５に接続されるスイッチ１３０の数（段数）に応じて、複数の仮想領域１２６ａ～１２６ｄをアクセス対象のドライブ１３２へ均等に割り当てることで、スイッチ１３０毎にデータ転送の経路１２８を分離する。
　本実施例１によれば、各ドライブ１３２はストレージ制御コントローラ１０６から指定された主記憶１０９のデータ転送先アドレス（仮想領域１２６）に応じて、データ転送を行う経路１２８ａ～１２８ｄを選択する。複数の仮想領域１２６ａ～１２６ｄには、スイッチ１３０と接続する経路１２８ａ～１２８ｄが均等の帯域で割り当てられている。これにより、複数のスイッチ１３０間でデータ転送の経路１２８を分離して、均等な帯域を割り当てることで、各スイッチ１３０ａ～１３０ｄに接続されたドライブ１３２ａ～１３２ｈ間の性能差を解消することができる。
　例えば、ストレージ制御コントローラ１０６に１つのスイッチ１３０ａが接続されている状態では、スイッチ１３０ａのドライブ１３２に４つの経路１２８ａ～１２８ｄを割り当てる。
　そして、スイッチ１３０ａの後段にスイッチ１３０ｂを接続してストレージシステム１００の容量を拡大する際には、ストレージ制御コントローラ１０６がスイッチ１３０ａのドライブ１３２に経路１２８ａ、１２８ｂを割り当て、後段のスイッチ１３０ｂに経路１２８ａ、１２８ｂを割り当てる。これにより、コネクションレス型のプロトコルを用いたストレージシステム１００において、追加されたスイッチ１３０ｂも、既設のスイッチ１３０ａと同等の帯域を確保することができる。
　なお、本実施例１では、複数のドライブ１３２をまとめてストレージ制御コントローラ１０６に接続する装置としてスイッチ１３０を用いる例を示したが、これに限定されるものではない。例えば、１以上のドライブ１３２を含むグループ単位でカスケード接続する中継デバイスであればよい。
　例えば、ドライブ１３２ａ、１３２ｂが第１のグループとしてストレージ制御コントローラ１０６に接続され、ドライブ１３２ｃ、１３２ｄが第２のグループとして第１のグループに接続される中継デバイスを用いることができる。これにより複数のグループをカスケード接続し、コネクションレス型のプロトコルを採用するストレージシステム１００で、各グループ毎に独立したデータ転送の経路１２８を均等の地域で割り当てることで、各グループのドライブ１３２に異なる経路１２８を選択させて、グループ間のドライブ１３２の性能差を解消することが可能となる。
　図５Ａ～図７に基づいて、本発明の実施例２を説明する。本実施例２は、実施例１の変形例に該当する。
　図５Ａは、実施例２のストレージシステム１００の構成の一例を示すブロック図である。本実施例２の図５Ａでは、前記実施例１に示した図１の主記憶１０９に、経路－スイッチテーブル１１８を追加したものであり、その他の構成は前記実施例１と同様である。なお、本実施例２では、スイッチ１３０の最大数を４とした例を示す。
　図５Ｂは経路－スイッチテーブル１１８の一例を示す図である。経路－スイッチテーブル１１８は、ストレージ制御コントローラ１０６からカスケード接続された有効な経路数１１８１と、ストレージ制御コントローラ１０６からカスケード接続された有効なスイッチ数１１８２とを格納する。
　図６Ａは、実施例２を示し、ストレージシステム１００で行われる処理の一例を示すフローチャートである。ストレージ制御コントローラ１０６が起動すると、図６Ａのステップ３９０において、ストレージ制御プログラム１１４は、ドライブ位置情報テーブル１１０を生成する初期化を実施する。
　ストレージ制御プログラム１１４は、各ドライブ１３２がどのスイッチ１３０ａ～１３０ｄに接続されているか接続位置を検出し、ドライブ位置情報テーブル１１０に、各ドライブ１３２に対応した各スイッチ１３０の識別子を記録する。更に、ステップ３９０においては、ストレージ制御プログラム１１４が、有効な経路１２８の数と、有効なスイッチ１３０の数を、経路－スイッチテーブル１１８に記録する。
　ステップ３９５において、ストレージ制御プログラム１１４は、ホスト計算機１０１からアクセス要求を受け付ける。ストレージ制御プログラム１１４は、アクセス要求を解析してアクセス対象のドライブ１３２を特定する。
　次にステップ３００の転送経路の決定処理に進む。図７は、ステップ３００で行われる転送経路の決定処理の一例を示すフローチャートである。ステップ３０１では、ストレージ制御プログラム１１４が、経路－スイッチテーブル１１８から、有効な経路数１１８１と有効なスイッチ数１１８２の商を計算する。商が１の場合はステップ３０２に進み、商２の場合は、ステップ３０４に進み、商が４の場合は、ステップ３１８に進む。
　商が１のステップ３０２では、ストレージ制御プログラム１１４が、データ転送を行うドライブ１３２の接続位置を、ドライブ位置情報テーブル１１０を参照することで特定する。その後、特定した接続位置に応じてステップ３０６～３１２のいずれかに進む。ストレージ制御プログラム１１４は、ドライブ１３２が接続されているスイッチ１３０の段数に応じて経路１２８ａ～１２８ｄを決定する。
　この際、ドライブ１３２が接続されたスイッチ１３０ａ～１３０ｄが異なれば、同一の経路１２８ａ～１２８ｄを選択しないように、経路１２８を選択する。本実施例２は、前記実施例１と同様に、スイッチ１３０ａ～１３０ｄ毎に転送先となる仮想領域１２６ａ～１２６ｄのアドレスに対応する経路１２８ａ～１２８ｄが予め割り当てられる。
　例えば、データ転送の対象がドライブ１３２ａである場合、図７のステップ３０２において、ストレージ制御プログラム１１４はドライブ位置情報テーブル１１０を参照することで、ドライブ１３２ａは１段目のスイッチ１３０ａに接続されていることを特定する。
　その後、ステップ３１２に進み、ストレージ制御プログラム１１４はドライブ１３２ａがデータ転送経路として経路１２８ａを選択するように、データ転送先アドレスとして０ｘ００を指定する。
　他のスイッチ１３０ｂ～１３０ｄに接続されているドライブ１３２ｃ～１３２ｈについても同様であり、ステップ３０６、３０８、３１０のいずれかに進んで、でストレージ制御プログラム１１４が、ドライブ位置情報テーブル１１０を参照して、該ドライブ１３２の転送先アドレスを０ｘ０４、０ｘ０８、０ｘ０Ｃのいずれかに指定する。指定された転送先アドレスに応じて、ドライブ１３２ｃ～１３２ｈがデータを転送する経路１２８ａ～１２８ｄが決定される。その後、図６Ａのステップ３６０に進む。
　商が２のステップ３０４では、ストレージ制御プログラム１１４が、データ転送を行うドライブ１３２の接続位置を、ドライブ位置情報テーブル１１０を参照することで特定する。その後、特定した接続位置に応じてステップ３１４ないしは３１６のいずれかに進み、ストレージ制御プログラム１１４は、ドライブ１３２が接続されているスイッチ１３０の段数に応じて経路１２８を決定する。
　この際、ドライブ１３２が接続されたスイッチ１３０異なれば、同一の経路１２８ａ～１２８ｄを使用しないように、経路１２８を選択する。例えば、ステップ３０４でドライブ１３２が１段目のスイッチ１３０ａに接続されていることを特定した場合、ステップ３１６へ進む。
　ステップ３１６では、ストレージ制御プログラム１１４が、該ドライブ１３２がデータ転送経路として経路１２８ａまたは経路１２ｂを選択するように、ドライブ１３２の転送先アドレスとして、０ｘ００または０ｘ０４を指定する。その後、図６Ａのステップ３６０に進む。
　ステップ３０４でドライブ１３２が２段目のスイッチ１３０ｂに接続されていることを特定した場合、ステップ３１４へ進む。
　ステップ３１４では、ストレージ制御プログラム１１４が、該ドライブ１３２がデータ転送経路として経路１２８ｃまたは経路１２８ｄを選択するように、ドライブ１３２の転送先アドレスとして、０ｘ０８または０ｘ０Ｃを指定する。その後、図６Ａのステップ３６０に進む。
　商が４のステップ３１８では、該ドライブ１３２がデータ転送経路として経路１２８ｄまたは経路１２８ｃまたは経路１２８ｂまたは経路１２８ａのいずれかを選択するように、ドライブ１３２の転送先アドレスとして、０ｘ０Ｃまたは０ｘ０８または０ｘ０４または０ｘ００を指定する。その後、図６Ａのステップ３６０に進む。
　ステップ３６０は図１のステップ２６０と同様の処理であり、ストレージ制御プログラム１１４がドライブ１３２へ要求コマンドを発行する。
　次にステップ３７０に進む。図６Ｂはステップ３７０で行われる経路－スイッチ数テーブルの更新処理の一例を示すフローチャートである。
　図６Ｂにおいて、ステップ３７２では、ストレージ制御プログラム１１４が、経路１２８の数ないしはスイッチ１３０の数に変化があるか否かを判定し、もし変化があればステップ３７４に進み、変化がなければ、再びステップ３００に進む。
　ステップ３７４では、ストレージ制御プログラム１１４が変化のあった経路１２８の数または、変化のあったスイッチ１３０に対応する経路－スイッチテーブル１１８のエントリを更新する。
　次に、ストレージ制御プログラム１１４は、再びステップ３９５に戻って上記処理を繰り返す。なお、ステップ３７０の処理には、前記実施例１に示したステップ２８０、２８２の処理を含むものとする。
　本実施例２によれば、ストレージ制御プログラム１１４は、ストレージ制御コントローラ１０６に接続されたスイッチ１３０の段数とドライブ１３２の接続位置に応じデータ転送を行う経路１２８ａ～１２８ｄを選択する。これにより、複数のスイッチ１３０間でデータ転送の経路１２８を分離して、各スイッチ１３０ａ～１３０ｄに接続されたドライブ１３２ａ～１３２ｈ間の性能差を解消することができる。
　図８～図１０に基づいて、本発明の実施例３を説明する。本実施例３は、前記実施例２の変形例に該当する。図８は、前記実施例２の図６Ａに示したステップ３００で行われる転送経路の決定処理の一例を示すフローチャートである。
　本実施例３において、図８のステップ３００以外の処理は、前記実施例２と同様である。本実施例３ではステップ３００の内容が実施例２と異なるため、図８～図１０に実施例３におけるステップ３００で行われる処理の一例を示す。
　図８のステップ３２０では、ストレージ制御プログラム１１４が、経路－スイッチテーブル１１８から、有効な経路数１１８１と有効なスイッチ数１１８２の商を計算する。商が１の場合はステップ３３０に進み、商が２の場合は、ステップ３４０に進み、商が４の場合は、ステップ３５０に進む。
　図９はステップ３３０で行われる処理の一例を示すフローチャートである。ステップ３３２では、ストレージ制御プログラム１１４が、ドライブ位置情報テーブル１１０を参照し、１段目と２段目と３段目と４段目のスイッチ１３０のドライブ１３２の数の比率を計算する。そして、ストレージ制御プログラム１１４は、算出した比率に応じて分岐を行う。
　１段目と２段目と３段目と４段目のスイッチ１３０のドライブ１３２の数の比率が４：０：０：０の場合は、ステップ３３４に進み、ストレージ制御プログラム１１４は、１段目のスイッチ１３０ａに接続されたドライブ１３２の転送先アドレスを０ｘ０～０ｘＣのいずれかに均等に指定する。これにより、スイッチ１３０ａのドライブ１３２は経路１２８ａ～１２８ｄのいずれかでデータの転送を実行する。
　１段目と２段目と３段目と４段目のスイッチ１３０のドライブ１３２の数の比率が３：１：０：０の場合は、ステップ３３６に進み、ストレージ制御プログラム１１４は、１段目のスイッチ１３０ａに接続されたドライブ１３２の転送先アドレスを０ｘ００～０ｘ０８のいずれかに均等に指定し、２段目のスイッチ１３０ｂに接続されたドライブ１３２の転送先アドレスを０ｘ０Ｃに指定する。これにより、スイッチ１３０ａのドライブ１３２は経路１２８ａ～１２８ｃのいずれかでデータの転送を実行し、スイッチ１３０ｂのドライブ１３２は経路１２８ｄでデータの転送を実行する。
　１段目と２段目と３段目と４段目のスイッチ１３０のドライブ１３２の数の比率が２：１：１：０の場合は、ステップ３３８に進む。ストレージ制御プログラム１１４は、まず、１段目のスイッチ１３０ａに接続されたドライブ１３２の転送先アドレスを０ｘ００か０ｘ０４のいずれかに均等に指定し、２段目のスイッチ１３０ｂに接続されたドライブ１３２の転送先アドレスを０ｘ０８に指定し、３段目のスイッチ１３０ｃに接続されたドライブ１３２の転送先アドレスを０ｘ０Ｃに指定する。
　これにより、スイッチ１３０ａのドライブ１３２は経路１２８ａまたは経路１２８ｂのいずれかでデータの転送を実行し、スイッチ１３０ｂのドライブ１３２は経路１２８ｃでデータの転送を実行し、スイッチ１３０ｃのドライブ１３２は経路１２８ｄでデータの転送を実行する。
　１段目と２段目と３段目と４段目のスイッチ１３０のドライブ１３２の数の比率が１：１：１：１の場合は、ステップ３３９に進む。ストレージ制御プログラム１１４は、まず、１段目のスイッチ１３０ａに接続されたドライブ１３２の転送先アドレスを０ｘ００に指定し、２段目のスイッチ１３０ｂに接続されたドライブ１３２の転送先アドレスを０ｘ０４に指定し、３段目のスイッチ１３０ｃに接続されたドライブ１３２の転送先アドレスを０ｘ０８に指定し、４段目のスイッチ１３０ｄに接続されたドライブ１３２の転送先アドレスを０ｘ０Ｃに指定する。
　これにより、スイッチ１３０ａのドライブ１３２は経路１２８ａでデータの転送を実行し、スイッチ１３０ｂのドライブ１３２は経路１２８ｂでデータの転送を実行し、スイッチ１３０ｃのドライブ１３２は経路１２８ｃでデータの転送を実行し、スイッチ１３０ｄのドライブ１３２は経路１２８ｄでデータの転送を実行する。
　上記処理の後には、ステップ３３０の一連の処理を終了し、その後、ステップ３００の一連の処理を終了する。
　図１０はステップ３４０で行われる処理の一例を示すフローチャートである。ステップ３４０では、商が２の場合であり、本実施例３ではスイッチ１３０が２段の場合となる。
　ステップ３４２では、ストレージ制御プログラム１１４が、ドライブ位置情報テーブル１１０を参照し、１段目と２段目のスイッチ１３０ａ、１３０ｂに接続されたドライブ１３２の数の比率を計算する。
　１段目と２段目のスイッチ１３０のドライブ１３２の数の比率が４：０の場合は、ステップ３４４に進み、ストレージ制御プログラム１１４が１段目のスイッチ１３０ａに接続されたドライブ１３２の転送先アドレスを０ｘ０～０ｘＣのいずれかに指定する。
　一方、１段目と２段目のスイッチ１３０のドライブ１３２の数の比率が３：１の場合は、ステップ３４６に進み、ストレージ制御プログラム１１４が１段目のスイッチ１３０ａに接続されたドライブ１３２の転送先アドレスを０ｘ００～０ｘ０８のいずれかに指定し、２段目のスイッチ１３０ｂに接続されたドライブ１３２の転送先アドレスを０ｘ０Ｃに指定する。
　これにより、スイッチ１３０ａのドライブ１３２は経路１２８ａ～１２８ｃのいずれかでデータの転送を実行し、スイッチ１３０ｂのドライブ１３２は経路１２８ｄでデータの転送を実行する。
　さらに、１段目と２段目のスイッチ１３０のドライブ１３２の数の比率が１：１の場合は、ステップ３４８に進み、ストレージ制御プログラム１１４は、１段目のスイッチ１３０ａに接続されたドライブ１３２の転送先アドレスを０ｘ００か０ｘ０４のいずれかに指定し、２段目のスイッチ１３０ｂに接続されたドライブ１３２の転送先アドレスを０ｘ０８か０ｘ０Ｃのいずれかに指定する。
　これにより、スイッチ１３０ａのドライブ１３２は経路１２８ａまたは１２８ｂのいずれかでデータの転送を実行し、スイッチ１３０ｂのドライブ１３２は経路１２８ｃまたは１２８ｄでデータの転送を実行する。
　その後、ストレージ制御プログラム１１４は、ステップ３４０の一連の処理を終了し、その後、ステップ３００の一連の処理を終了する。
　図８のステップ３５０では、スイッチ１３０の段数が１段であるので、ストレージ制御プログラム１１４は、スイッチ１３０ａのドライブ１３２がデータ転送経路として経路１２８ａ～１２８ｄを選択するように、データ転送先アドレスとして０ｘ００～０ｘ０Ｃを指定する。
　その後、ストレージ制御プログラム１１４は、ステップ３００の一連の処理を終了する。
　本実施例３によれば、ストレージ制御プログラム１１４は、ストレージ制御コントローラ１０６に接続されたスイッチ１３０の段数とドライブ１３２の数の比率に応じてデータ転送を行う経路１２８ａ～１２８ｄを選択する。これにより、複数のスイッチ１３０間でデータ転送の経路１２８を分離して、各スイッチ１３０ａ～１３０ｄに接続されたドライブ１３２ａ～１３２ｈ間の性能差を解消することができる。
　図１１Ａ～図１３に基づいて、本発明の実施例４を説明する。本実施例４は、前記実施例２の変形例に該当する。図１１Ａは、本実施例４のストレージシステム１００の構成の一例を示すブロック図である。
　本実施例４の図１１Ａでは、前記実施例２に示した図５Ａのストレージ制御コントローラ１０６に経路異常検出回路１２７を追加し、主記憶１０９に経路１２８が正常か異常かを記録する経路状態テーブル１１７を追加した。
　また、経路異常検出回路１２７は経路状態通知線１１９を介して、正常な経路１２８をＣＰＵ１２５に通知する。また、経路異常検出回路１２７は異常などで使用できなくなった経路１２８を検出し、経路状態通知線１１９を介してＣＰＵ１２５に通知する。なお、その他の構成は前記実施例２と同様である。
　図１１Ｂは経路状態テーブル１１７の一例を示す図である。経路状態テーブル１１７は、経路１２８の識別子を格納する経路数１１７１と、経路１２８の状態を格納する状態１１７２とを一つのエントリに含む。
　図１２Ａは、実施例４のストレージシステム１００で行われる処理の一例を示すフローチャートである。ストレージ制御コントローラ１０６が起動すると、図１２Ａのステップ４９０において、ストレージ制御プログラム１１４は、ドライブ位置情報テーブル１１０と経路状態テーブル１１７を生成する初期化を実施する。
　ステップ４９０において、ストレージ制御プログラム１１４は、各ドライブ１３２がどのスイッチ１３０ａ～１３０ｄに接続されているかを検出し、ドライブ位置情報テーブル１１０に、各ドライブ１３２に対応した各スイッチ１３０の識別子を記録する。
　更に、ステップ３９０においては、ストレージ制御プログラム１１４が、有効な経路１２８の数と、有効なスイッチ１３０の数を、経路－スイッチテーブル１１８に記録する。また、経路異常検出回路１２７が、各経路１２８ａ～１２８ｄが正常か異常かを検出し、検出結果を、経路状態テーブル１１７に格納する。
　ステップ４９５において、ストレージ制御プログラム１１４は、ホスト計算機１０１からアクセス要求を受け付ける。ストレージ制御プログラム１１４は、アクセス要求を解析してアクセス対象のドライブ１３２を特定する。
　次にステップ４００の転送経路の決定処理に進む。図１３は、ステップ４００で行われる転送経路の決定処理の一例を示すフローチャートである。
　ステップ４０１では、ストレージ制御プログラム１１４が、経路状態テーブル１１７及び経路－スイッチテーブル１１８から、正常な経路１２８の数と有効なスイッチ１３０の数の商を計算する。商が１の場合はステップ４０２に進み、商が２の場合は、ステップ４０４に進み、商が４の場合は、ステップ４１８に進む。
　ステップ４０２では、ストレージ制御プログラム１１４が、データ転送を行うドライブ１３２の接続位置（段数）を、ドライブ位置情報テーブル１１０を参照することで特定する。その後、ストレージ制御プログラム１１４が、ドライブ１３２が接続されているスイッチ１３０の段数に応じて経路１２８ａ～１２８ｄのいずれかに決定する。
　すなわち、ストレージ制御プログラム１１４は、ドライブ１３２の接続位置がスイッチ１３０ｄ（４段目）であれば、ステップ４０５へ進む。ストレージ制御プログラム１１４は、ドライブ１３２の接続位置がスイッチ１３０ｃ（３段目）であれば、ステップ４０７へ進む。ストレージ制御プログラム１１４は、ドライブ１３２の接続位置がスイッチ１３０ｂ（２段目）であれば、ステップ４０９へ進む。ストレージ制御プログラム１１４は、ドライブ１３２の接続位置がスイッチ１３０ａ（１段目）であれば、ステップ４１１へ進む。
　ステップ４０５または４０７または４０９または４１１において、ストレージ制御プログラム１１４は、経路状態テーブル１１７を参照してドライブ１３２の接続位置に対応する経路１２８が正常（有効）であるか否かを判定する。
　なお、本実施例４ではドライブ１３２の接続位置が４段目であれば経路１２８ｄを選択し、３段目であれば経路１２８ｃを選択し、２段目であれば経路１２８ｂを選択し、１段目であれば経路１２８ａを選択する。
　ストレージ制御プログラム１１４は、選択された経路１２８が正常であれば、当該経路１２８に対応するステップ４０６、４０８、４１０、４１２に進んで転送先アドレスを指定する。
　一方、ストレージ制御プログラム１１４は、選択された経路１２８に異常があれば、他の経路のうち正常な経路１２８を選択し、当該経路１２８に対応する転送先アドレスを指定する。
　例えば、ステップ４０５において、経路１２８ｄが異常である場合、ストレージ制御プログラム１１４は、ステップ４０７に進み、経路１２８ｃの状態を判定する。経路１２８ｃの状態が正常であれば、ステップ４０８に進み、ストレージ制御プログラム１１４は、４段目のスイッチ１３０ｄに接続されたドライブ１３２のデータ転送を経路１２８ｃで実施する。その後、図１２Ａのステップ４６０に進む。
　商が２となるステップ４０４では、ストレージ制御プログラム１１４がデータ転送を行うドライブ１３２の接続位置を、ドライブ位置情報テーブル１１０を参照することで特定する。
　その後、ストレージ制御プログラム１１４は、ドライブ１３２が接続されているスイッチ１３０の段数に応じて経路１２８を決定する。ストレージ制御プログラム１１４は、ドライブ１３２がスイッチ１３０ｂ（２段目）に接続されていればステップ４１３へ進み、ドライブ１３２がスイッチ１３０ａ（１段目）に接続されていればステップ４１５へ進む。
　ストレージ制御プログラム１１４は、ステップ４１３または４１５において、経路状態テーブル１１７を参照することで、該経路１２８が異常でも、他の経路１２８を迂回してデータ転送ができるように、転送先アドレスを指定する。
　例えば、ステップ４１３において、経路１２８ｄが異常である場合、ストレージ制御プログラム１１４は、ステップ４１５に進み、経路１２８ｂないしは経路１２８ａの状態を判定する。そして、経路１２８ｂないしは経路１２８ａの状態が正常であれば、ストレージ制御プログラム１１４は、ステップ４１６に進む。
　そして、ストレージ制御プログラム１１４は、２段目のスイッチ１３０ｂに接続されたドライブ１３２のデータ転送の経路１２８ｂないしは経路１２８ａに対応する転送先アドレスを指定する。その後、ステップ４６０に進む。
　商が４となるステップ４１８では、ストレージ制御プログラム１１４は、該ドライブ１３２がデータ転送経路として経路１２８ｄまたは経路１２８ｃまたは経路１２８ｂまたは経路１２８ａを選択するように、ドライブ１３２の転送先アドレスとして、０ｘ０Ｃまたは０ｘ０８または０ｘ０４または０ｘ００を指定する。その際、経路状態テーブル１１７を参照することで、正常な経路を用いてデータ転送ができるように、転送先アドレスを指定する。その後、ステップ４６０に進む。
　ステップ４６０は図１のステップ２６０と同様の処理であり、ストレージ制御プログラム１１４がドライブ１３２へ要求コマンドを発行する。
　次にステップ４５０に進む。図１２Ｂはステップ４５０で行われる処理の一例を示すフローチャートである。
　図１２Ｂにおいて、ステップ４５２では、ストレージ制御プログラム１１４が、経路１２８ないしはスイッチ１３０の数に変化があるか否かを判定し、もし変化があればステップ４５４に進み、変化がなければ、ステップ４５６に進む。
　ステップ４５４では、ストレージ制御プログラム１１４が変化のあった経路１２８の数または、変化のあったスイッチ１３０の数を経路－スイッチテーブル１１８の該当エントリで更新し、ステップ４５６に進む。
　ステップ４５６では、経路異常検出回路１２７が経路１２８の状態に変化があるか否かを判定し、もし変化があればステップ４５８に進み、変化がなければ、ステップ４００に進む。ステップ４５８では、変化のあった経路１２８に対応する経路状態テーブル１１７の該当エントリを更新し、図１２Ａのステップ４０５に戻って上記処理を繰り返す。なお、ステップ４５０の処理には、前記実施例１に示したステップ２８０、２８２の処理を含むものとする。
　本実施例４によれば、ストレージ制御プログラム１１４は、ストレージ制御コントローラ１０６に接続されたスイッチ１３０の段数とドライブ１３２の数に応じた経路１２８に異常があれば、正常な経路１２８に切り替えてデータ転送を行う。これにより、経路１２８に異常が発生した場合でも、複数のスイッチ１３０間でデータ転送の経路１２８を分離して、各スイッチ１３０ａ～１３０ｄに接続されたドライブ１３２ａ～１３２ｈ間の性能差を解消することができる。
　図１４Ａ～図１６に基づいて、本発明の実施例５を説明する。本実施例５は、実施例１の変形例に該当する。図１４Ａは、実施例２のストレージシステム１００の構成の一例を示すブロック図である。
　本実施例５の図１４Ａは、前記実施例１の図１に示したストレージシステム１００に、管理端末１０４とストレージシステム管理プログラム１０８が追加されており、更にストレージ制御コントローラ１０６の主記憶１０９に、経路選択テーブル１５０が追加されている。なお、その他の構成は前記実施例１と同様である。
　管理端末１０４は、図示しないＣＰＵと、入出力装置と、メモリ及びインタフェースなどのハードウェア資源を含む計算機である。管理端末１０４のＣＰＵが、メモリにロードしたストレージシステム管理プログラム１０８を実行することにより、ストレージシステム１００を制御（例えば、構成情報の取得や変更などの操作指示）することが可能である。
　経路選択テーブル１５０はスイッチ１３０に接続されているドライブ１３２が転送する経路を指定するためのテーブルである。管理端末１０４は、スイッチ１３０毎にドライブ１３２のデータを転送する経路１２８ａ～１２８ｄの識別子を経路選択テーブル１５０に登録することができる。
　図１４Ｂは、経路選択テーブル１５０の一例を示す図である。経路選択テーブル１５０は、スイッチ１３０の識別子を格納するＳｗｉｔｃｈ１５０１と、当該スイッチ１３０に割り当てられた経路１２８の識別子を格納する経路１５０２と、を一つのエントリに含む。
　図１５は、実施例５のストレージシステム１００で行われる処理の一例を示すフローチャートである。ストレージ制御コントローラ１０６が起動すると、図１５のステップ５９０において、ストレージ制御プログラム１１４は、各ドライブ１３２がどのスイッチ１３０に接続されているか接続位置を検出し、ドライブ位置情報テーブル１１０に、各ドライブ１３２に対応した各スイッチ１３０の識別子を記録する。
　ステップ５８０では、ストレージ制御プログラム１１４が管理端末１０４から経路選択情報を受け付けて経路選択テーブル１５０を更新する。ストレージ制御プログラム１１４は、経路選択テーブル１５０に、ドライブ１３２が使用する経路１２８をスイッチ１３０毎に登録する。
　例えば、図１４Ｂの例では、１段目のスイッチ１３０ａに経路ａ（経路１２８ａ）が設定され、２段目のスイッチ１３０ｂに経路ｂ（経路１２８ｂ）が設定され、３段目のスイッチ１３０ｃに経路ｃ（経路１２８ｃ）が設定され、４段目のスイッチ１３０ｄに経路ｄ（経路１２８ｄ）が設定される。
　ステップ５８５において、ストレージ制御プログラム１１４は、ホスト計算機１０１からアクセス要求を受け付ける。ストレージ制御プログラム１１４は、アクセス要求を解析してアクセス対象のドライブ１３２を特定する。
　次にステップ５００に進む。図１６はステップ５００で行われる転送経路の決定処理の一例を示すフローチャートである。
　図１６のステップ５０２では、ストレージ制御プログラム１１４が、データ転送の対象となるドライブ１３２が接続されているスイッチ１３０を、ドライブ位置情報テーブル１１０を参照することにより特定し、ステップ５０４に進む。
　ステップ５０４では、ストレージ制御プログラム１１４が、経路選択テーブル１５０のエントリを参照して、該ドライブ１３２がデータ転送に用いる経路１２８を特定する。その後、ストレージ制御プログラム１１４は、上記特定した経路１２８ａ～１２８ｄに応じて、ステップ５０６～５１０のいずれかに進み、データ転送に用いる経路１２８に対応する転送先アドレスを指定する。その後、図１５のステップ５６０に進む。
　ステップ５６０は図１のステップ２６０と同様の処理であり、ストレージ制御プログラム１１４がドライブ１３２へ要求コマンドを発行する。なお、要求コマンドを発行した後には、図示はしないが前記実施例１に示したステップ２８０、２８２の処理を実施するものとする。その後、上記ステップ５８０に戻って上記処理を繰り返す。
　以上で説明した通り、本実施例５によれば、経路選択テーブル１５０は、管理端末１０４により、ストレージ制御コントローラ１０６が処理を実行中でも更新することが可能である。
　図１７Ａ～図１９に基づいて、本発明の実施例６を説明する。本実施例を含む以下の各実施例は、第１実施例の変形例に該当する。
　図１７Ａは、実施例６のストレージシステム１００の構成の一例を示すブロック図である。本実施例６の図１７Ａでは、前記実施例１に示した図１のストレージ制御コントローラ１０６の主記憶１０９に、ドライブ１３２が接続された各スイッチ１３０への負荷を監視する負荷情報テーブル１２０が追加されている。本実施例６では、図１８で示すように、負荷情報テーブル１２０は、ドライブ１３２が属する各スイッチ１３０への発行中コマンド数の合計を各段のスイッチ１３０毎に記録する。その他の構成については、前記実施例１と同様である。
　図１７Ｂは負荷情報テーブル１２０の一例を示す図である。負荷情報テーブル１２０はスイッチ１３０の位置または識別子を格納するＳｗｉｔｃｈ１２０１と、スイッチ１３０に接続されたドライブ１３２に発行中のコマンドの数を格納する発行中コマンド数１２０２とを一つのエントリに含む。
　図１８は、実施例６のストレージシステム１００で行われる処理の一例を示すフローチャートである。ストレージ制御コントローラ１０６が起動すると、図１８のステップ６９０において、ストレージ制御プログラム１１４は、各ドライブ１３２がどのスイッチ１３０に接続されているか接続位置を検出し、ドライブ位置情報テーブル１１０に、各ドライブ１３２に対応した各スイッチ１３０の識別子を記録する。更に、ステップ６９０においては、ストレージ制御プログラム１１４が負荷情報テーブル１２０の全エントリを０で初期化する。
　ステップ６９５において、ストレージ制御プログラム１１４は、ホスト計算機１０１からアクセス要求を受け付ける。ストレージ制御プログラム１１４は、アクセス要求を解析してアクセス対象のドライブ１３２を特定する。
　ステップ６１０は、前記実施例１の図２に示したステップ２１０と同様の転送経路の決定処理であり、決定された経路１２８に応じた転送先アドレスが指定される。
　ステップ６６０は、前記実施例１の図２に示したステップ２６０と同様の処理で、ストレージ制御プログラム１１４がドライブ１３２へ要求コマンドを発行する。
　次にステップ６００に進む。図１９は、図１８のステップ６００で行われる処理の一例を示すフローチャートである。
　図１９において、ステップ６０２では、ストレージ制御プログラム１１４が要求コマンドを発行したドライブ１３２が接続されたスイッチ１３０に対応する負荷情報テーブル１２０のエントリで発行中コマンド数１２０２をインクリメントする。負荷情報テーブル１２０の該当エントリは、要求コマンドが発行されたため発行中コマンド数１２０２が加算される。本実施例６では発行中コマンド数１２０２の値が、スイッチ１３０の負荷の大きさを示す。
　ステップ６０４では、ストレージ制御プログラム１１４が応答コマンドキュー１２２を参照し、当該スイッチ１３０に接続されたドライブ１３２からの応答があればステップ６０６に進み、応答がなければ図１８のステップ６２２に進む。
　ステップ６０６では、ドライブ１３２がデータ転送領域１１６へのデータ転送を完了したら、応答コマンドキュー１２２に応答コマンドを格納し、ストレージ制御プログラム１１４が応答コマンドを読み込むことで、ステップ６６０で発行した要求コマンドの処理を完了する。
　ステップ６０８では、ストレージ制御プログラム１１４が、ステップ６０６で処理が完了した要求コマンドに対応するドライブ１３２に対応する負荷情報テーブル１２０のエントリの発行中コマンド数１２０２をデクリメントする。この後、図１８のステップ６２２へ進む。
　図１８のステップ６２２では、ストレージ制御プログラム１１４が、負荷情報テーブル１２０を参照し、２段目以降のスイッチ１３０ｂ～１３０ｄに接続されているドライブ１３２ｃ～１３２ｈへの発行中コマンド数の合計値を算出し、合計値が０であるならステップ６２４に進む。
　ステップ６２４では、ストレージ制御プログラム１１４が、１段目のスイッチ１３０ａに接続されたドライブ１３２ａ、１３２ｂの転送先アドレスを０ｘ００～０ｘ０Ｃのいずれかに変更し、ステップ６６０に戻って上記処理を繰り返す。
　ステップ６２２において、２段目以降のスイッチ１３０ｂ～１３０ｄに接続されているドライブ１３２ｃ～１３２ｈへの発行中コマンド数の合計値が０以外であれば、ストレージ制御プログラム１１４は、再びステップ６６０に戻って上記処理を繰り返す。
　本実施例６によれば、ストレージ制御プログラム１１４は、ストレージ制御コントローラ１０６に接続されたスイッチ１３０の負荷を監視して、負荷に応じて経路１２８を変更することができる。
　＜まとめ＞
　なお、本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。
　また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (14)

  1. 　複数の記憶デバイスと、
    　プロセッサとメモリを含んで前記記憶デバイスを制御するコントローラと、
    　前記記憶デバイスと前記コントローラとを接続するデータ転送経路と、を有するストレージシステムであって、
    　前記記憶デバイスは、複数のグループに分かれ、
    　前記コントローラは、
    　前記複数の独立したデータ転送経路を介して接続された前記複数の記憶デバイスのうち、前記複数のグループそれぞれについて所属する記憶デバイスを特定し、アクセス要求を受信してアクセス対象の記憶デバイスを特定し、前記特定した記憶デバイスのグループ毎に異なる前記データ転送経路を前記記憶デバイスに指定し、前記記憶デバイスは前記指定されたデータ転送経路に従ってコネクションレス型のプロトコルでデータ転送を行うことを特徴とするストレージシステム。
  2. 　前記請求項１に記載のストレージシステムであって、
    　前記コントローラは、
    　前記複数のグループで帯域が均等となるデータ転送経路を指定することを特徴とするストレージシステム。
  3. 　前記請求項１に記載のストレージシステムであって、
    　前記コントローラは、
    　前記複数のデータ転送経路に対応する前記メモリ上の複数の転送先アドレスを予め設定し、前記データ転送経路に対応する前記転送先アドレスを前記記憶デバイスに指定することを特徴とするストレージシステム。
  4. 　前記請求項３に記載のストレージシステムであって、
    　前記記憶デバイスは、
    　前記コントローラへ転送するデータをパケットに分割し、前記パケットには前記コントローラで指定されたデータ転送先アドレスが付与されていることを特徴とするストレージシステム。
  5. 　前記請求項１に記載のストレージシステムであって、
    　前記グループは、第１のグループと第２のグループを含み、前記第２のグループは、前記第１のグループにカスケード接続されることを特徴とするストレージシステム。
  6. 　前記請求項１に記載のストレージシステムであって、
    　前記コントローラは、
    　第１のグループと第２のグループを含む前記複数のグループのうち、前記記憶デバイスが所属するグループの識別子を格納するドライブ位置情報を有し、前記ドライブ位置情報に基づいてアクセス対象の記憶デバイスとグループの識別子を特定し、前記グループの識別子に対応付けられた前記データ転送経路を前記記憶デバイスに指定することを特徴とするストレージシステム。
  7. 　前記請求項６に記載のストレージシステムであって、
    　前記第２のグループは、前記第１のグループにカスケード接続され、
    　前記コントローラは、
    　前記カスケード接続された第１のグループと前記コントローラの間のデータ転送経路の数と、グループの数を格納する経路スイッチ情報を有し、前記ドライブ位置情報に基づいてアクセス対象の記憶デバイスとグループの識別子を特定し、前記経路スイッチ情報に基づいて前記データ転送経路を選択することを特徴とするストレージシステム。
  8. 　前記請求項６に記載のストレージシステムであって、
    　前記コントローラは、
    　前記データ転送経路の異常を検出する異常検出部を有し、前記ドライブ位置情報に基づいてアクセス対象の記憶デバイスとグループの識別子を特定し、前記異常検出部の検出結果に基づいて前記データ転送経路を選択することを特徴とするストレージシステム。
  9. 　前記請求項６に記載のストレージシステムであって、
    　前記コントローラは、
    　前記グループに所属する前記記憶デバイスが使用する前記データ転送経路を指定する経路選択情報を有し、前記ドライブ位置情報に基づいてアクセス対象の記憶デバイスとグループの識別子を特定し、前記経路選択情報の検出結果に基づいて前記データ転送経路を選択し、前記ストレージシステムに接続された管理端末からの指示に応じて前記経路選択情報を更新することを特徴とするストレージシステム。
  10. 　前記請求項６に記載のストレージシステムであって、
    　前記コントローラは、
    　前記記憶デバイスが所属する前記グループへの負荷を格納する負荷情報を有し、前記ドライブ位置情報に基づいてアクセス対象の記憶デバイスとグループの識別子を特定し、前記負荷情報に基づいて前記データ転送経路を選択することを特徴とするストレージシステム。
  11. 　前記請求項７に記載のストレージシステムであって、
    　前記コントローラは、
    　前記ドライブ位置情報に基づいてアクセス対象の記憶デバイスとグループの識別子を特定し、前記経路スイッチ情報に格納された前記データ転送経路の数と前記グループの数の比率に応じて前記データ転送経路を選択することを特徴とするストレージシステム。
  12. 　前記請求項６に記載のストレージシステムであって、
    　前記第１のグループは、
    　前記コントローラに接続されて前記コントローラとの通信を行う第１のスイッチに接続された前記記憶デバイスからなり、
    　前記第２のグループは、
    　前記第１のスイッチに接続されて前記コントローラとの通信を行う第２のスイッチに接続された前記記憶デバイスからなり、
    　前記複数のグループは、前記第１のグループと第２のグループを含み、
    　前記ドライブ位置情報は、前記記憶デバイスとスイッチの関係を保持し、
    　前記コントローラは、
    　当該ストレージシステムに接続されたホスト計算機からのアクセス要求を受け付けて、アクセス対象の記憶デバイスを特定し、前記第１のグループと第２のグループで異なる前記データ転送経路を前記記憶デバイスに指定することを特徴とするストレージシステム。
  13. 　プロセッサとメモリを含むコントローラが記憶デバイスを制御するストレージの制御方法であって、
    　前記コントローラが、複数の独立したデータ転送経路を介して接続された複数の記憶デバイスを複数のグループに分け、前記複数のグループそれぞれについて所属する記憶デバイスを特定する第１のステップと、
    　前記コントローラが、アクセス要求を受信してアクセス対象の記憶デバイスを特定する第２のステップと、
    　前記コントローラが、前記特定した記憶デバイスのグループ毎に異なる前記データ転送経路を前記記憶デバイスに指定する第３のステップと、
    　前記記憶デバイスが前記指定されたデータ転送経路に従ってコネクションレス型のプロトコルでデータ転送を行う第４のステップと、
    を含むことを特徴とするストレージの制御方法。
  14. 　前記請求項１３に記載のストレージの制御方法であって、
    　前記第３のステップは、
    　前記複数のグループで帯域が均等となるデータ転送経路を指定することを特徴とするストレージの制御方法。
PCT/JP2017/007282 2017-02-27 2017-02-27 ストレージシステム及びストレージの制御方法 WO2018154743A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/007282 WO2018154743A1 (ja) 2017-02-27 2017-02-27 ストレージシステム及びストレージの制御方法
US16/329,570 US10732872B2 (en) 2017-02-27 2017-02-27 Storage system and storage control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007282 WO2018154743A1 (ja) 2017-02-27 2017-02-27 ストレージシステム及びストレージの制御方法

Publications (1)

Publication Number Publication Date
WO2018154743A1 true WO2018154743A1 (ja) 2018-08-30

Family

ID=63253643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007282 WO2018154743A1 (ja) 2017-02-27 2017-02-27 ストレージシステム及びストレージの制御方法

Country Status (2)

Country Link
US (1) US10732872B2 (ja)
WO (1) WO2018154743A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003357B2 (en) * 2019-09-13 2021-05-11 EMC IP Holding Company LLC Managing single path communication between a host and a storage system
KR20210046348A (ko) * 2019-10-18 2021-04-28 삼성전자주식회사 복수의 프로세서들에 유연하게 메모리를 할당하기 위한 메모리 시스템 및 그것의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140179A (ja) * 2007-12-05 2009-06-25 Fujitsu Ltd ストレージシステムおよびルートスイッチ
JP2009258841A (ja) * 2008-04-14 2009-11-05 Hitachi Ltd ストレージシステム
WO2015045030A1 (ja) * 2013-09-25 2015-04-02 株式会社日立製作所 ドライブの増設可能な情報システムおよび該情報システムのバス番号割り当て方法
WO2015136619A1 (ja) * 2014-03-11 2015-09-17 株式会社日立製作所 ストレージ装置
JP2015532985A (ja) * 2012-09-06 2015-11-16 ピーアイ−コーラル、インク． 大規模なデータ記憶および受け渡しシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195354B1 (en) * 1997-07-16 2001-02-27 Nortel Networks Limited Route selection for path balancing in connection-oriented packet switching networks
JP4775846B2 (ja) 2006-03-20 2011-09-21 株式会社日立製作所 物理リンクの割当てを制御するコンピュータシステム及び方法
US20080059687A1 (en) * 2006-08-31 2008-03-06 Peter Mayer System and method of connecting a processing unit with a memory unit
JP5179031B2 (ja) * 2006-09-13 2013-04-10 株式会社日立製作所 空きポートを有効に活用したストレージシステム
US8250256B2 (en) * 2007-07-24 2012-08-21 International Business Machines Corporation Methods, systems and computer products for user-managed multi-path performance in balanced or unbalanced fabric configurations
US8880715B2 (en) * 2008-10-23 2014-11-04 Canon Kabushiki Kaisha Remote control of a host computer
WO2011081691A2 (en) * 2009-12-14 2011-07-07 Rambus Inc. Expandable asymmetric-channel memory system
US11474704B2 (en) * 2012-05-18 2022-10-18 Atto Technology, Inc. Target path selection for storage controllers
US8880935B2 (en) * 2012-06-12 2014-11-04 International Business Machines Corporation Redundancy and load balancing in remote direct memory access communications
US10067794B1 (en) * 2013-05-03 2018-09-04 EMC IP Holding Company LLC Computer-executable method, system, and computer program product for balanced port provisioning using filtering in a data storage system
CN106909310B (zh) * 2015-12-22 2020-06-05 伊姆西Ip控股有限责任公司 用于存储系统的路径选择的方法和装置
KR102353782B1 (ko) * 2016-08-31 2022-01-19 삼성전자주식회사 NVMe 기반 솔리드 스테이트 드라이브에서 읽기 버퍼 사이즈 요구량을 감소하는 방법
US10564857B2 (en) * 2017-11-13 2020-02-18 Western Digital Technologies, Inc. System and method for QoS over NVMe virtualization platform using adaptive command fetching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140179A (ja) * 2007-12-05 2009-06-25 Fujitsu Ltd ストレージシステムおよびルートスイッチ
JP2009258841A (ja) * 2008-04-14 2009-11-05 Hitachi Ltd ストレージシステム
JP2015532985A (ja) * 2012-09-06 2015-11-16 ピーアイ−コーラル、インク． 大規模なデータ記憶および受け渡しシステム
WO2015045030A1 (ja) * 2013-09-25 2015-04-02 株式会社日立製作所 ドライブの増設可能な情報システムおよび該情報システムのバス番号割り当て方法
WO2015136619A1 (ja) * 2014-03-11 2015-09-17 株式会社日立製作所 ストレージ装置

Also Published As

Publication number Publication date
US20190258599A1 (en) 2019-08-22
US10732872B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
US10740034B2 (en) Front-end quality of service differentiation in data systems
US9742671B2 (en) Switching method
EP1807753B1 (en) Method and system for transferring data directly between storage devices in a storage area network
US8412863B2 (en) Storage apparatus and virtual port migration method for storage apparatus
US8032684B2 (en) Programmable bridge header structures
US8312312B2 (en) Data storage system using multiple communication protocols
KR20200078382A (ko) 개시자 모드를 갖는 솔리드-스테이트 드라이브
JP2019175415A (ja) システム資源を割り当てる方法及びシステム
US10466935B2 (en) Methods for sharing NVM SSD across a cluster group and devices thereof
CN108701004A (zh) 一种数据处理的系统、方法及对应装置
US9680931B1 (en) Message passing for low latency storage networks
JP2020113137A (ja) ストレージ装置
US10599600B2 (en) Peripheral Component Interconnect Express (PCIe) switching for multi-host computing system deployments
US9509627B2 (en) Resource over-subscription
US20090112877A1 (en) System and Method for Communicating Data in a Storage Network
US8856479B2 (en) Implementing storage adapter performance optimization with hardware operations completion coalescence
US20220060382A1 (en) Method and system for facilitating high availability in a multi-fabric system
WO2018154743A1 (ja) ストレージシステム及びストレージの制御方法
JP2009015843A (ja) ロング・サイド入出力コマンド処理
CN107533526B (zh) 经由具有完全连接网格拓扑的pci express结构向存储写入数据
JP6737981B2 (ja) リモート・ダイレクト・メモリ・アクセス操作を実行するデータ転送方法、システム、およびプログラム
US9921753B2 (en) Data replication across host systems via storage controller
WO2022267909A1 (zh) 一种数据读写方法以及相关装置
WO2013001578A1 (ja) 入出力制御装置及び入出力制御装置のフレーム処理方法
US9990284B2 (en) Storage control device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898111

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898111

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP