WO2017134795A1 - ストレージシステム及びキャッシュ制御方法 - Google Patents

ストレージシステム及びキャッシュ制御方法 Download PDF

Info

Publication number
WO2017134795A1
WO2017134795A1 PCT/JP2016/053371 JP2016053371W WO2017134795A1 WO 2017134795 A1 WO2017134795 A1 WO 2017134795A1 JP 2016053371 W JP2016053371 W JP 2016053371W WO 2017134795 A1 WO2017134795 A1 WO 2017134795A1
Authority
WO
WIPO (PCT)
Prior art keywords
cache
area
node
data
target data
Prior art date
Application number
PCT/JP2016/053371
Other languages
English (en)
French (fr)
Inventor
恭平 井出
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2016/053371 priority Critical patent/WO2017134795A1/ja
Publication of WO2017134795A1 publication Critical patent/WO2017134795A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Definitions

  • the present invention generally relates to storage system cache control.
  • a storage system in which multiple nodes are prepared for scale-out is known.
  • the system includes a plurality of nodes and a fabric memory controller to which the plurality of nodes are connected.
  • Each of the plurality of nodes has a plurality of memory areas, and the plurality of memory areas are mapped to the global memory by the fabric memory controller.
  • the latency of read access to the memory area is small.
  • a plurality of switches are prepared.
  • a first cache unit is connected to each of the plurality of switches in addition to the plurality of storage nodes.
  • Each of the plurality of storage nodes has a second cache unit.
  • Each first cache unit and each second cache unit are mapped to a global cache recognized by a plurality of storage nodes.
  • the own node (the storage node that has received the I / O request) writes the N-duplicated I / O target data (N is an integer of 2 or more) to each of N cache units.
  • the N cache units are at least one second cache unit and at least one first cache unit. If the read target data does not exist in the second cache unit of the self node but exists in any of the first cache units, the self node reads the read target data from the first cache unit.
  • FIG. 1 shows a configuration of a storage system according to a first embodiment.
  • the configuration of the global cache is shown.
  • the structure of a global cache management table is shown. Indicates the location where the global cache management table is stored.
  • the flow of read processing is shown.
  • the flow of a write process is shown.
  • 5 shows a flow of area securing processing according to the first embodiment.
  • a 1st modification is shown.
  • a second modification will be described.
  • 10 shows a flow of area securing processing according to a second embodiment.
  • a comparative example is shown.
  • the “interface part” includes one or more interfaces.
  • the one or more interfaces may be one or more similar interface devices (for example, one or more NIC (Network Interface Card)) or two or more different interface devices (for example, NIC and HBA (Host Bus Adapter)). There may be.
  • NIC Network Interface Card
  • HBA Home Bus Adapter
  • the “cache unit” includes one or more cache memory areas.
  • the “cache memory area” may be the cache memory itself or an area as a cache memory provided in the memory.
  • the “processor unit” includes one or more processors.
  • the at least one processor is typically a CPU (Central Processing Unit).
  • the processor may include a hardware circuit that performs part or all of the processing.
  • the process may be described using “program” as the subject, but the program is executed by the processor unit, so that the determined process can be appropriately performed in the storage unit and the interface unit.
  • the subject of processing may be a processor unit (or a computer or a computer system having a processor unit).
  • the program may be installed in the computer from a program source.
  • the program source may be, for example, a storage medium that can be read by a program distribution server or a computer.
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • information may be described using an expression such as “xxx table”, but the information may be expressed in any data structure. That is, in order to show that the information does not depend on the data structure, the “xxx table” can be referred to as “xxx information”.
  • the configuration of each table is an example, and one table may be divided into two or more tables, or all or part of the two or more tables may be a single table. Good.
  • the reference numerals of the elements are used (for example, the first cache unit 120A and the first cache unit 120B), and the same type of elements are not distinguished.
  • only the common code among the reference codes of the element may be used (for example, the first cache unit 120).
  • the “dirty area” is an area that stores at least dirty data.
  • “Dirty data” is data that is not stored in any physical storage device.
  • the “clean area” is an area that stores clean data and does not store dirty data.
  • “Clean data” is data already stored in any physical storage device.
  • the “free area” is an area that can be newly set as a data write destination, in other words, an area in which only data that does not exist or is invalid is stored.
  • FIG. 1 shows a configuration of a storage system according to the first embodiment.
  • the storage system 100 is connected to one or more hosts 101 that issue I / O requests.
  • the storage system 100 includes P storage nodes 110 (P is an integer of 2 or more), and Q interconnect switches (Q is 2 or more) each connected to P storage nodes (hereinafter, nodes) 110. Integer) 130 and Q first cache units 120 respectively connected to Q interconnect switches 130.
  • P nodes 110 can provide a logical volume to the host 101 and receive an I / O request specifying the logical address of the logical volume area from the host 101.
  • Each of the P nodes 110 includes an interface unit that is one or more interfaces connected to at least one of the one or more hosts 101 and at least one of the plurality of drives 15, a second cache unit, And a processor unit including one or more processors connected to the interface unit and the second cache unit.
  • Each of the Q first cache units 120 and the P second cache units included in each of the P nodes 110 is one or more cache memory areas.
  • the storage system 100 employs a storage tightly coupled architecture. That is, each of the P nodes 110 recognizes the global cache.
  • the global cache is a cache address space in which Q first cache units 120 and P second cache units are mapped, and is common to P nodes 110.
  • each node 110 can access each first cache unit 120 and the second cache unit of another node 110 in the same manner as the access to the second cache unit of the node 110.
  • P Q may be sufficient, P> Q may be sufficient, and P ⁇ Q may be sufficient.
  • Home is an example of an external system and is one or more host computers.
  • the external system may be another storage system (for example, a copy source or a copy destination).
  • An example of the interface unit is a front-end interface unit for communication with the host 101 and a back-end interface for communication with one or more drives 15 (for example, a RAID (Redundant Array-of Independent- (or Inexpensive) -Disks group)).
  • An example of the front-end interface unit is FC (Fibre Channel) -I / F 6 (“I / F” is an abbreviation of interface device).
  • An example of the back-end interface unit is SAS (Serial Attached SCSI) -I / F5.
  • An example of the second cache unit is one or more volatile memories.
  • An example of one or more volatile memories is a DIMM (Dual Inline Memory Module) 7.
  • the DIMM 7 is a cache memory area.
  • the cache memory area is a memory area in which I / O target data (data according to an I / O request from the host 101) is temporarily stored.
  • An example of the processor unit is the CPU 8.
  • the drive 15 is an example of a physical storage device, and is, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the interconnect switch 130 is an example of a switch between nodes, for example, an InfiniBand switch or a PCIe (PCI-Express) switch.
  • the first cache unit 120A is connected to the interconnect switch 130A, and the first cache unit 120B is connected to the interconnect switch 130B.
  • FC-I / F6X means at least one of FC-I / F6Xa and 6Xb.
  • SAS-I / F5X means at least one of SAS-I / F5Xa and 5Xb.
  • DIMM7X means at least one of DIMM7Xa and 7Xb.
  • the CPU 8X means at least one of “CPUs 8Xa and 8Xa”.
  • Any node 110 can receive an I / O request from the host 101.
  • a node that has received an I / O request may be referred to as “own node” for convenience.
  • the DIMM of the own node may be referred to as “own DIMM”.
  • the node 110 receives a read request.
  • the own node 110 performs (x1) to (x3) when the read target data according to the read request exists in the global cache.
  • (X1) If the read target data exists in the own DIMM 7, the read target data is read from the own DIMM 7.
  • (X2) If the read target data does not exist in its own DIMM 7 but exists in any of the first cache units 120, the read target data is read from the first cache unit 120.
  • X3 If the read target data does not exist in any of the own DIMM 7 and the first cache units 120A and 120B but exists in any DIMM 7 other than the own DIMM 7, the read target data is read from the DIMM 7.
  • the own node 110 performs N-duplexed I / O target data (read target data or write target data). (Data according to the write request)) is written in each of N cache units (N is an integer of 2 or more).
  • the N cache units are at least one DIMM 7 and at least one first cache unit 120.
  • N 4.
  • the I / O target data 10 written to the DIMMs (7Ab and 7Bb) by the own node (for example, 110C) is duplicated (see the dashed arrows 150A and 150B), and the first cache is created by the own node 110C.
  • the I / O target data 10 written to the sections 120A and 120B is also duplicated (see broken line arrows 140A and 140B).
  • the own node 110 does not need to read access to the DIMM 7 of the other node 110.
  • the duplicated I / O target data 80 is written to the two DIMMs 7Ab and 7Bb respectively included in the two nodes 1110A and 1110B.
  • the own node 1110D receives the I / O target data from the DIMM 7 of the other node 1110 if there is no I / O target data in the own DIMM 7D. Must be read (see solid arrow 1180).
  • different reference numerals are assigned to elements different from the present embodiment.
  • a CPU 9X that does not perform cache control as in this embodiment a node 1110X having a CPU 9X, and a storage system 1100 having a node 1110X can be cited (X is A, as described above, A, B, C or D).
  • At least one I / O target data is written to at least one first cache unit 120 (a cache unit directly connected to the interconnect switch 130).
  • the node 110D is its own node, even if the read target data 10 does not exist in its own DIMM 7D, the own node 110D only needs to make a read access to the first cache unit 120B (see the solid line arrow 196). There is no need for read access to the DIMM 7Ab or 7Bb of the node 110A or 110B. For this reason, the performance of the storage system 100 is improved.
  • the number of DIMMs 7 (nodes 110) as the write destination of the I / O target data may be one (see the modification shown in FIG.
  • the nodes 110 all DIMM. If there are many DIMMs 7 (nodes 110) to which data is written, the probability that the read target data exists in the DIMM 7 of the node 110 that has received a read request for reading the data thereafter increases.
  • the own DIMM 7 can be adopted, or the DIMM 7 of the node 110 connected to the data storage destination drive 15 can be adopted.
  • each first cache unit 120 is a non-volatile cache unit.
  • the first cache unit 120 is referred to as a “nonvolatile cache unit 120”.
  • the nonvolatile cache unit 120 is one or more nonvolatile memory areas, and an example of the one or more nonvolatile memory areas is the two nonvolatile memories 13.
  • the nonvolatile cache unit 120A includes nonvolatile memories 13Aa and 13Ab
  • the nonvolatile cache unit 120B includes nonvolatile memories 13Ba and 13Bb.
  • At least one I / O target data is written to at least one nonvolatile cache unit 120.
  • cache backup resources can be reduced from each node 110.
  • the “cache backup resource” is a resource for backing up data (particularly dirty data) in the DIMM 7, and is, for example, a battery 1 and an SSD (Solid State Drive) 2.
  • the SSD is an example of a backup destination nonvolatile medium.
  • the total capacity of the battery 1 (for example, the capacity according to at least one of the capacity of one battery 1 and the number of the batteries 1) is sufficient to save the data in the DIMM 7 to the SSD 2 even if a power interruption occurs. Capacity.
  • both the batteries 1Xa and 1Xb and the SSD 2X are required as cache backup resources.
  • the cache backup resource since the write destination of at least one I / O target data is at least one nonvolatile cache unit 120, the cache backup resource, according to the illustrated example, the node 110X At least one battery 1X can be reduced.
  • duplicated I / O target data out of N duplicated I / O target data is written to two nonvolatile cache units 120A and 120B, respectively. That is, the I / O target data is also duplicated in the duplicated nonvolatile cache units 120A and 120B. Therefore, even if the power interruption occurs, it is not necessary to back up the I / O target data in the DIMM 7X or mount the SSD 2X as the backup destination in the node 110X.
  • the number of non-volatile cache units 120 to which I / O target data is written may be one (see the modification shown in FIG. 8).
  • the battery 1Xa and the SSD 2X are necessary as indicated by the solid line frame.
  • the total capacity of the battery 1Xa and the storage capacity of the SSD 2X can be reduced as compared with the case where the nonvolatile cache unit 120 is not provided.
  • the first node 110 In order for the first node 110 (own node 110) to access the DIMM 7 of the second node 110 (other node 110), it is necessary to go through the CPU 8 of the second node 110 (for example, the first node 110 is the first node 110). Although it is necessary to issue some instruction to the CPU 8 of the second node 110), the first node 110 does not need to go through the other CPU 8 in order to access the first cache unit 120. From this point of view, the nonvolatile cache unit 120 can be expressed as being directly connected to the interconnect switch 130.
  • Fig. 2 shows the configuration of the global cache. Specifically, the left part 210 of FIG. 2 shows the configuration of the global cache. The central portion 220 of FIG. 2 shows an example of the use of the global cache of the node 110. The right part 230 of FIG. 2 shows an example of the use of the global cache of the node 110.
  • the global cache 200 is an address space of global cache addresses (address space common to the nodes 110A to 110D).
  • the address space includes the own node address range 201 and P addresses.
  • DIMM address range 202 (four DIMM address ranges 202A to 202D in this embodiment) and Q nonvolatile address ranges 203 (two nonvolatile address ranges 203A and 203B in this embodiment).
  • the own node address range 201 is an address range to which the DIMM 7 of the node 110 that recognizes the global cache 200 is allocated.
  • the own node address range 201 may include other types of ranges (“Others” in the figure) (for example, an I / O range used for I / O) in addition to the address range of the DIMM 7.
  • Each DIMM address range 202 is an address range to which DIMM 7 is assigned.
  • One of the DIMM address ranges 202A to 202D corresponds to the DIMM 7 of the node 110 that recognizes the global cache 200. Therefore, one of the DIMM address ranges 202A to 202D corresponds to the own node address range 201. Data is mirrored between one of the DIMM address ranges 202A to 202D and the own node address range 201.
  • Each non-volatile address range 203 is an address range to which the non-volatile cache unit 120 is assigned. Since the nonvolatile cache unit 120 is the two nonvolatile memories 13, each nonvolatile address range 203 is composed of two sub nonvolatile address ranges 24 corresponding to the two nonvolatile memories 13, respectively. Specifically, the nonvolatile address range 203A is composed of two sub nonvolatile address ranges 24Aa and 24Ab, and the nonvolatile address range 203B is composed of two sub nonvolatile address ranges 24Ba and 24Bb.
  • the I / O target data is typically user data, but may be control data.
  • User data is data used by the host 101 (for example, an application of the host 101).
  • the control data includes at least configuration information representing the configuration of the storage system 100 (for example, the relationship between the logical volume and the drive 15, the configuration of a pair configured with a copy source logical volume and a copy destination logical volume, etc.). It is a part.
  • Each of the own node address range 201, the DIMM address range 202, and the nonvolatile address range 203 may be divided into a range for user data and a range for control data.
  • the I / O target data 280 is quadruplexed. Specifically, the duplexed I / O target data 280 is stored in the DIMMs 7A and 7B of the two nodes 110A and 110B of the four nodes 110A to 110D, respectively, and 2 Duplicate I / O target data 280 is stored in each of the non-volatile cache units 120A and 120B.
  • the own node 110A since there is I / O target data in the own DIMM 7A (own node address range 201), the own node 110A, from the own DIMM 7A to the I / O target data 280, as indicated by a thick arrow. Is read.
  • I / O target data is read from one of the non-volatile cache units 120B (non-volatile address range 203B).
  • FIG. 3 shows the configuration of the global cache management table.
  • the global cache management table (hereinafter, management table) 300 has an entry (record) for each data existing in the global cache 200. Each entry stores a start address 301, an area size 302, a data management number 303, a redundancy 304, a destage completion flag 305, a data valid flag 306, and a corresponding drive address 307.
  • management table 300 has an entry (record) for each data existing in the global cache 200. Each entry stores a start address 301, an area size 302, a data management number 303, a redundancy 304, a destage completion flag 305, a data valid flag 306, and a corresponding drive address 307.
  • one data is taken as an example.
  • the start address 301 represents the head address of the area (address range) where data is stored.
  • the address is a global cache address (a cache address common to the nodes 110). From a predetermined digit value (for example, a numerical value or a symbol) in the address, it can be understood in which DIMM 7 or in which nonvolatile memory 13 the area to which the address belongs is present. When the address corresponds to the DIMM 7, the predetermined digit of the address may be the number of the node 110 having the corresponding DIMM 7.
  • the node 110 can know the number of the node 110 by, for example, mechanical setting (for example, setting of a button provided in the node 110) or setting from a management terminal (not shown).
  • the area size 302 represents the size of the area where data is stored.
  • the data management number 303 is a number assigned to data.
  • the global cache 200 has a maximum of four identical data, but the same data management number 303 is assigned to the same data.
  • Corresponding drive addresses 307 corresponding to data having the same data management number 303 are also the same. Therefore, the column of the data management number 303 may be omitted.
  • the same data in the global cache 200 can be specified from the column of the corresponding drive address 307.
  • Redundancy 304 represents data redundancy, that is, the number of identical data (the number of redundant data). Therefore, in the present embodiment, the maximum value of the redundancy 304 is “4”.
  • the destage completion flag 305 indicates whether the data has been destaged (whether the data has been stored in the drive 15). Regarding the destage completion flag 305, “1” means that the destage has been completed, and “0” means that the destage has not been completed.
  • the data valid flag 306 indicates whether the data is valid. Regarding the data valid flag 306, “1” means valid, and “0” means invalid. From the combination of the value of the destage completion flag 305 and the value of the data valid flag 306, the type of the area where the data is stored (whether it is free, dirty, or clean) can be specified. Specifically, if the data valid flag 306 is “0”, the area is an empty area. If the data valid flag 306 is “1” and the destage completion flag 305 is “0”, the area is a dirty area. If the data valid flag 306 is “1” and the destage completion flag 305 is “1”, the area is a clean area.
  • Corresponding drive address 307 represents the drive address of the data storage destination.
  • the drive address is the address of the drive 15, but may instead be the address of a logical space (for example, a logical volume) on which the drive 15 is based. It is not always necessary to store all the data in the drive 15. For data that is not stored in the drive 15, the corresponding drive address may be a predetermined value (for example, “ ⁇ ”).
  • a valid value (“1” or “0”) may be set for each of the destage completion flag 305 and the data valid flag 306.
  • An invalid value (for example, “-”) may be set for each of the destage completion flag 305 and the data valid flag 306.
  • the management table 300 is stored in each of the non-volatile cache units 120A and 120B (the management table 300 is duplicated). All the nodes 110 refer to or update the same area (an area in the nonvolatile cache unit 120 in which the management table 300 is stored). According to FIG. 4, the synchronization between the nodes 110 is not necessary.
  • the master management table 300M (master of the management table 300) is arranged in the nonvolatile cache units 120A and 120B, and the copy management table 300C (master copy) is stored in the DIMM 7 of each node 110. May be arranged.
  • the updated management table 300C may be reflected in the management table 300M.
  • the management table 300 ⁇ / b> C serving as a reference destination of each node 110 is in the DIMM 7 of the node 110, so that the reference processing time of the management table 300 can be shortened.
  • FIG. 5 shows the flow of read processing.
  • the read process is started when any node 110 receives a read request from the host 101.
  • the node 110 that has received the read request is referred to as “own node 110”.
  • Read processing is performed by the own node 110 (the CPU 8 of the own node 110).
  • a logical address typically, a logical address of a logical area in the read source logical volume
  • the own node 110 refers to the management table 300 and determines whether or not the read target data according to the read request exists in the global cache 200 (S501). If the global cache address associated with the logical address specified in the read request (or the drive address specified based on the logical address) is specified, the read target data exists in the global cache 200. is there.
  • the own node 110 determines whether the read target data exists in the own DIMM 7 (S502). If the global cache address specified in S501 belongs to the own node address range 201 or the DIMM address range 202 of the own node 110, the read target data exists in the own DIMM 7.
  • the own node 110 reads the read target data from the own DIMM 7, and returns the read read target data to the host 101 (S503).
  • the node 110 determines whether the read target data exists in any of the nonvolatile cache units 120 (S504). If the global cache address identified in S501 belongs to any nonvolatile address range 203, it means that the read target data exists in any nonvolatile cache unit 120.
  • the node 110 reads the read target data from any of the non-volatile cache units 120 (nonvolatile memory 13), and returns the read read target data to the host 101 (S505). ).
  • the own node 110 reads the read target data from the address range to which the global cache address specified in S501 belongs, that is, the DIMM 7 of the other node 110, and reads the read target. Data is returned to the host 101 (S506).
  • the own node 110 refers to the management table 300, and whether the global cache 200 has a free area necessary for staging (reading of read target data from the drive 15). It is determined whether or not (S507). If any two of the DIMMs 7 (for example, including at least the DIMM 7 of the own node 110) and the two nonvolatile cache units 120 have the necessary free areas, the necessary free areas are in the global cache 200. is there. On the other hand, if at least one of the two DIMMs 7 and the two non-volatile cache units 120 does not have a required free area, the required free area does not exist in the global cache 200.
  • the “necessary free area” is a free area having a size equal to or larger than the size of the I / O target data (the size of the read target data in the read process and the write target data in the write process described later).
  • the total size of free areas (specifically, the total of area sizes 302 of areas corresponding to data valid flags 306 of “0”) ) Is greater than or equal to the size of the I / O target data.
  • the “area securing process” is a process for securing a necessary free area from each of the one or more free and insufficient cache units (at least one of the DIMM 7 and the non-volatile cache unit 120). Specifically, in the area securing process, one or more of one or more clean areas and one or more dirty areas is set as a free area for each of one or more empty shortage cache units. This is a process of securing a necessary free space (a free space larger than the size of the I / O target data).
  • the “empty insufficient cache part” is a cache part without a necessary free area.
  • the node 110 reads the read target data from the drive 15, and reads the read target data with two DIMMs 7 and two nonvolatiles. Write to the necessary free space in each of the cache units 120, and return the read target data to the host 101 (S509). That is, in S509, the quadruple read target data is written in the two DIMMs 7 and the two nonvolatile cache units 120, respectively. Further, the read target data returned to the host 101 in S509 may be read target data written (cached) in the DIMM 7 of the local node 110.
  • FIG. 6 shows the flow of write processing.
  • the write process is started when any node 110 receives a write request from the host 101.
  • the node 110 that has received the write request is referred to as “own node 110”.
  • the write processing is performed by the own node 110 (the CPU 8 of the own node 110).
  • a logical address (typically, a logical address of a logical area in the write destination logical volume) is specified in the write request.
  • the own node 110 refers to the management table 300 and determines whether or not a necessary free area exists in the global cache 200 (S601). If any two of the DIMMs 7 (for example, including at least the DIMM 7 of the own node 110) and the two nonvolatile cache units 120 have the necessary free areas, the necessary free areas are in the global cache 200. is there. On the other hand, if at least one of the two DIMMs 7 and the two non-volatile cache units 120 does not have a required free area, the required free area does not exist in the global cache 200.
  • the total size of free areas (specifically, the total size of area sizes 302 corresponding to the data valid flag 306 corresponding to “0”) ) Is greater than or equal to the size of the I / O target data.
  • S601 determines whether the determination result in S601 is false (S601: No)
  • the own node 110 executes the area allocation process (S602), so that it is necessary from the cache unit (DIMM7 or the non-volatile cache unit 120) having no necessary free area. Secure free space.
  • the own node 110 transmits the write target data (data according to the write request) to each of the two DIMMs 7 and the two nonvolatile cache units 120. Is written in the necessary free space (S603). That is, the quadruple write target data is written to two DIMMs 7 and two nonvolatile cache units 120, respectively.
  • the own node 110 updates the management table 300 (S604). Specifically, for example, for each of the quadruple write target data, the entry corresponding to the write target data includes the write destination global cache address (start address 301) and the write destination area size 302. And the same data management number 303 allocated to the quadruple write target data by the own node 110, the redundancy 304 ("4" in this case), the destage completion flag 305 "0", and the data valid A flag 306 “1” is written.
  • the own node 110 returns a write completion response to the host 101 (S605).
  • FIG. 7 shows a flow of area securing processing according to the first embodiment.
  • the own node 110 sets each of one or more areas (at least one of a clean area and a dirty area) as a free area for each of the one or more free and insufficient cache units.
  • the same data (redundant data) as the data in the area is stored, and an area in a cache part different from the cache part including the area is not set as an empty area. That is, in the area securing process according to the first embodiment, the area is set as an empty area only for each of the one or more empty deficient cache units.
  • S701 to S706 are performed for each of the one or more deficient cache units. In the following, one free and insufficient cache unit is taken as an example.
  • the own node 110 refers to the management table 300 and determines whether or not there is a clean area having a total size equal to or larger than ⁇ (size of I / O target data) ⁇ (total size of free area) ⁇ for each of the insufficient and insufficient cache units. Is determined (S701). Each of the clean areas of the total size is referred to as “target clean area” in the description of FIG.
  • the node 110 sets each target clean area as a free area, and subtracts 1 from the value of the redundancy 304 related to each target clean area (S702). Specifically, the node 110 changes the data valid flag 306 corresponding to the target clean area to “0” for each target clean area. As a result, each target clean area becomes a free area. Further, the own node 110 subtracts 1 from the value of the redundancy 304 in the entry corresponding to the target clean area for each target clean area, and the same data as the data management number 303 in the entry corresponding to the target clean area Also, 1 is subtracted from the value of the redundancy 304 in the entry holding the management number 303. That is, the value of the redundancy 304 is decremented by 1 for each of the data in the target clean area and its redundant data.
  • the own node 110 sets all the clean areas as vacant areas, and subtracts 1 from the value of the redundancy 304 related to each clean area (S703). . Specifically, for each clean area, the node 110 changes the data valid flag 306 corresponding to the clean area to “0”. As a result, each clean area becomes an empty area. In addition, for each clean area, the node 110 subtracts 1 from the value of the redundancy 304 in the entry corresponding to the clean area, and the same data management number 303 as the data management number 303 in the entry corresponding to the clean area. 1 is also subtracted from the value of the redundancy 304 in the entry holding.
  • the own node 110 refers to the management table 300 and identifies a dirty area having a total size equal to or larger than ⁇ (size of I / O target data) ⁇ (total size of free area) ⁇ (S704). Note that the “total size of free areas” in S704 is the sum of the “total size of free areas” in S701 and the total size of clean areas determined as free areas in S703.
  • the own node 110 destages the dirty data in each dirty area specified in S704 to the drive 15 according to the corresponding drive address 307 of the dirty data (S705).
  • the own node 110 sets each of all the dirty areas specified in S704 as a free area, and subtracts 1 from the value of the redundancy 304 related to each of all the dirty areas (S706). Specifically, the node 110 changes the data validity flag 306 corresponding to the dirty area to “0” for each dirty area. As a result, each dirty area becomes a free area. In addition, for each dirty area, the node 110 subtracts 1 from the value of the redundancy 304 in the entry corresponding to the dirty area, and the same data management number 303 as the data management number 303 in the entry corresponding to the dirty area. 1 is also subtracted from the value of the redundancy 304 in the entry holding. Further, the own node 110 changes the destage completion flag 305 corresponding to the dirty area to “0” for each dirty area.
  • Example 2 will be described. At that time, differences from the first embodiment will be mainly described, and description of common points with the first embodiment will be omitted or simplified.
  • FIG. 10 shows a flow of area securing processing according to the second embodiment.
  • the own node 110 sets each of one or more areas (at least one of a clean area and a dirty area) as a free area for each of the one or more free and insufficient cache units.
  • the same data (redundant data) as the data in the area that is set as an empty area is stored, and an area in a cache part different from the cache part including the area is also set as an empty area. That is, in the area securing process according to the first embodiment, the area is set as an empty area only for each of the one or more empty deficient cache units. As a result, all the redundant data associated with the data is treated as having been erased from the global cache 200.
  • an area securing process is performed for at least one cache unit.
  • the frequency can be reduced.
  • S1001 to S1006 are performed for each of the one or more deficient cache units.
  • one free and insufficient cache unit is taken as an example.
  • the own node 110 refers to the management table 300 and determines whether or not there is a clean area having a total size equal to or larger than ⁇ (size of I / O target data) ⁇ (total size of free area) ⁇ for each of the insufficient and insufficient cache units. Is determined (S1001). Each of the clean areas of the total size is referred to as “target clean area” in the description of FIG.
  • the node 110 sets, for each target clean area, each of the target clean area and all the redundant areas of the target clean area as free areas (S1002). ). Specifically, for each target clean area, the own node 110 changes the data valid flag 306 to “0” for each of the target clean area and all the redundant areas of the target clean area.
  • the “redundant area” of the target clean area is an area (an area in a different cache unit) corresponding to an entry holding the same data management number 303 as the data management number 303 in the entry corresponding to the target clean area. In other words, this is an area in which redundant data of data in the target clean area is stored.
  • the node 110 sets each clean area as an empty area (S1003). Specifically, for each clean area, the node 110 changes the data valid flag 306 corresponding to the clean area to “0”.
  • the own node 110 refers to the management table 300 and specifies a dirty area having a total size equal to or larger than ⁇ (size of I / O target data) ⁇ (total size of free area) ⁇ (S1004).
  • the “total size of free areas” in S1004 is the sum of the “total size of free areas” in S1001 and the total size of clean areas determined as free areas in S1003.
  • the own node 110 destages the dirty data for each dirty area identified in S1004 to the drive 15 according to the drive address 307 corresponding to the dirty data, and sets the destage completion flag 305 corresponding to the dirty area to “0”. (S1005).
  • the own node 110 sets each of the dirty area and all redundant areas of the dirty area as free areas for each of the dirty areas specified in S1004 (S1006). Specifically, for each dirty area, the own node 110 changes the data valid flag 306 to “0” for each of the dirty area and all the redundant areas of the dirty area.
  • the “redundant area” of the dirty area is an area (an area in a different cache unit) corresponding to an entry that holds the same data management number 303 as the data management number 303 in the entry corresponding to the dirty area. In other words, it is an area that stores redundant data of data in the dirty area.
  • the redundant area is a dirty area
  • the node 110 destages the dirty data in the dirty area to the drive 15 and changes the destage completion flag 305 corresponding to the dirty area to “0”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

複数のスイッチが用意される。複数のスイッチの各々に、複数のストレージノードに加えて、第１キャッシュ部が接続される。複数のストレージノードの各々は、第２キャッシュ部を有する。複数のストレージノードが認識するグローバルキャッシュに、各第１キャッシュ部及び各第２キャッシュ部がマッピングされる。自ノード（Ｉ／Ｏ要求を受信したストレージノード）は、Ｎ重化されたＩ／Ｏ対象データを（Ｎは２以上の整数）、それぞれＮ個のキャッシュ部に書き込む。Ｎ個のキャッシュ部は、少なくとも１つの第２キャッシュ部と少なくとも１つの第１キャッシュ部である。自ノードは、リード対象データが、自ノードの第２キャッシュ部に存在していないがいずれかの第１キャッシュ部に存在していれば、その第１キャッシュ部からリード対象データを読み出す。

Description

ストレージシステム及びキャッシュ制御方法
　本発明は、概して、ストレージシステムのキャッシュ制御に関する。
　スケールアウトのために複数のノードが用意されたストレージシステムが知られている。例えば、特許文献１では、システムが、複数のノードと、複数のノードが接続されたファブリックメモリコントローラとを有する。複数のノードが、それぞれ、複数のメモリ領域を有し、複数のメモリ領域がファブリックメモリコントローラによってグローバルメモリにマッピングされる。
特開2015-127949号公報
　自ノード（Ｉ／Ｏ（Input/Output）を行うノード）のメモリ領域に、Ｉ／Ｏ対象データが存在していれば、メモリ領域に対するリードアクセスのレイテンシは小さい。
　しかし、自ノードのメモリ領域にＩ／Ｏ対象データが無く、他ノードのメモリ領域にＩ／Ｏ対象データが存在していれば、メモリ領域に対するリードアクセスのレイテンシが大きくなってしまう。このため、システム全体の性能（例えば、Ｉ／Ｏ要求を受けてから応答するまでのレスポンス性能）が低下してしまうおそれがある。
　複数のスイッチ（例えばインターコネクトスイッチ）が用意される。複数のスイッチの各々に、複数のストレージノードに加えて、第１キャッシュ部が接続される。複数のストレージノードの各々は、第２キャッシュ部を有する。複数のストレージノードが認識するグローバルキャッシュに、各第１キャッシュ部及び各第２キャッシュ部がマッピングされる。自ノード（Ｉ／Ｏ要求を受信したストレージノード）は、Ｎ重化されたＩ／Ｏ対象データを（Ｎは２以上の整数）、それぞれＮ個のキャッシュ部に書き込む。Ｎ個のキャッシュ部は、少なくとも１つの第２キャッシュ部と少なくとも１つの第１キャッシュ部である。自ノードは、リード対象データが、自ノードの第２キャッシュ部に存在していないがいずれかの第１キャッシュ部に存在していれば、その第１キャッシュ部からリード対象データを読み出す。
　リード対象データが自ノードの第２キャッシュ部に存在していなくても、他のストレージノードの第２キャッシュ部にリードアクセスする必要が無い。このため、ストレージシステムの性能が向上する。
実施例１に係るストレージシステムの構成を示す。 グローバルキャッシュの構成を示す。 グローバルキャッシュ管理テーブルの構成を示す。 グローバルキャッシュ管理テーブルが格納される場所を示す。 リード処理のフローを示す。 ライト処理のフローを示す。 実施例１に係る領域確保処理のフローを示す。 第１の変形例を示す。 第２の変形例を示す。 実施例２に係る領域確保処理のフローを示す。 比較例を示す。
　以下の説明では、「インターフェース部」は、１以上のインターフェースを含む。１以上のインターフェースは、１以上の同種のインターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
　また、以下の説明では、「キャッシュ部」は、１以上のキャッシュメモリ領域を含む。「キャッシュメモリ領域」は、キャッシュメモリそれ自体であってもよいし、メモリに設けられたキャッシュメモリとしての領域であってもよい。
　また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
　また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及びインターフェース部のうちの少なくとも１つを用いながら行うため、処理の主語が、プロセッサ部（或いは、プロセッサ部を有する計算機又は計算機システム）とされてもよい。プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
　また、以下の説明では、同種の要素を区別して説明する場合は、その要素の参照符号を使用し（例えば、第１キャッシュ部１２０Ａ、第１キャッシュ部１２０Ｂ）、同種の要素を区別しないで説明する場合は、その要素の参照符号のうちの共通符号のみ使用する（例えば、第１キャッシュ部１２０）ことがある。
　また、以下の説明では、キャッシュ部における領域として、ダーティ領域、クリーン領域及び空き領域がある。「ダーティ領域」とは、少なくともダーティデータを格納している領域である。「ダーティデータ」とは、いずれの物理記憶デバイスにも格納されていないデータである。「クリーン領域」とは、クリーンデータを格納しておりダーティデータを格納していない領域である。「クリーンデータ」とは、いずれかの物理記憶デバイスに格納済のデータである。「空き領域」は、新たにデータの書込み先とすることができる領域、言い換えれば、データが存在しない又は無効なデータのみが格納されている領域である。
　図１は、実施例１に係るストレージシステムの構成を示す。
　ストレージシステム１００に、それぞれＩ／Ｏ要求を発行する１以上のホスト１０１に接続される。ストレージシステム１００は、Ｐ個のストレージノード１１０と（Ｐは２以上の整数）と、それぞれがＰ個のストレージノード（以下、ノード）１１０に接続されたＱ個のインターコネクトスイッチ（Ｑは２以上の整数）１３０と、Ｑ個のインターコネクトスイッチ１３０にそれぞれ接続されたＱ個の第１キャッシュ部１２０とを有する。Ｐ個のノード１１０の各々は、ホスト１０１に論理ボリュームを提供し、論理ボリュームの領域の論理アドレスを指定したＩ／Ｏ要求をホスト１０１から受信することができる。Ｐ個のノード１１０の各々は、１以上のホスト１０１のうちの少なくとも１つと複数のドライブ１５のうちの少なくとも１つとに接続される１以上のインターフェースであるインターフェース部と、第２キャッシュ部と、インターフェース部及び第２キャッシュ部に接続された１以上のプロセッサを含んだプロセッサ部とを有する。Ｑ個の第１キャッシュ部１２０と、Ｐ個のノード１１０がそれぞれ有するＰ個の第２キャッシュ部との各々は、１以上のキャッシュメモリ領域である。ストレージシステム１００には、ストレージ密結合アーキテクチャが採用されている。すなわち、Ｐ個のノード１１０の各々は、グローバルキャッシュを認識する。グローバルキャッシュは、Ｑ個の第１キャッシュ部１２０とＰ個の第２キャッシュ部とがマッピングされておりＰ個のノード１１０に共通のキャッシュアドレス空間である。このアーキテクチャによれば、各ノード１１０は、そのノード１１０の第２キャッシュ部へのアクセスと同様に、各第１キャッシュ部１２０や、他のノード１１０の第２キャッシュ部に、アクセスできる。Ｐ＝Ｑであってもよいし、Ｐ＞Ｑであってもよいし、Ｐ＜Ｑであってもよい。「ホスト」は、外部システムの一例であり、１以上のホスト計算機である。外部システムは、別のストレージシステム（例えば、コピー元又はコピー先）であってもよい。
　本実施例では、Ｐ＝４であり、Ｑ＝２である。インターフェース部の一例が、ホスト１０１との通信のためのフロントエンドインターフェース部と、１以上のドライブ１５（例えばＲＡＩＤ（Redundant Array of Independent (or Inexpensive) Disks）グループ）との通信のためのバックエンドインターフェース部とを含んでいる。フロントエンドインターフェース部の一例が、ＦＣ（Fibre Channel）－Ｉ／Ｆ６である（「Ｉ／Ｆ」はインターフェースデバイスの略）。バックエンドインターフェース部の一例が、ＳＡＳ（Serial Attached SCSI）－Ｉ／Ｆ５である。第２キャッシュ部の一例が、１以上の揮発メモリである。１以上の揮発メモリの一例が、ＤＩＭＭ（Dual Inline Memory Module）７である。ＤＩＭＭ７の全部又は一部が、キャッシュメモリ領域である。キャッシュメモリ領域とは、Ｉ／Ｏ対象データ（ホスト１０１からのＩ／Ｏ要求に従うデータ）が一時的に格納されるメモリ領域である。プロセッサ部の一例が、ＣＰＵ８である。ドライブ１５は、物理記憶デバイスの一例であり、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。インターコネクトスイッチ１３０は、ノード間のスイッチの一例であり、例えば、インフィニバンドスイッチ又はＰＣＩｅ（PCI-Express）スイッチである。インターコネクトスイッチ１３０Ａに第１キャッシュ部１２０Ａが接続されており、インターコネクトスイッチ１３０Ｂに第１キャッシュ部１２０Ｂが接続されている。
　図１によれば、４個のノード１１０Ａ～１１０Ｄを有する。４個のノード１１０Ａ～１１０Ｄの各々が、２個のインターコネクトスイッチ（２重化されたインターコネクトスイッチ）１３０Ａ及び１３０Ｂの各々に接続されている。ノード１１０Ｘ（Ｘ＝Ａ、Ｂ、Ｃ又はＤ）は、ＦＣ－Ｉ／Ｆ６Ｘａ及び６Ｘｂ、ＳＡＳ－Ｉ／Ｆ５Ｘａ及び５Ｘｂ、ＤＩＭＭ７Ｘａ及び７Ｘｂ、及び、ＣＰＵ８Ｘａ及び８Ｘａを有する。「ＦＣ－Ｉ／Ｆ６Ｘ」は、ＦＣ－Ｉ／Ｆ６Ｘａ及び６Ｘｂのうちの少なくとも１つを意味する。「ＳＡＳ－Ｉ／Ｆ５Ｘ」は、ＳＡＳ－Ｉ／Ｆ５Ｘａ及び５Ｘｂのうちの少なくとも１つを意味する。「ＤＩＭＭ７Ｘ」は、ＤＩＭＭ７Ｘａ及び７Ｘｂのうちの少なくとも１つを意味する。ＣＰＵ８Ｘは、「ＣＰＵ８Ｘａ及び８Ｘａ」のうちの少なくとも１つを意味する。
　いずれのノード１１０も、ホスト１０１からＩ／Ｏ要求を受信し得る。以下の説明では、Ｉ／Ｏ要求を受信したノードを、便宜上、「自ノード」と言うことがある。また、自ノードが有するＤＩＭＭを、「自ＤＩＭＭ」と言うことがある。
　例えば、ノード１１０が、リード要求を受信したとする。自ノード１１０は、そのリード要求に従うリード対象データがグローバルキャッシュに存在する場合、（ｘ１）～（ｘ３）を行うようになっている。
（ｘ１）リード対象データが、自ＤＩＭＭ７に存在していれば、自ＤＩＭＭ７からリード対象データを読み出す。
（ｘ２）リード対象データが、自ＤＩＭＭ７に存在していないがいずれかの第１キャッシュ部１２０に存在していれば、その第１キャッシュ部１２０からリード対象データを読み出す。
（ｘ３）リード対象データが、自ＤＩＭＭ７と第１キャッシュ部１２０Ａ及び１２０Ｂとのいずれにも存在しないが自ＤＩＭＭ７以外のいずれかのＤＩＭＭ７に存在していれば、そのＤＩＭＭ７からリード対象データを読み出す。
　そこで、自ノード１１０は、リード対象データがグローバルキャッシュに存在しない場合、又は、受信したＩ／Ｏ要求がライト要求の場合、Ｎ重化されたＩ／Ｏ対象データ（リード対象データ又はライト対象データ（ライト要求に従うデータ））を、それぞれＮ個のキャッシュ部に書き込む（Ｎは２以上の整数）。Ｎ個のキャッシュ部は、少なくとも１個のＤＩＭＭ７と、少なくとも１個の第１キャッシュ部１２０である。本実施例では、Ｎ＝４である。具体的には、自ノード（例えば１１０Ｃ）によりＤＩＭＭ（７Ａｂ及び７Ｂｂ）に書き込まれるＩ／Ｏ対象データ１０が２重化されており（破線矢印１５０Ａ及び１５０Ｂ参照）、自ノード１１０Ｃにより第１キャッシュ部１２０Ａ及び１２０Ｂに書き込まれるＩ／Ｏ対象データ１０も２重化されている（破線矢印１４０Ａ及び１４０Ｂ参照）。
　これにより、リード対象データが自ＤＩＭＭ７に存在していなくても、自ノード１１０は、他ノード１１０のＤＩＭＭ７にリードアクセスする必要が無い。
　すなわち、図１１の比較例によれば、２重化されたＩ／Ｏ対象データ８０が、２個のノード１１１０Ａ及び１１１０Ｂがそれぞれ有する２個のＤＩＭＭ７Ａｂ及び７Ｂｂに書き込まれるが、その後に、そのＩ／Ｏ対象データ８０のリード要求をいずれかのノード（例えば１１１０Ｄ）が受けた場合、自ノード１１１０Ｄは、自ＤＩＭＭ７ＤにＩ／Ｏ対象データが無ければ、他ノード１１１０のＤＩＭＭ７からＩ／Ｏ対象データを読み出さなければならない（実線矢印１１８０参照）。なお、図１１では、本実施例と異なるエレメントには異なる参照符号が振られている。例えば、そのようなエレメントとして、本実施例のようなキャッシュ制御を行わないＣＰＵ９Ｘ、ＣＰＵ９Ｘを有するノード１１１０Ｘ、ノード１１１０Ｘを有するストレージシステム１１００を挙げることができる（Ｘは、上述したように、Ａ、Ｂ、Ｃ又はＤである）。
　本実施例によれば、図１に示したように、少なくとも１つのＩ／Ｏ対象データが、少なくとも１個の第１キャッシュ部１２０（インターコネクトスイッチ１３０に直結のキャッシュ部）に書き込まれる。このため、例えばノード１１０Ｄが自ノードの場合、リード対象データ１０が自ＤＩＭＭ７Ｄに存在していなくても、自ノード１１０Ｄは第１キャッシュ部１２０Ｂにリードアクセスすればよく（実線矢印１９６参照）、他ノード１１０Ａ又は１１０ＢのＤＩＭＭ７Ａｂ又は７Ｂｂにリードアクセスする必要が無い。このため、ストレージシステム１００の性能が向上する。なお、Ｉ／Ｏ対象データの書込み先としてのＤＩＭＭ７（ノード１１０）は、１個であってもよいし（図８に示す変形例を参照）、３個以上（例えば全てのノード１１０の全てのＤＩＭＭ）であってもよい。データの書込み先のＤＩＭＭ７（ノード１１０）が多ければ、その後にそのデータをリード対象とするリード要求を受けたノード１１０のＤＩＭＭ７にリード対象データが存在する確率が高まる。データの書き込み先のＤＩＭＭ７の一例として、自ＤＩＭＭ７を採用することもできるし、そのデータの格納先ドライブ１５に接続されているノード１１０のＤＩＭＭ７を採用することもできる。
　さらに、本実施例では、各第１キャッシュ部１２０は、不揮発キャッシュ部である。以下、第１キャッシュ部１２０を「不揮発キャッシュ部１２０」と言う。不揮発キャッシュ部１２０は、１以上の不揮発メモリ領域であり、１以上の不揮発メモリ領域の一例が、２つの不揮発メモリ１３である。具体的には、不揮発キャッシュ部１２０Ａが、不揮発メモリ１３Ａａ及び１３Ａｂを有し、不揮発キャッシュ部１２０Ｂが、不揮発メモリ１３Ｂａ及び１３Ｂｂを有する。
　少なくとも１つのＩ／Ｏ対象データが少なくとも１個の不揮発キャッシュ部１２０に書き込まれる。これにより、各ノード１１０からキャッシュバックアップ資源を削減できる。「キャッシュバックアップ資源」とは、ＤＩＭＭ７におけるデータ（特に、ダーティデータ）のバックアップのための資源であり、例えば、バッテリ１と、ＳＳＤ（Solid State Drive）２である。ＳＳＤは、バックアップ先の不揮発メディアの一例である。バッテリ１の全体容量（例えば、１個のバッテリ１の容量とバッテリ１の数とのうちの少なくとも１つに従う容量）は、電断が生じてもＤＩＭＭ７内のデータをＳＳＤ２に退避するのに十分な容量である。
　図１１の比較例によれば、ノード１１１０Ｘ（Ｘ＝Ａ、Ｂ、Ｃ又はＤ）の各々において、キャッシュバックアップ資源として、バッテリ１Ｘａ及び１Ｘｂと、ＳＳＤ２Ｘとのいずれも必要とされる。
　しかし、本実施例では、少なくとも１つのＩ／Ｏ対象データの書込み先が少なくとも１個の不揮発キャッシュ部１２０のため、キャッシュバックアップ資源、図示の例によれば、破線枠で示すように、ノード１１０Ｘにおいて少なくとも１個のバッテリ１Ｘを削減できる。特に、本実施例では、Ｎ重化されたＩ／Ｏ対象データのうちの２重化されたＩ／Ｏ対象データが２個の不揮発キャッシュ部１２０Ａ及び１２０Ｂにそれぞれ書き込まれる。つまり、２重化された不揮発キャッシュ部１２０Ａ及び１２０ＢにおいてＩ／Ｏ対象データも２重化されている。故に、電断が生じてもＤＩＭＭ７Ｘ内のＩ／Ｏ対象データをバックアップしたりそのバックアップ先となるＳＳＤ２Ｘをノード１１０Ｘに搭載したりしておく必要が無い。なお、Ｉ／Ｏ対象データの書込み先としての不揮発キャッシュ部１２０は、１個であってもよい（図８に示す変形例を参照）。そのケースでは、Ｉ／Ｏ対象データを少なくとも２重化して保持するために、電断が生じたときには少なくとも１つのＩ／Ｏ対象データをバックアップする必要がある。故に、ノード１１０Ｘの各々において、実線枠で示すように、バッテリ１Ｘａ及びＳＳＤ２Ｘは必要である。しかし、バッテリ１Ｘａの全体容量とＳＳＤ２Ｘの記憶容量は、不揮発キャッシュ部１２０が無いケースに比べて削減することができる。
　第１ノード１１０（自ノード１１０）が第２ノード１１０（他ノード１１０）のＤＩＭＭ７にアクセスするためには、第２ノード１１０のＣＰＵ８を経由する必要があるが（例えば、第１ノード１１０が第２ノード１１０のＣＰＵ８に何らかの命令を出す必要があるが）、第１キャッシュ部１２０へのアクセスのためには、第１ノード１１０が他のＣＰＵ８を経由する必要が無い。この観点から、不揮発キャッシュ部１２０はインターコネクトスイッチ１３０に直結されていると表現することができる。
　図２は、グローバルキャッシュの構成を示す。具体的には、図２の左部分２１０が、グローバルキャッシュの構成を示す。図２の中央部分２２０が、ノード１１０のグローバルキャッシュの使用の一例を示す。図２の右部分２３０が、ノード１１０のグローバルキャッシュの使用の一例を示す。
　図２の左部分２１０に示すように、グローバルキャッシュ２００は、グローバルキャッシュアドレスのアドレス空間（ノード１１０Ａ～１１０Ｄに共通のアドレス空間）であり、そのアドレス空間は、自ノードアドレス範囲２０１と、Ｐ個のＤＩＭＭアドレス範囲２０２（本実施例では４個のＤＩＭＭアドレス範囲２０２Ａ～２０２Ｄ）と、Ｑ個の不揮発アドレス範囲２０３（本実施例では２個の不揮発アドレス範囲２０３Ａ及び２０３Ｂ）とで構成される。
　自ノードアドレス範囲２０１は、このグローバルキャッシュ２００を認識するノード１１０のＤＩＭＭ７が割り当てられたアドレス範囲である。自ノードアドレス範囲２０１は、ＤＩＭＭ７のアドレス範囲以外に、他種の範囲（図では“Others”）（例えば、Ｉ／Ｏの際に使用されるＩ／Ｏ範囲）を含んでもよい。
　各ＤＩＭＭアドレス範囲２０２は、ＤＩＭＭ７が割り当てられたアドレス範囲である。ＤＩＭＭアドレス範囲２０２Ａ～２０２Ｄのうちの１つは、このグローバルキャッシュ２００を認識するノード１１０のＤＩＭＭ７に対応している。このため、ＤＩＭＭアドレス範囲２０２Ａ～２０２Ｄのうちの１つは、自ノードアドレス範囲２０１に対応している。ＤＩＭＭアドレス範囲２０２Ａ～２０２Ｄのうちの１つと自ノードアドレス範囲２０１間ではデータがミラーリングされる。
　各不揮発アドレス範囲２０３は、不揮発キャッシュ部１２０が割り当てられたアドレス範囲である。不揮発キャッシュ部１２０は２つの不揮発メモリ１３であるため、各不揮発アドレス範囲２０３は、２つの不揮発メモリ１３にそれぞれ対応した２つのサブ不揮発アドレス範囲２４で構成される。具体的には、不揮発アドレス範囲２０３Ａは、２つのサブ不揮発アドレス範囲２４Ａａ及び２４Ａｂで構成され、不揮発アドレス範囲２０３Ｂは、２つのサブ不揮発アドレス範囲２４Ｂａ及び２４Ｂｂで構成される。
　本実施例において、Ｉ／Ｏ対象データは、典型的にはユーザデータであるが、制御データであってもよい。ユーザデータは、ホスト１０１（例えばホスト１０１のアプリケーション）が使用するデータである。制御データは、ストレージシステム１００の構成を表す構成情報（例えば、論理ボリュームとドライブ１５との関係、コピー元の論理ボリュームとコピー先の論理ボリュームとで構成されたペアの構成等）のうちの少なくとも一部である。自ノードアドレス範囲２０１、ＤＩＭＭアドレス範囲２０２及び不揮発アドレス範囲２０３の各々は、ユーザデータ用の範囲と制御データ用の範囲とに区切られていてもよい。
　図２の中央部分２２０によれば、Ｉ／Ｏ対象データ２８０が４重化されている。具体的には、４個のノード１１０Ａ～１１０Ｄのうちの２個のノード１１０Ａ及び１１０ＢのＤＩＭＭ７Ａ及び７Ｂに、それぞれ、２重化されたＩ／Ｏ対象データ２８０が格納されており、且つ、２個の不揮発キャッシュ部１２０Ａ及び１２０Ｂに、それぞれ、２重化されたＩ／Ｏ対象データ２８０が格納されている。
　図２の中央部分２２０によれば、自ＤＩＭＭ７Ａ（自ノードアドレス範囲２０１）にＩ／Ｏ対象データがあるので、自ノード１１０Ａは、太線矢印で示すように、自ＤＩＭＭ７ＡからＩ／Ｏ対象データ２８０を読み出す。
　一方、図２の右側部分によれば、自ＤＩＭＭ７ＡにＩ／Ｏ対象データがないがいずれかの不揮発キャッシュ部１２０にＩ／Ｏ対象データがあるので、自ノード１１０Ａは、太線矢印で示すように、いずれかの不揮発キャッシュ部１２０Ｂ（不揮発アドレス範囲２０３Ｂ）からＩ／Ｏ対象データを読み出す。
　図３は、グローバルキャッシュ管理テーブルの構成を示す。
　グローバルキャッシュ管理テーブル（以下、管理テーブル）３００は、グローバルキャッシュ２００に存在するデータ毎にエントリ（レコード）を有する。各エントリは、開始アドレス３０１、領域サイズ３０２、データ管理番号３０３、冗長度３０４、デステージ完了フラグ３０５、データ有効フラグ３０６及び対応ドライブアドレス３０７を格納する。以下、１つのデータを例に取る。
　開始アドレス３０１が、データが格納されている領域（アドレス範囲）の先頭アドレスを表す。なお、アドレスは、グローバルなキャッシュアドレス（ノード１１０に共通のキャッシュアドレス）である。アドレスにおける所定桁の値（例えば数値又は記号）から、そのアドレスが属する領域が、いずれのＤＩＭＭ７又はいずれの不揮発メモリ１３に存在するかがわかる。アドレスがＤＩＭＭ７に対応している場合、そのアドレスの所定桁は、その対応するＤＩＭＭ７を有するノード１１０の番号でよい。ノード１１０は、そのノード１１０の番号を、例えば、機械的な設定（例えば、ノード１１０に設けられたボタンの設定）、又は、図示しない管理端末からの設定等により知ることができる。
　領域サイズ３０２は、データが格納されている領域のサイズを表す。データ管理番号３０３は、データに割り振られた番号である。グローバルキャッシュ２００には、最大４つの同一のデータが存在するが、同一のデータには、同一のデータ管理番号３０３が割り振られている。データ管理番号３０３が同一のデータに対応する対応ドライブアドレス３０７も同一である。従って、データ管理番号３０３のカラムが無くてもよい。対応ドライブアドレス３０７のカラムから、グローバルキャッシュ２００における同一のデータを特定することができる。
　冗長度３０４は、データの冗長度、すなわち、同一のデータの数（冗長化されたデータの数）を表す。従って、本実施例では、冗長度３０４の最大値は“４”である。
　デステージ完了フラグ３０５は、データがデステージ済みか否か（データがドライブ１５に格納済か否か）を表す。デステージ完了フラグ３０５について、“１”は、デステージ済みを意味し、“０”は、デステージが済んでいないを意味する。データ有効フラグ３０６は、データが有効か否かを表す。データ有効フラグ３０６について、“１”は、有効を意味し、“０”は、無効を意味する。デステージ完了フラグ３０５の値とデータ有効フラグ３０６の値の組合せから、データが格納されている領域の種類（空き、ダーティ及びクリーンのいずれであるか）を特定することができる。具体的には、データ有効フラグ３０６が“０”ならば、領域は、空き領域である。データ有効フラグ３０６が“１”且つデステージ完了フラグ３０５が“０”ならば、領域は、ダーティ領域である。データ有効フラグ３０６が“１”且つデステージ完了フラグ３０５が“１”ならば、領域は、クリーン領域である。
　対応ドライブアドレス３０７が、データの格納先のドライブアドレスを表す。ドライブアドレスは、ドライブ１５のアドレスであるが、それに代えて、ドライブ１５が基になっている論理空間（例えば論理ボリューム）のアドレスでもよい。なお、全てのデータが、必ずしもドライブ１５に格納される必要は無く、ドライブ１５に格納されないデータについては、対応ドライブアドレスは所定値（例えば“‐”）でよい。
　図３に示す管理テーブル３００において、ユーザデータについては、デステージ完了フラグ３０５及びデータ有効フラグ３０６の各々について有効な値（“１”又は“０”）が設定されてよく、制御データについては、デステージ完了フラグ３０５及びデータ有効フラグ３０６の各々について無効な値（例えば“-”）が設定されてよい。
　管理テーブル３００は、例えば、図４に示すように、不揮発キャッシュ部１２０Ａ及び１２０Ｂの各々に格納される（管理テーブル３００は２重化されている）。全てのノード１１０が、同じ領域（不揮発キャッシュ部１２０における領域であって管理テーブル３００が格納されている領域）を参照又は更新する。図４によれば、ノード１１０間での同期が不要である。
　変形例として、図９に示すように、マスタ管理テーブル３００Ｍ（管理テーブル３００のマスタ）が、不揮発キャッシュ部１２０Ａ及び１２０Ｂに配置され、コピー管理テーブル３００Ｃ（マスタのコピー）が、各ノード１１０のＤＩＭＭ７に配置されてもよい。各ノード１１０は、そのノード１１０のＤＩＭＭ７内の管理テーブル３００Ｃを参照又は更新し、管理テーブル３００Ｃを更新した場合、更新後の管理テーブル３００Ｃを、管理テーブル３００Ｍに反映してもよい。図９によれば、各ノード１１０の参照先となる管理テーブル３００Ｃは、そのノード１１０のＤＩＭＭ７にあるので、管理テーブル３００の参照処理時間が短くて済む。
　以下、本実施例で行われる処理の一例を説明する。
　図５は、リード処理のフローを示す。リード処理は、いずれかのノード１１０がリード要求をホスト１０１から受信した場合に開始される。以下、図５、図７及び図１０の説明において、リード要求を受信したノード１１０を「自ノード１１０」と言う。自ノード１１０（自ノード１１０のＣＰＵ８）によりリード処理が行われる。リード要求には論理アドレス（典型的には、リード元の論理ボリュームにおける論理領域の論理アドレス）が指定されている。
　自ノード１１０は、管理テーブル３００を参照し、リード要求に従うリード対象データがグローバルキャッシュ２００に存在するか否かを判断する（Ｓ５０１）。リード要求で指定されている論理アドレス（又はその論理アドレスを基に特定されるドライブアドレス）に関連付けられているグローバルキャッシュアドレスが特定されれば、リード対象データがグローバルキャッシュ２００に存在するということである。
　Ｓ５０１の判断結果が真の場合（Ｓ５０１：Ｙｅｓ）、自ノード１１０は、リード対象データが自ＤＩＭＭ７に存在するか否かを判断する（Ｓ５０２）。Ｓ５０１で特定されたグローバルキャッシュアドレスが、自ノードアドレス範囲２０１、又は、自ノード１１０のＤＩＭＭアドレス範囲２０２に属していれば、リード対象データが自ＤＩＭＭ７に存在するということである。
　Ｓ５０２の判断結果が真の場合（Ｓ５０２：Ｙｅｓ）、自ノード１１０は、自ＤＩＭＭ７からリード対象データを読み出し、読み出したリード対象データをホスト１０１に返す（Ｓ５０３）。
　Ｓ５０２の判断結果が偽の場合（Ｓ５０２：Ｎｏ）、自ノード１１０は、リード対象データがいずれかの不揮発キャッシュ部１２０に存在するか否かを判断する（Ｓ５０４）。Ｓ５０１で特定されたグローバルキャッシュアドレスが、いずれかの不揮発アドレス範囲２０３に属していれば、リード対象データがいずれかの不揮発キャッシュ部１２０に存在するということである。
　Ｓ５０４の判断結果が真の場合（Ｓ５０４：Ｙｅｓ）、自ノード１１０は、いずれかの不揮発キャッシュ部１２０（不揮発メモリ１３）からリード対象データを読み出し、読み出したリード対象データをホスト１０１に返す（Ｓ５０５）。
　Ｓ５０４の判断結果が偽の場合（Ｓ５０４：Ｎｏ）、自ノード１１０は、Ｓ５０１で特定されたグローバルキャッシュアドレスが属するアドレス範囲、すなわち、他ノード１１０のＤＩＭＭ７からリード対象データを読み出し、読み出したリード対象データをホスト１０１に返す（Ｓ５０６）。
　Ｓ５０１の判断結果が偽の場合（Ｓ５０１：Ｎｏ）、自ノード１１０は、管理テーブル３００を参照し、ステージング（ドライブ１５からのリード対象データの読出し）に必要な空き領域がグローバルキャッシュ２００にあるか否かを判断する（Ｓ５０７）。いずれか２個のＤＩＭＭ７（例えば、少なくとも自ノード１１０のＤＩＭＭ７を含む）と２個の不揮発キャッシュ部１２０の各々に必要な空き領域がある場合、必要な空き領域がグローバルキャッシュ２００にあるということである。一方、いずれか２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０のうちの少なくとも１つに、必要な空き領域が無い場合、必要な空き領域がグローバルキャッシュ２００に無いということである。「必要な空き領域」とは、Ｉ／Ｏ対象データ（リード処理ではリード対象データのサイズであり、後述のライト処理ではライト対象データ）のサイズ以上のサイズの空き領域である。Ｓ５０７では、いずれか２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０の各々について、空き領域の合計サイズ（具体的には、データ有効フラグ３０６が“０”に対応した領域の領域サイズ３０２の合計）がＩ／Ｏ対象データのサイズ以上か否かが判断される。
　Ｓ５０７の判断結果が偽の場合（Ｓ５０７：Ｎｏ）、自ノード１１０は、領域確保処理（Ｓ５０８）を実行する。「領域確保処理」とは、１以上の空き不足キャッシュ部（ＤＩＭＭ７及び不揮発キャッシュ部１２０のうちの少なくとも１つ）の各々について、その空き不足キャッシュ部から必要な空き領域を確保する処理である。具体的には、領域確保処理は、１以上の空き不足キャッシュ部の各々について、１以上のクリーン領域と１以上のダーティ領域とのうちの１以上の領域の各々を空き領域とすることで、必要な空き領域（Ｉ／Ｏ対象データのサイズ以上の空き領域）を確保する処理である。「空き不足キャッシュ部」は、必要な空き領域の無いキャッシュ部である。
　Ｓ５０７の判断結果が真の場合（Ｓ５０７：Ｙｅｓ）、又は、Ｓ５０８の後、自ノード１１０は、リード対象データをドライブ１５から読み出し、読み出したリード対象データを、２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０の各々における必要な空き領域に書き込み、且つ、そのリード対象データをホスト１０１に返す（Ｓ５０９）。つまり、Ｓ５０９では、４重化されたリード対象データが、２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０にそれぞれ書き込まれる。また、Ｓ５０９でホスト１０１に返されるリード対象データは、自ノード１１０のＤＩＭＭ７に書き込まれた（キャッシュされた）リード対象データでよい。
　図６は、ライト処理のフローを示す。ライト処理は、いずれかのノード１１０がライト要求をホスト１０１から受信した場合に開始される。以下、図６、図７及び図１０の説明において、ライト要求を受信したノード１１０を「自ノード１１０」と言う。自ノード１１０（自ノード１１０のＣＰＵ８）によりライト処理が行われる。ライト要求には論理アドレス（典型的には、ライト先の論理ボリュームにおける論理領域の論理アドレス）が指定されている。
　自ノード１１０は、管理テーブル３００を参照し、必要な空き領域がグローバルキャッシュ２００にあるか否かを判断する（Ｓ６０１）。いずれか２個のＤＩＭＭ７（例えば、少なくとも自ノード１１０のＤＩＭＭ７を含む）と２個の不揮発キャッシュ部１２０の各々に必要な空き領域がある場合、必要な空き領域がグローバルキャッシュ２００にあるということである。一方、いずれか２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０のうちの少なくとも１つに、必要な空き領域が無い場合、必要な空き領域がグローバルキャッシュ２００に無いということである。Ｓ６０１では、いずれか２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０の各々について、空き領域の合計サイズ（具体的には、データ有効フラグ３０６が“０”に対応した領域の領域サイズ３０２の合計）がＩ／Ｏ対象データのサイズ以上か否かが判断される。
　Ｓ６０１の判断結果が偽の場合（Ｓ６０１：Ｎｏ）、自ノード１１０は、領域確保処理（Ｓ６０２）を実行することで、必要な空き領域の無いキャッシュ部（ＤＩＭＭ７又は不揮発キャッシュ部１２０）から、必要な空き領域を確保する。
　Ｓ６０１の判断結果が真の場合（Ｓ６０１：Ｙｅｓ）、又は、Ｓ６０２の後、自ノード１１０は、ライト対象データ（ライト要求に従うデータ）を、２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０の各々における必要な空き領域に書き込む（Ｓ６０３）。つまり、４重化されたライト対象データが、２個のＤＩＭＭ７と２個の不揮発キャッシュ部１２０にそれぞれ書き込まれる。
　自ノード１１０は、管理テーブル３００を更新する（Ｓ６０４）。具体的には、例えば、４重化されたライト対象データの各々について、そのライト対象データに対応するエントリに、書込み先のグローバルキャッシュアドレス（開始アドレス３０１）と、書込み先の領域の領域サイズ３０２と、４重化されたライト対象データに自ノード１１０により割り振られた同一のデータ管理番号３０３と、冗長度３０４（ここでは“４”）と、デステージ完了フラグ３０５“０”と、データ有効フラグ３０６“１”とが書き込まれる。
　自ノード１１０は、ライト完了の応答をホスト１０１に返す（Ｓ６０５）。
　図７は、実施例１に係る領域確保処理のフローを示す。
　実施例１に係る領域確保処理では、自ノード１１０は、１以上の空き不足キャッシュ部の各々について、１以上の領域（クリーン領域及びダーティ領域のうちの少なくとも１つ）の各々を空き領域とするが、その領域内のデータと同じデータ（冗長化されたデータ）を格納しておりその領域を含んだキャッシュ部と異なるキャッシュ部における領域を空き領域としない。つまり、実施例１に係る領域確保処理では、１以上の空き不足キャッシュ部の各々についてのみ、領域が空き領域とされる。これにより、少なくとも１つのデータは、そのデータの冗長度３０４が下がるものの、グローバルキャッシュ２００に残り続けるので、レスポンス性能の低下を軽減することができる。領域確保処理では、１以上の空き不足キャッシュ部の各々について、Ｓ７０１～Ｓ７０６が行われる。以下、１つの空き不足キャッシュ部を例に取る。
　自ノード１１０は、管理テーブル３００を参照し、各空き不足キャッシュ部について、｛（Ｉ／Ｏ対象データのサイズ）－（空き領域の合計サイズ）｝以上の合計サイズのクリーン領域があるか否かを判断する（Ｓ７０１）。その合計サイズのクリーン領域の各々を、図７の説明において、「対象クリーン領域」と言う。
　Ｓ７０１の判断結果が真の場合（Ｓ７０１：Ｙｅｓ）、自ノード１１０は、各対象クリーン領域を空き領域とし、且つ、各対象クリーン領域に関連する冗長度３０４の値を１減算する（Ｓ７０２）。具体的には、自ノード１１０は、各対象クリーン領域について、その対象クリーン領域に対応したデータ有効フラグ３０６を“０”に変更する。この結果、各対象クリーン領域が空き領域となる。また、自ノード１１０は、各対象クリーン領域について、その対象クリーン領域に対応したエントリにおける冗長度３０４の値から１減算し、且つ、その対象クリーン領域に対応したエントリにおけるデータ管理番号３０３と同じデータ管理番号３０３を保持するエントリにおける冗長度３０４の値からも１減算する。つまり、対象クリーン領域内のデータとそれの冗長化データとの各々について、冗長度３０４の値が１減算される。
　Ｓ７０１の判断結果が偽の場合（Ｓ７０１：Ｎｏ）、自ノード１１０は、全てのクリーン領域の各々を空き領域とし、且つ、各クリーン領域に関連する冗長度３０４の値を１減算する（Ｓ７０３）。具体的には、自ノード１１０は、各クリーン領域について、そのクリーン領域に対応したデータ有効フラグ３０６を“０”に変更する。この結果、各クリーン領域が空き領域となる。また、自ノード１１０は、各クリーン領域について、そのクリーン領域に対応したエントリにおける冗長度３０４の値から１減算し、且つ、そのクリーン領域に対応したエントリにおけるデータ管理番号３０３と同じデータ管理番号３０３を保持するエントリにおける冗長度３０４の値からも１減算する。
　自ノード１１０は、管理テーブル３００を参照し、｛（Ｉ／Ｏ対象データのサイズ）－（空き領域の合計サイズ）｝以上の合計サイズのダーティ領域を特定する（Ｓ７０４）。なお、このＳ７０４での「空き領域の合計サイズ」は、Ｓ７０１での「空き領域の合計サイズ」と、Ｓ７０３で空き領域とされたクリーン領域の合計サイズとの合計である。
　自ノード１１０は、Ｓ７０４で特定した各ダーティ領域内のダーティデータを、そのダーティデータの対応ドライブアドレス３０７に従うドライブ１５にデステージする（Ｓ７０５）。
　自ノード１１０は、Ｓ７０４で特定した全てのダーティ領域の各々を空き領域とし、且つ、全てのダーティ領域の各々に関連する冗長度３０４の値を１減算する（Ｓ７０６）。具体的には、自ノード１１０は、各ダーティ領域について、そのダーティ領域に対応したデータ有効フラグ３０６を“０”に変更する。この結果、各ダーティ領域が空き領域となる。また、自ノード１１０は、各ダーティ領域について、そのダーティ領域に対応したエントリにおける冗長度３０４の値から１減算し、且つ、そのダーティ領域に対応したエントリにおけるデータ管理番号３０３と同じデータ管理番号３０３を保持するエントリにおける冗長度３０４の値からも１減算する。更に、自ノード１１０は、各ダーティ領域について、そのダーティ領域に対応したデステージ完了フラグ３０５を“０”に変更する。
　実施例２を説明する。その際、実施例１との相違点を主に説明し、実施例１との共通点については説明を省略又は簡略する。
　図１０は、実施例２に係る領域確保処理のフローを示す。
　実施例２に係る領域確保処理では、自ノード１１０は、１以上の空き不足キャッシュ部の各々について、１以上の領域（クリーン領域及びダーティ領域のうちの少なくとも１つ）の各々を空き領域とするだけでなく、空き領域とされる領域内のデータと同じデータ（冗長化されたデータ）を格納しておりその領域を含んだキャッシュ部と異なるキャッシュ部における領域も空き領域とする。つまり、実施例１に係る領域確保処理では、１以上の空き不足キャッシュ部の各々についてのみ、領域が空き領域とされる。これにより、データに付随してそれの全ての冗長化データがグローバルキャッシュ２００から消去されたものとして扱われるが、キャッシュ部の空き領域が増えるので、少なくとも１つのキャッシュ部について領域確保処理が行われる頻度を軽減することができる。領域確保処理では、１以上の空き不足キャッシュ部の各々について、Ｓ１００１～Ｓ１００６が行われる。以下、１つの空き不足キャッシュ部を例に取る。
　自ノード１１０は、管理テーブル３００を参照し、各空き不足キャッシュ部について、｛（Ｉ／Ｏ対象データのサイズ）－（空き領域の合計サイズ）｝以上の合計サイズのクリーン領域があるか否かを判断する（Ｓ１００１）。その合計サイズのクリーン領域の各々を、図１０の説明において、「対象クリーン領域」と言う。
　Ｓ１００１の判断結果が真の場合（Ｓ１００１：Ｙｅｓ）、自ノード１１０は、各対象クリーン領域について、その対象クリーン領域と、その対象クリーン領域の全ての冗長領域との各々を空き領域とする（Ｓ１００２）。具体的には、自ノード１１０は、対象クリーン領域毎に、その対象クリーン領域と、その対象クリーン領域の全ての冗長領域との各々について、データ有効フラグ３０６を“０”に変更する。なお、対象クリーン領域の「冗長領域」とは、その対象クリーン領域に対応したエントリにおけるデータ管理番号３０３と同じデータ管理番号３０３を保持するエントリに対応した領域（異なるキャッシュ部における領域）である。言い換えれば、対象クリーン領域内のデータの冗長化データを記憶している領域である。
　Ｓ１００１の判断結果が偽の場合（Ｓ１００１：Ｎｏ）、自ノード１１０は、全てのクリーン領域の各々を空き領域とする（Ｓ１００３）。具体的には、自ノード１１０は、各クリーン領域について、そのクリーン領域に対応したデータ有効フラグ３０６を“０”に変更する。
　自ノード１１０は、管理テーブル３００を参照し、｛（Ｉ／Ｏ対象データのサイズ）－（空き領域の合計サイズ）｝以上の合計サイズのダーティ領域を特定する（Ｓ１００４）。なお、このＳ１００４での「空き領域の合計サイズ」は、Ｓ１００１での「空き領域の合計サイズ」と、Ｓ１００３で空き領域とされたクリーン領域の合計サイズとの合計である。
　自ノード１１０は、Ｓ１００４で特定した各ダーティ領域について、ダーティデータを、そのダーティデータの対応ドライブアドレス３０７に従うドライブ１５にデステージし、且つ、そのダーティ領域に対応したデステージ完了フラグ３０５を“０”に変更する（Ｓ１００５）。
　自ノード１１０は、Ｓ１００４で特定した全てのダーティ領域の各々について、そのダーティ領域と、そのダーティ領域の全ての冗長領域との各々を空き領域とする（Ｓ１００６）。具体的には、自ノード１１０は、ダーティ領域毎に、そのダーティ領域と、そのダーティ領域の全ての冗長領域との各々について、データ有効フラグ３０６を“０”に変更する。なお、ダーティ領域の「冗長領域」とは、そのダーティ領域に対応したエントリにおけるデータ管理番号３０３と同じデータ管理番号３０３を保持するエントリに対応した領域（異なるキャッシュ部における領域）である。言い換えれば、ダーティ領域内のデータの冗長化データを記憶している領域である。冗長領域がダーティ領域の場合、自ノード１１０は、そのダーティ領域内のダーティデータをドライブ１５にデステージし、且つ、そのダーティ領域に対応したデステージ完了フラグ３０５を“０”に変更する。
　以上、幾つかの実施例及び変形例を説明したが、本発明は、これらの実施例及び変形例に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
１００：ストレージシステム

Claims (15)

  1. 　それぞれＩ／Ｏ（Input/Output）要求を発行する１以上の外部システムに接続されるストレージシステムであって、
    　Ｐ個のストレージノードと（Ｐは２以上の整数）、
    　それぞれが前記Ｐ個のストレージノードに接続されたＱ個のスイッチと（Ｑは２以上の整数）、
    　前記Ｑ個のスイッチにそれぞれ接続されたＱ個の第１キャッシュ部と
    を有し、
    　前記Ｐ個のストレージノードの各々は、
    　　前記１以上の外部システムのうちの少なくとも１つと複数の物理記憶デバイスのうちの少なくとも１つとに接続される１以上のインターフェースであるインターフェース部と、
    　　第２キャッシュ部と、
    　　前記インターフェース部及び前記第２キャッシュ部に接続された１以上のプロセッサを含んだプロセッサ部と
    を有し、
    　前記Ｑ個の第１キャッシュ部と、前記Ｐ個のストレージノードがそれぞれ有するＰ個の第２キャッシュ部との各々は、１以上のキャッシュメモリ領域であり、
    　前記Ｐ個のストレージノードの各々は、グローバルキャッシュを認識し、
    　前記グローバルキャッシュは、前記Ｑ個の第１キャッシュ部と前記Ｐ個の第２キャッシュ部とがマッピングされており前記Ｐ個のストレージノードに共通のキャッシュアドレス空間であり、
    　前記Ｐ個のストレージノードのうちのいずれかのストレージノードがＩ／Ｏ要求を受信した場合、そのストレージノードである自ノードは、
    　（Ｘ）前記受信したＩ／Ｏ要求がリード要求であり、且つ、前記リード要求に従うリード対象データが前記グローバルキャッシュに存在する場合、
    　　（ｘ１）前記リード対象データが、前記自ノードの第２キャッシュ部に存在していれば、前記自ノードの第２キャッシュ部から前記リード対象データを読み出し、
    　　（ｘ２）前記リード対象データが、前記自ノードの第２キャッシュ部に存在していないが前記Ｑ個の第１キャッシュ部のうちの１以上の第１キャッシュ部に存在していれば、前記１以上の第１キャッシュ部のいずれかから前記リード対象データを読み出し、
    　　（ｘ３）前記リード対象データが、前記自ノードの第２キャッシュ部と前記Ｑ個の第１キャッシュ部とのいずれにも存在しないが前記自ノードの第２キャッシュ部以外の１以上の第２キャッシュ部に存在していれば、前記１以上の第２キャッシュ部のいずれかから前記リード対象データを読み出し、
    　（Ｙ）前記リード対象データが前記グローバルキャッシュに存在しない場合、又は、前記受信したＩ／Ｏ要求がライト要求の場合、
    　　（ｙ１）それぞれが前記リード要求に従うリード対象データ又は前記ライト要求に従うライト対象データであるＮ重化されたＩ／Ｏ対象データを（Ｎは２以上の整数）、それぞれＮ個のキャッシュ部に書き込み、
    　前記Ｎ個のキャッシュ部は、前記Ｐ個の第２キャッシュ部のうちの少なくとも１つの第２キャッシュ部と、前記Ｑ個の第１キャッシュ部のうちの少なくとも１つの第１キャッシュ部である、
    ストレージシステム。
  2. 　前記Ｑ個の第１キャッシュ部の各々が有する１以上のキャッシュメモリ領域は、１以上の不揮発メモリに存在する、
    請求項１記載のストレージシステム。
  3. 　前記Ｎ個のキャッシュ部において、前記少なくとも１つの第１キャッシュ部は、Ｋ個の第１キャッシュ部である（Ｋは、２以上且つＱ以下の整数）、
    請求項２記載のストレージシステム。
  4. 　前記Ｎ個のキャッシュ部において、前記少なくとも１つの第２キャッシュ部は、前記Ｐ個の第２キャッシュ部のうちの２以上の第２キャッシュ部である、
    請求項３記載のストレージシステム。
  5. 　（Ｙ）において、それぞれが前記Ｉ／Ｏ対象データのサイズ未満の空き領域を有するキャッシュ部である１以上の空き不足キャッシュ部が前記Ｎ個のキャッシュ部にあれば、前記自ノードは、領域確保処理を実行し、
    　前記領域確保処理は、前記１以上の空き不足キャッシュ部の各々について、その空き不足キャッシュ部における１以上のクリーン領域と１以上のダーティ領域とのうちの１以上の領域の各々を空き領域とすることで前記Ｉ／Ｏ対象データのサイズ以上の合計サイズの空き領域を確保する処理であり、
    　前記１以上のダーティ領域の各々は、いずれの物理記憶デバイスにも格納されていないデータであるダーティデータを格納している領域であり、
    　前記１以上のクリーン領域の各々は、いずれかの物理記憶デバイスに格納済のデータであるクリーンデータを格納しており前記ダーティデータを格納していない領域である、
    請求項４記載のストレージシステム。
  6. 　前記自ノードは、前記領域確保処理において、前記１以上の空き不足キャッシュ部の各々について、前記１以上の領域の各々を空き領域とするが、空き領域とされる領域内のデータの冗長化されたデータを格納しておりその領域を含んだキャッシュ部と異なるキャッシュ部における領域を空き領域としない、
    請求項５記載のストレージシステム。
  7. 　前記自ノードは、前記領域確保処理において、前記１以上の空き不足キャッシュ部の各々について、前記１以上の領域の各々を空き領域とするだけでなく、空き領域とされる領域内のデータの冗長化されたデータを格納しておりその領域を含んだキャッシュ部と異なるキャッシュ部における領域も空き領域とする、
    請求項５記載のストレージシステム。
  8. 　（Ｙ）において、それぞれが前記Ｉ／Ｏ対象データのサイズ未満の空き領域を有するキャッシュ部である１以上の空き不足キャッシュ部が前記Ｎ個のキャッシュ部にあれば、前記自ノードは、領域確保処理を実行し、
    　前記領域確保処理は、前記１以上の空き不足キャッシュ部の各々について、その空き不足キャッシュ部における１以上のクリーン領域と１以上のダーティ領域とのうちの１以上の領域の各々を空き領域とすることで前記Ｉ／Ｏ対象データのサイズ以上の合計サイズの空き領域を確保する処理であり、
    　前記１以上のダーティ領域の各々は、いずれの物理記憶デバイスにも格納されていないデータであるダーティデータを格納している領域であり、
    　前記１以上のクリーン領域の各々は、いずれかの物理記憶デバイスに格納済のデータであるクリーンデータを格納しており前記ダーティデータを格納していない領域である、
    請求項１記載のストレージシステム。
  9. 　前記自ノードは、前記領域確保処理において、前記１以上の空き不足キャッシュ部の各々について、前記１以上の領域の各々を空き領域とするが、空き領域とされる領域内のデータの冗長化されたデータを格納しておりその領域を含んだキャッシュ部と異なるキャッシュ部における領域を空き領域としない、
    請求項８記載のストレージシステム。
  10. 　前記自ノードは、前記領域確保処理において、前記１以上の空き不足キャッシュ部の各々について、前記１以上の領域の各々を空き領域とするだけでなく、空き領域とされる領域内のデータの冗長化されたデータを格納しておりその領域を含んだキャッシュ部と異なるキャッシュ部における領域も空き領域とする、
    請求項８記載のストレージシステム。
  11. 　前記Ｑ個の第１キャッシュ部のうちの２以上の第１キャッシュ部の各々が、前記グローバルキャッシュの構成を表す情報である管理情報を記憶する、
    請求項１記載のストレージシステム。
  12. 　前記Ｐ個のストレージノードの各々は、前記２以上の第１キャッシュ部のうちの少なくとも１つにおける前記管理情報を参照又は更新する、
    請求項１１記載のストレージシステム。
  13. 　前記Ｐ個のストレージノードの各々は、
    　　前記２以上の第１キャッシュ部のうちの少なくとも１つにおける前記管理情報の複製を、そのストレージノードの前記第２キャッシュ部に格納し、
    　　そのストレージノードの前記第２キャッシュ部における、前記管理情報の複製を参照又は更新し、
    　　更新後の前記管理情報の複製を、前記２以上の第１キャッシュ部の各々における前記管理情報に反映する、
    請求項１１記載のストレージシステム。
  14. 　前記Ｑ個のスイッチの各々は、インターコネクトスイッチである、
    請求項１記載のストレージシステム。
  15. 　それぞれＩ／Ｏ（Input/Output）要求を発行する１以上の外部システムに接続されるストレージシステムのキャッシュ制御方法であって、
    　前記ストレージシステムは、
    　　Ｐ個のストレージノードと（Ｐは２以上の整数）、
    　　それぞれが前記Ｐ個のストレージノードに接続されたＱ個のスイッチと（Ｑは２以上の整数）、
    　　前記Ｑ個のスイッチにそれぞれ接続されたＱ個の第１キャッシュ部と
    を有し、
    　前記Ｐ個のストレージノードの各々は、
    　　前記１以上の外部システムのうちの少なくとも１つと複数の物理記憶デバイスのうちの少なくとも１つとに接続される１以上のインターフェースであるインターフェース部と、
    　　第２キャッシュ部と、
    　　前記インターフェース部及び前記第２キャッシュ部に接続された１以上のプロセッサを含んだプロセッサ部と
    を有し、
    　前記Ｑ個の第１キャッシュ部と、前記Ｐ個のストレージノードがそれぞれ有するＰ個の第２キャッシュ部との各々は、１以上のキャッシュメモリ領域を含み、
    　前記Ｐ個のストレージノードの各々は、グローバルキャッシュを認識しており、
    　前記グローバルキャッシュは、前記Ｑ個の第１キャッシュ部と前記Ｐ個の第２キャッシュ部とがマッピングされており前記Ｐ個のストレージノードに共通のキャッシュアドレス空間であり、
    　前記キャッシュ制御方法は、
    　　前記Ｐ個のストレージノードのうちのいずれかのストレージノードがＩ／Ｏ要求を受信した場合、そのストレージノードである自ノードにより、
    　　（Ｘ）前記受信したＩ／Ｏ要求がリード要求であり、且つ、前記リード要求に従うリード対象データが前記グローバルキャッシュに存在する場合、
    　　　　（ｘ１）前記リード対象データが、前記自ノードの第２キャッシュ部に存在していれば、前記自ノードの第２キャッシュ部から前記リード対象データを読み出し、
    　　　　（ｘ２）前記リード対象データが、前記自ノードの第２キャッシュ部に存在していないが前記Ｑ個の第１キャッシュ部のうちの１以上の第１キャッシュ部に存在していれば、前記１以上の第１キャッシュ部のいずれかから前記リード対象データを読み出し、
    　　　　（ｘ３）前記リード対象データが、前記自ノードの第２キャッシュ部と前記Ｑ個の第１キャッシュ部とのいずれにも存在しないが前記自ノードの第２キャッシュ部以外の１以上の第２キャッシュ部に存在していれば、前記１以上の第２キャッシュ部のいずれかから前記リード対象データを読み出し、
    　　（Ｙ）前記リード対象データが前記グローバルキャッシュに存在しない場合、又は、前記受信したＩ／Ｏ要求がライト要求の場合、
    　　　　（ｙ１）それぞれが前記リード要求に従うリード対象データ又は前記ライト要求に従うライト対象データであるＮ重化されたＩ／Ｏ対象データを（Ｎは２以上の整数）、それぞれ、Ｎ個のキャッシュ部に書き込み、
    　前記Ｎ個のキャッシュ部は、前記Ｐ個の第２キャッシュ部のうちの少なくとも１つの第２キャッシュ部と、前記Ｑ個の第１キャッシュ部のうちの少なくとも１つの第１キャッシュ部である、
    キャッシュ制御方法。
PCT/JP2016/053371 2016-02-04 2016-02-04 ストレージシステム及びキャッシュ制御方法 WO2017134795A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/053371 WO2017134795A1 (ja) 2016-02-04 2016-02-04 ストレージシステム及びキャッシュ制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/053371 WO2017134795A1 (ja) 2016-02-04 2016-02-04 ストレージシステム及びキャッシュ制御方法

Publications (1)

Publication Number Publication Date
WO2017134795A1 true WO2017134795A1 (ja) 2017-08-10

Family

ID=59499574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053371 WO2017134795A1 (ja) 2016-02-04 2016-02-04 ストレージシステム及びキャッシュ制御方法

Country Status (1)

Country Link
WO (1) WO2017134795A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367461A (zh) * 2018-12-25 2020-07-03 北京兆易创新科技股份有限公司 一种存储空间管理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044421A (ja) * 2001-07-26 2003-02-14 Fujitsu Ltd 仮想ストレージシステム及び同システムに使用されるスイッチングノード
JP2006221526A (ja) * 2005-02-14 2006-08-24 Hitachi Ltd ストレージ制御装置
JP2013164660A (ja) * 2012-02-09 2013-08-22 Nec Corp ストレージ装置
JP2015127949A (ja) * 2013-12-27 2015-07-09 インテル・コーポレーション 支援型コヒーレント共有メモリ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044421A (ja) * 2001-07-26 2003-02-14 Fujitsu Ltd 仮想ストレージシステム及び同システムに使用されるスイッチングノード
JP2006221526A (ja) * 2005-02-14 2006-08-24 Hitachi Ltd ストレージ制御装置
JP2013164660A (ja) * 2012-02-09 2013-08-22 Nec Corp ストレージ装置
JP2015127949A (ja) * 2013-12-27 2015-07-09 インテル・コーポレーション 支援型コヒーレント共有メモリ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367461A (zh) * 2018-12-25 2020-07-03 北京兆易创新科技股份有限公司 一种存储空间管理方法及装置
CN111367461B (zh) * 2018-12-25 2024-02-20 兆易创新科技集团股份有限公司 一种存储空间管理方法及装置

Similar Documents

Publication Publication Date Title
US8938574B2 (en) Methods and systems using solid-state drives as storage controller cache memory
US9037671B2 (en) System and method for simple scale-out storage clusters
US11860672B2 (en) Method for supporting erasure code data protection with embedded PCIE switch inside FPGA+SSD
CN102209103B (zh) 向多个存储控制器多播写请求
US9824041B2 (en) Dual access memory mapped data structure memory
US9047200B2 (en) Dynamic redundancy mapping of cache data in flash-based caching systems
US20160085460A1 (en) Optimized read access to shared data via monitoring of mirroring operations
US7743209B2 (en) Storage system for virtualizing control memory
JP2009043030A (ja) ストレージシステム
JP2009116783A (ja) 障害の発生した記憶装置に記憶されているデータを修復するストレージシステム
US10303396B1 (en) Optimizations to avoid intersocket links
US6842829B1 (en) Method and apparatus to manage independent memory systems as a shared volume
US11543989B2 (en) Storage system and control method thereof
JP6294569B2 (ja) ストレージシステム及びキャッシュ制御方法
US20200210099A1 (en) Storage system
US20240231646A1 (en) Storage System and Method Using Persistent Memory
US9740423B2 (en) Computer system
US20180307427A1 (en) Storage control apparatus and storage control method
US20210271393A1 (en) Method and apparatus for performing data access management of all flash array server
WO2015141219A1 (ja) ストレージシステム、制御装置、記憶装置、データアクセス方法及びプログラム記録媒体
EP4293493A1 (en) Systems and methods for a redundant array of independent disks (raid) using a raid circuit in cache coherent interconnect storage devices
WO2017134795A1 (ja) ストレージシステム及びキャッシュ制御方法
US8140800B2 (en) Storage apparatus
WO2016006108A1 (ja) ストレージおよびその制御方法
US20240095196A1 (en) Method for supporting erasure code data protection with embedded pcie switch inside fpga+ssd

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16889281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP