WO2018150561A1 - ストレージシステム及び記憶制御方法 - Google Patents

ストレージシステム及び記憶制御方法 Download PDF

Info

Publication number
WO2018150561A1
WO2018150561A1 PCT/JP2017/006034 JP2017006034W WO2018150561A1 WO 2018150561 A1 WO2018150561 A1 WO 2018150561A1 JP 2017006034 W JP2017006034 W JP 2017006034W WO 2018150561 A1 WO2018150561 A1 WO 2018150561A1
Authority
WO
WIPO (PCT)
Prior art keywords
capacity
nonvolatile memory
memory devices
user
fmpk
Prior art date
Application number
PCT/JP2017/006034
Other languages
English (en)
French (fr)
Inventor
直哉 町田
繁雄 本間
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2019500143A priority Critical patent/JP6681512B2/ja
Priority to PCT/JP2017/006034 priority patent/WO2018150561A1/ja
Priority to US16/328,145 priority patent/US10838855B2/en
Priority to CN201780071169.8A priority patent/CN109964210B/zh
Publication of WO2018150561A1 publication Critical patent/WO2018150561A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/08—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers from or to individual record carriers, e.g. punched card, memory card, integrated circuit [IC] card or smart card
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1032—Reliability improvement, data loss prevention, degraded operation etc
    • G06F2212/1036—Life time enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/50—Control mechanisms for virtual memory, cache or TLB
    • G06F2212/502—Control mechanisms for virtual memory, cache or TLB using adaptive policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7202—Allocation control and policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7208—Multiple device management, e.g. distributing data over multiple flash devices

Definitions

  • the present invention relates generally to storage control, for example, to changing the capacity of a spare area for over-provisioning.
  • the flash memory is generally write-once, that is, in order to rewrite data, it is necessary to erase the data from the area storing the data.
  • a flash memory has an upper limit on the number of data rewrites (in other words, the number of erases). If the flash memory exceeds this upper limit, new data cannot be written or the probability that an error will occur in the written data increases. The period until the number of times the flash memory is rewritten reaches the upper limit is called the “lifetime” of the flash memory. Therefore, FMPK (Flash Memory Package) composed of a plurality of flash memories also has a lifetime.
  • Patent Document 1 discloses a technique in which the total storage capacity of a RAID group is defined as the sum of usable capacity and surplus capacity, and the size of the surplus capacity is changed according to the frequency of rewriting to a logical volume.
  • the storage system has various uses. For example, a storage system that stores data with low rewrite frequency (mainly read) reduces the update area (spare area) and expands the user area (data storage area). Thus, the bit cost can be reduced.
  • the FMPK update area is increased more than necessary, the FMPK user area becomes small, and the amount of data that can be written is small.
  • Such a problem is not limited to a flash memory device such as FMPK, but may also be applied to other write-once nonvolatile memory devices.
  • An object of the present invention is to achieve both maintenance of host I / O performance and reduction of bit cost.
  • the storage system includes one or more nonvolatile memory devices and a processor unit that is one or more processors connected to the one or more nonvolatile memory devices.
  • a processor unit that is one or more processors connected to the one or more nonvolatile memory devices.
  • For each of the one or more nonvolatile memory devices at least a part of the nonvolatile memory includes a user area that is a storage area in which data is written and an update area that is a storage area in which update data of the data is written.
  • the processor unit changes the user capacity, which is the capacity of the user area, for each of the one or more nonvolatile memory devices based on at least one of the one or more resource usage rates of the one or more nonvolatile memory devices.
  • Maintaining a user capacity (in other words, an update capacity that is the capacity of the update area) that is optimal for the operating status of one or more nonvolatile memory devices during operation of the storage system, resulting in maintaining host I / O performance. It can be expected to maintain compatibility with the reduction in bit cost.
  • Example 1 The outline
  • the structural example of a storage system is shown.
  • the structure of FMPK is shown.
  • the structure of an FM chip is shown.
  • 2 shows a memory configuration of a storage controller.
  • the structure of the table stored in the table area of a storage controller is shown.
  • 2 shows a memory configuration of an FMPK controller.
  • region of a FMPK controller is shown. It is a sequence diagram of processing performed in response to a write request. It is a flowchart of the process which FMPK which receives a write command performs. It is a flowchart of the process which FMPK which receives a regular process command performs.
  • FIG. 11 is a sequence diagram of processing performed in response to the storage controller receiving an alert.
  • the structure of an expansion / reduction determination table is shown. An example of the relationship between the performance of write processing and the performance of asynchronous processing is shown. An example of a setting screen is shown. An example of a prediction screen is shown. An example of the relationship between the user capacity transition and performance transition in Example 2 is shown.
  • each table may be described using the expression “abc table”, but the information may be expressed using a data configuration other than the table.
  • At least one of the “abc tables” can be referred to as “abc information” to indicate that it does not depend on the data configuration.
  • the configuration of each table is an example, and one table may be divided into two or more tables, or all or part of the two or more tables may be a single table. Good.
  • the “interface unit” includes one or more interfaces.
  • the one or more interfaces may be one or more similar interface devices (for example, one or more NIC (Network Interface Card)) or two or more different interface devices (for example, NIC and HBA (Host Bus Adapter)). There may be.
  • NIC Network Interface Card
  • HBA Home Bus Adapter
  • the “storage unit” includes one or more memories.
  • the at least one memory for the storage unit may be a volatile memory.
  • the storage unit is mainly used during processing by the processor unit.
  • the “processor unit” includes one or more processors.
  • the at least one processor is typically a microprocessor such as a CPU (Central Processing Unit).
  • Each of the one or more processors may be a single core or a multi-core.
  • the processor may include a hardware circuit that performs part or all of the processing.
  • the process may be described using “program” as a subject.
  • the program is executed by the processor unit, so that the determined process is appropriately performed by a storage unit (for example, a memory) and / or Alternatively, since the processing is performed using an interface unit (for example, a communication port), the subject of processing may be a processor.
  • the processing described with the program as the subject may be processing performed by the processor unit or a device having the processor unit.
  • the processor unit may include a hardware circuit (for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit)) that performs part or all of the processing.
  • the program may be installed in a computer-like device from a program source.
  • the program source may be, for example, a recording medium (for example, a non-transitory recording medium) that can be read by a program distribution server or a computer.
  • a recording medium for example, a non-transitory recording medium
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • the “storage system” may be one or more storage devices.
  • the “storage device” may be any device having a function of storing data in the storage device.
  • the storage device may be a computer (for example, a general-purpose computer) such as a file server.
  • at least one physical storage device may execute a virtual computer (for example, VM (Virtual Machine)), or may execute SDx (Software-Defined anything).
  • SDx for example, SDS (Software Defined Storage) (an example of a virtual storage device) or SDDC (Software-defined Datacenter) can be adopted.
  • at least one storage device (computer) may have a hypervisor.
  • the hypervisor may generate a server VM (Virtual Machine) that operates as a server and a storage VM that operates as a storage.
  • the server VM may operate as a host computer that issues an I / O request
  • the storage VM may operate as a storage controller that performs I / O for FMPK in response to an I / O request from the server VM.
  • time is expressed in units of year / month / day / hour / hour / minute / second, but the time unit may be coarser or finer than that, or may be a different unit.
  • FIG. 1 shows an outline of the first embodiment.
  • the storage system 104 includes a parity group (hereinafter referred to as PG) 810 and a storage controller 111 that controls I / O (Input / Output) for the PG 810.
  • PG parity group
  • I / O Input / Output
  • the PG 810 is composed of a plurality of FMPK (Flash Memory Package) 131, and is also called a RAID (Redundant Array Of Data Independent (or Inexpensive) Disks) group.
  • FMPK Flash Memory Package
  • RAID Redundant Array Of Data Independent (or Inexpensive) Disks
  • Each FMPK 131 has FM (flash memory) and a plurality of resources including a plurality of types of resources (for example, a processor and a memory).
  • FM resources for each FMPK 131, resources other than FM are collectively referred to as “FM resources”.
  • the FM has a user area 801U and an update area 801P.
  • the user area 801U is a storage area in which data (for example, new file data) is written.
  • the update area 801P is a storage area in which update data of the data (for example, file update data) is written.
  • the capacity of the user area 801U is referred to as “user capacity”
  • the capacity of the update area 801P is referred to as “update capacity”.
  • the FM may include an area other than the user area 801U and the update area 801P.
  • each FMPK 131 the total of the user capacity and the update capacity is constant. For this reason, if the user capacity increases, the update capacity decreases, and if the user capacity decreases, the update capacity increases.
  • the update area 801P of the FMPK 131 is reduced more than necessary, the execution frequency of asynchronous processing increases depending on the total amount of update data written to the FMPK 131. For this reason, the host I / O performance of the storage system 104 (the performance of processing for performing I / O to the FMPK 131 in response to an I / O request from the host computer 101) is degraded. On the other hand, if the update area 801P of the FMPK 131 is increased more than necessary, the user area 801U of the FMPK 131 becomes small, so that the amount of data that can be written is small.
  • the storage controller 111 identifies at least one of the plurality of FM resource usage rates of the plurality of FMPKs 131 configuring the PG 810, and determines the user capacity for each of the plurality of FMPKs 131 based on the identified FM resource usage rate. To change.
  • the change of the user capacity is either expansion (increase) of the user capacity or reduction (decrease) of the user capacity.
  • the change in user capacity is a change in OP (Over provisioning) rate.
  • the OP rate is a ratio determined based on at least two of the user capacity, the update capacity, and the physical capacity (the total of the user capacity and the update capacity), and becomes a smaller value as the user capacity is larger.
  • OP rate (update capacity) / (user capacity) is employed as a calculation formula for the OP rate. Therefore, the expansion of the user capacity is to reduce the OP rate, and the reduction of the user capacity is to increase the OP rate.
  • OP rate ((physical capacity) / (user capacity)) ⁇ 1 may be adopted.
  • the appropriate update capacity for each FMPK 131 in the PG 810 may change depending on the I / O status of the PG 810.
  • the OP rate of each FMPK131 is the same.
  • At least a part of the logical storage space based on the PG user area (a set of a plurality of user areas 801U included in the plurality of FMPKs 131 in PG 810) is used as a logical volume.
  • the storage controller 111 changes the OP rate of each FMPK 131 in units of PG.
  • FIG. 2 shows the configuration of the storage system 104.
  • a request from the host computer 101 to the storage system 104 is referred to as “request”, and a request from the storage controller 111 to the FMPK 131 is referred to as “command”.
  • the host computer 101 and the management computer 102 are connected to the storage system 104.
  • the host computer 101 is connected to the storage system 104 through a communication network such as a SAN (Storage Area Network) 103, for example.
  • the management computer 102 is connected to the storage system 104 through, for example, a predetermined communication line 15 (or a communication network such as a LAN (Local Area Network)).
  • the host computer 101 writes data to the storage system 104 by sending a write request to the storage system 104.
  • the host computer 101 reads data from the storage system 104 by transmitting a read request to the storage system 104.
  • the host computer 101 may be an example of an issuer of an I / O request (write request or read request).
  • the issuer of the I / O request may be, for example, a server VM in a storage system that executes the above-described server VM and storage VM.
  • the management computer 102 is a device for the user to manage and control the storage system 104.
  • the management computer 102 may include an input device such as a keyboard and a mouse and an output device such as a display device.
  • the storage system 104 includes a storage controller 111 and a drive box 112.
  • the drive box 112 includes a plurality of FMPKs 131.
  • the storage controller 111 includes an HI / F (interface) 121, a processor 123, a memory 124, a DI / F 122, and an MI / F 125. These elements 121 to 125 can transmit and receive data. Are connected by an internal network 126.
  • the HI / F 121, the DI / F 122, and the MI / F 125 are examples of the interface unit.
  • the memory 124 is an example of a storage unit.
  • the processor 123 is an example of a processor unit.
  • the HI / F 121 is an I / F for connecting the host computer 101 to the storage controller 111.
  • the M-I / F 125 is an I / F for connecting the management computer 102 to the storage controller 111.
  • the DI / F 126 is an I / F for connecting the FMPK 131 to the storage controller 111.
  • the processor 123 executes a computer program (hereinafter referred to as a program) and the like.
  • a program a computer program
  • Various functions of the storage system 104 are realized by the processor executing the program.
  • the memory 124 stores data.
  • the memory 124 is a volatile semiconductor memory such as a DRAM (Dynamic Random Access Memory), but may be a non-volatile semiconductor memory such as a flash memory. Programs and data stored in the memory 124 are accessed from the processor 123, the HI / F 121, the DI / F 122, and the like.
  • FIG. 3 shows the configuration of the FMPK 131.
  • the FMPK 131 includes an FM 220 and an FMPK controller 50 connected to the FM 220.
  • the FM 220 includes a plurality of FM (flash memory) chips 202.
  • the FMPK controller 50 includes a processor 214, a memory 212, an FMPK I / F 211, and an FM chip I / F 213. These elements 211 to 214 are connected by an internal network 215 capable of transmitting and receiving data, and can transmit and receive data bidirectionally.
  • the bus 58 connecting the memory 212 to the internal network 215 will be referred to as a “cache bus 58”.
  • the processor 214 executes a program and the like. Various functions provided in the FMPK 131 are realized by the processor 214 executing the program.
  • the memory 212 stores data.
  • the memory is, for example, a volatile semiconductor memory such as a DRAM, but may be a non-volatile semiconductor memory such as a flash memory.
  • Programs and data stored in the memory 212 are accessed from the processor 214, the FMPK I / F 211, the FM chip I / F 213, and the like.
  • the FMPK I / F 211 is an I / F for connecting the FMPK 131 to the storage controller 111.
  • the FM chip I / F 213 is an I / F for connecting the FM chip 202 to the FMPK controller 50 (processor).
  • the bus 59 for connecting the FM chip 202 to the FM chip I / F 213 will be referred to as an “FM bus 59”.
  • the above-described elements 211 to 215, 58 and 59 are a plurality of FM resources, respectively.
  • FIG. 4 shows the configuration of the FM chip 202.
  • the FM chip 202 is, for example, a NAND type FM chip, and includes an FM controller 301 and a plurality of blocks (physical blocks) 302.
  • the block 302 is composed of a plurality of pages (physical pages) 303.
  • the FM chip 202 needs to read and write data in units of pages because of its characteristics.
  • the FM chip 202 needs to erase data in units of blocks due to its characteristics.
  • the FM chip 202 cannot overwrite data on a write-once type, that is, a written page 303. Therefore, when the FMPK controller 50 receives a write command with the logical address to which the physical address of the written page 303 is assigned as the write destination, the FMPK controller 50 uses the update data (overwrite data) according to the write command as an unused page. Then, the physical address of the page 303 is assigned to the logical address of the write destination instead of the physical address of the written page 303.
  • the host system of the FMPK 131 is the storage controller 111 in this embodiment, but is not limited thereto. That is, the host system may be a computer with the FMPK 131 externally attached in the storage system, or a processor in the computer having the FMPK 131 built therein.
  • the FMPK controller 50 provides a logical storage space (for example, a continuous logical address space) to the host system.
  • the logical storage space may be divided into a plurality of logical areas.
  • the logical storage space may be composed of a plurality of logical blocks, and each logical block may be composed of a plurality of logical pages.
  • a logical block or logical page may be an example of a logical area.
  • the logical area may be rephrased as a logical address range (for example, one or more consecutive logical addresses).
  • the FMPK controller 50 manages the correspondence between logical addresses and physical addresses.
  • the FMPK controller 50 identifies the physical area to which the physical address corresponding to the logical address specified by the I / O command from the higher system belongs, and performs I / O on the identified physical area.
  • the logical address is, for example, LBA (Logical Block Address), but may be a logical area ID (for example, a logical page number) instead of or in addition to the LBA.
  • the physical address is, for example, PBA (Physical Block Address), but may be a physical area ID (for example, physical page number) instead of or in addition to PBA.
  • Update data is written to the allocated page 303.
  • the data written in the recently allocated page 303 (that is, the latest data) is “valid data”, and the page 303 in which valid data is written is “valid page”.
  • the data stored in the allocated page 303 is “invalid data”, and the page 303 in which invalid data is written is “invalid page”.
  • a page that can store new data without being a valid page or an invalid page is an “empty page”.
  • non-FM non-volatile memory such as PRAM (Phase-change Random Access Memory), MRAM (Magnetoresistive Random Access Memory), ReRAM (Resistive Random Access Memory) or FeRAM (Ferroelectric Random Access Memory) is adopted. May be.
  • PRAM Phase-change Random Access Memory
  • MRAM Magneticoresistive Random Access Memory
  • ReRAM Resistive Random Access Memory
  • FeRAM Feroelectric Random Access Memory
  • FIG. 5 shows the configuration of the memory 124 of the storage controller 111.
  • the memory 124 includes a program area 401, a table area 402, and a data cache area 403.
  • the program area 401 stores a program, for example, a storage control program 411 that controls the operation of the storage controller 111.
  • the program is executed by the processor 123.
  • the storage control program 411 executes processing for writing data to the FMPK 131 in accordance with a write request from the host computer 101.
  • the storage control program 411 executes a process of reading data from the FMPK 131 and returning it to the host computer 101 in accordance with a read request from the host computer 101.
  • the table area 402 stores tables, for example, a drive management table 421, a pool management table 422, a virtual volume management table 423, a PG management table 424, an individual drive management table 425, and an expansion / reduction determination table 426. To do. These tables will be described in detail later.
  • the data cache area 403 temporarily stores user data 431.
  • the user data 431 is data according to the I / O request (specifically, data to be written or read).
  • FIG. 6 shows a configuration of a table stored in the table area 402 of the storage controller 111. As shown in FIG. 6, the configuration of the expansion / reduction determination table 426 is shown in FIG.
  • the drive management table 421 holds information related to the drive (FMPK 131 in this embodiment).
  • the drive management table 421 has an entry for each drive. Each entry holds information such as a drive number 501, a drive type 502, and a physical capacity 503.
  • the drive number 501 is a drive identification number.
  • the drive type 502 indicates the type of drive.
  • a physical capacity 503 indicates the physical capacity of the drive.
  • the pool management table 422 holds information regarding the pool.
  • the pool management table 422 has an entry for each pool. Each entry holds information such as a pool number 511 and a PG number 512.
  • the pool number 511 is a pool identification number.
  • the PG number 512 is an identification number of a PG that provides a pool volume in the pool.
  • the pool is a storage space composed of logical volumes based on the PG user area of PG 810.
  • a logical volume constituting a pool is called a “pool volume”.
  • the pool (pool volume) is divided into a plurality of segments (hereinafter, physical segments). A physical segment is allocated from the pool associated with the virtual volume to the write destination virtual segment in the virtual volume (for example, a virtual logical volume according to Thin Provisioning).
  • the PG management table 424 holds information related to PG.
  • the PG management table 424 has an entry for each PG. Each entry holds information such as a PG number 521, a RAID level 522, a RAID configuration 523, a drive list 524, a policy 525, an OP rate 526, and a PG capacity 527.
  • the PG number 521 is a PG identification number.
  • the RAID level 522 indicates a RAID level.
  • a RAID configuration 523 indicates a RAID configuration.
  • the RAID type is defined by the RAID level and the RAID configuration.
  • the drive list 524 is a list of identification numbers of drives constituting the PG.
  • a policy 525 indicates a policy associated with the PG. Policies include capacity priority and performance priority.
  • the OP rate 526 indicates the OP rate adopted for PG.
  • the PG capacity 527 is a total of a plurality of physical capacities respectively corresponding to the plurality of FMPKs 131 constituting the PG. From the PG capacity 527 and the OP rate 526, the capacity of the PG user area is calculated.
  • the drive individual management table 425 exists for each drive.
  • the individual drive management table 425 holds information such as a drive number 531, an LBA (Logical Block Address) 532, and a length 533 for each drive area.
  • the drive number 531 is an identification number of a drive having a drive area.
  • LBA 532 indicates the top LBA of the drive area.
  • the length 533 indicates the size of the drive area.
  • the virtual volume management table 423 holds information regarding virtual volumes.
  • the virtual volume management table 423 has an entry for each virtual volume. Each entry holds information such as a volume number 541, a pool number 542, and a capacity 543.
  • the volume number 541 is a virtual volume identification number.
  • the pool number 542 is an identification number of the pool associated with the virtual volume.
  • the capacity 543 indicates the capacity of the virtual volume.
  • the expansion / reduction determination table 426 shows the relationship between the FM resource usage rate, the asynchronous processing performance, and the result of expansion / reduction determination as described later. That is, in this embodiment, the change in the OP rate is based on the asynchronous processing performance in addition to the FM resource usage rate.
  • the OP rate (the size of the update capacity) affects the frequency of asynchronous processing. For this reason, by changing the OP rate based on the asynchronous processing performance in addition to the FM resource usage rate, it can be further expected that the optimum OP rate is maintained during the operation of the storage system 104.
  • An example of the relationship between the performance of write processing (processing performed in response to a write command) and the performance of asynchronous processing is as shown in FIG.
  • the write processing will be performed even if the performance (load) of asynchronous processing increases. The performance does not decrease. However, if there is no margin in the performance of the FMPK 131, the performance of the write processing decreases when the performance of asynchronous processing increases.
  • N usage rate ranges as FM resource usage rate ranges (hereinafter referred to as usage rate ranges), and there are M performance ranges as asynchronous processing performance ranges (hereinafter referred to as performance ranges).
  • the first usage rate range (less than the usage rate X (X is, for example, 10%)
  • the second usage rate range (more than the usage rate X, and less than the usage rate Y (Y is, for example, 50%))
  • the usage rate range is compared with the highest (worst) FM resource usage rate among a plurality of types of FM resource usage rates (memory 723 to cache bandwidth 727).
  • the highest (worst) FM resource usage rate is considered to be a bottleneck in the FMPK 131, and such FM resource usage rate is taken into consideration, so that the possibility of optimizing the OP rate in PG units can be increased.
  • the performance range includes a first performance range (less than performance A), a second performance range (performance A or more and less than performance B), and a third performance range (performance B or more).
  • H, M, and L mean high, medium, and low, respectively.
  • the result of the expansion / reduction possibility determination tends to be “expandable”.
  • the FM resource usage rate and the asynchronous processing performance are sufficient, if the user area becomes large, further reduction in bit cost can be expected, and the frequency of asynchronous processing may increase. It is expected.
  • the FM resource usage rate is high and the asynchronous processing performance is low, the result of the expansion / reduction determination is likely to be “reducible”. That is, when there is no room for both the FM resource usage rate and the asynchronous processing performance, if the update area becomes large, the occurrence frequency of asynchronous processing is expected to decrease.
  • the expansion / reduction determination is performed.
  • the result is extensible.
  • the FM resource usage rate is equal to or higher than the usage rate Y (an example of the second usage rate) and the asynchronous processing performance is equal to or higher than the performance B (an example of the second processing performance)
  • the result of the expansion / reduction determination is It can be reduced.
  • determination result includes “impossible” (both expansion and reduction are not possible) in addition to “expandable” and “reducible”.
  • the boundary value of at least one performance range that is, at least one of the performances A and B differs depending on the policy, that is, whether capacity priority or performance priority is adopted.
  • Capacity priority means giving priority to a large user capacity over a high write processing performance.
  • Perfectance priority means that priority is given to high performance of write processing over large user capacity. At least one of the performances A and B is higher when capacity priority is adopted than when performance priority is adopted. For this reason, even if the asynchronous processing performance is the same, the result of the extension / reduction determination may be different depending on the policy.
  • asynchronous processing performance is 30 KIOPS
  • degeneration is possible with performance priority (that is, improvement of write processing performance is prioritized by lowering asynchronous processing performance), and expansion is possible with capacity priority (that is, Even if asynchronous processing performance is high, priority is given to a large user capacity).
  • FIG. 7 shows the configuration of the memory 212 of the FMPK controller 50.
  • the memory 212 includes a program area 601, a table area 602, and a data cache area 603.
  • the program area 601 stores a program, for example, an FMPK control program 611 that controls the operation of the FMPK controller 50.
  • the program is executed by the processor 214.
  • the FMPK control program 611 specifies a write destination physical page based on the logical-physical conversion table 621, and stores data in the FM chip 202 having the specified write destination physical page.
  • the FMPK control program 611 specifies a read source physical page based on the logical-physical conversion table 621 in response to a read command from the storage controller 111, and the FM chip 202 having the specified read source physical page. Read data from.
  • the table area 602 stores tables such as a logical physical conversion table 621, an FM resource management table 622, a page management table 623, an OP rate management table 624, and an asynchronous performance management table 625. These tables will be described in detail later.
  • the data cache area 603 temporarily stores user data 631.
  • User data 631 is data (data to be written or read) in accordance with an I / O command from the storage controller 111.
  • FIG. 8 shows a configuration of a table stored in the table area 602 of the FMPK controller 50.
  • the FMPK 131 having the table area 602 shown in FIG. 8 is referred to as “target FMPK 131”.
  • the OP rate management table 624 holds information regarding the OP rate of the target FMPK 131, specifically, the OP rate 701 and the user capacity 702.
  • the OP rate 701 indicates the determined OP rate.
  • a user capacity 702 indicates the user capacity of the target FMPK 131.
  • the user capacity 702 is calculated based on the physical capacity and the OP rate of the target FMPK 131.
  • the FM resource management table 622 holds information related to the FM resource usage rate of the target FMPK 131.
  • the FM resource management table 622 has an entry for each period. Each entry holds information such as ID 721, time 722, memory 723, CPU 724, bus bandwidth 725, cache usage rate 726, and cache bandwidth 727.
  • ID 721 is a period ID.
  • Time 722 represents the start time of the period.
  • the memory 723 indicates the memory usage rate (usage rate of the memory 212) specified in the period.
  • the CPU 724 indicates the processor usage rate (usage rate of the processor 214) specified in the period.
  • the bus band 725 indicates the bus band specified in the period (the band of the FM bus 59).
  • the cache usage rate 726 indicates the cache usage rate specified during the period (the usage rate of the data cache area 403).
  • the cache bandwidth 727 indicates the cache bandwidth specified in the period (the bandwidth of the cache bus 58).
  • the period is a certain period (for example, 30 minutes).
  • Each of the memory 723 to the cache bandwidth 727 is an example of an FM resource rate.
  • the value registered in the table 622 is a value according to at least one of the specified FM resource rates, for example, an average value, or The highest (worst) FM resource rate. Further, the FM resource usage rate registered in the table 624 may be one type.
  • the asynchronous performance management table 625 holds information related to the performance of asynchronous processing of the target FMPK 131 (for example, the number of I / Os per unit time or the data transfer size per unit time).
  • the asynchronous performance management table 625 has an entry for each period. Each entry holds information such as ID 711, time 712, reclamation 713, and refresh 714.
  • ID 711 is a period ID.
  • Time 712 represents the start time of the period.
  • Reclamation 713 indicates the reclamation processing performance specified in the period.
  • the refresh 714 indicates the performance of the refresh process specified in the period.
  • Each of the reclamation process and the refresh process is an example of an asynchronous process.
  • the value registered in the table 625 is a value according to at least one of the specified asynchronous processing performances, for example, the average value, the lowest (Worst) performance or highest (best) performance.
  • the “asynchronous process” is a process performed by the FMPK 131 asynchronously with the write process performed by the FMPK 131 in response to a write command for writing data such as update data. As in the reclamation process and the refresh process, data writing to the FM 220 occurs.
  • Reclamation process refers to reading valid data from each of one or more physical blocks, moving the read data to a physical block (for example, a physical block having a smaller erase count than the source physical block), This is a process for executing an erasing process on a physical block. Free physical blocks can be increased by the reclamation process.
  • “refresh processing” means that data (especially valid data) is read from a physical block, error-corrected, and the error-corrected data is transferred to another physical block (for example, a physical block having a smaller PE count than the source physical block). ).
  • the migration destination physical block is allocated instead of the migration source physical block to the logical area (for example, logical block) to which the migration source physical block has been allocated.
  • the logical / physical conversion table 621 holds information regarding the correspondence between logical addresses and physical addresses.
  • the logical-physical conversion table 621 has an entry for each logical page (an example of a logical area). Each entry holds information such as a logical page number 731, an LBA 732, a logical page size 733, a status 734, a physical page number 735, and a block number 736.
  • the logical page number 731 is a logical page identification number.
  • LBA 732 indicates the first LBA of the logical page.
  • the logical page size 733 indicates the size of the logical page.
  • the status 734 indicates the status of the logical page.
  • the status 734 includes “valid” (a logical page based on the user area and the logical page is allocated as a part of the pool), and “invalid” (a logical page based on the user area but the logical page Page is not allocated as part of the pool) and "unusable" (logical page based on update area).
  • the physical page number 735 is an identification number of the physical page assigned to the logical page.
  • the block number 736 is an identification number of the physical block including the physical page assigned to the logical page.
  • the page management table 623 holds information related to physical pages.
  • the page management table 623 has an entry for each physical page. Each entry holds information such as a physical page number 741 and a status 742.
  • the physical page number 741 is a physical page identification number.
  • the status 742 indicates the status of the physical page.
  • FIG. 9 shows the flow of processing performed in response to a write request.
  • FIG. 10 shows the flow of processing performed by the FMPK 131 that receives a write command.
  • the storage controller 111 receives a write request from the host computer 101 (S900).
  • the storage controller 111 (storage control program 411) transmits a write command to at least one FMPK 131 in the PG 810 based on the write request.
  • one FMPK 131 is taken as an example. 9 and 10, the FMPK 131 is referred to as “target FMPK 131”.
  • the FMPK controller 50 (processor 214) of the target FMPK 131 receives the write command (S901). In accordance with the write command, the processor 214 (FMPK control program 611) writes the write target data in accordance with the write command into the FM 220 (S902).
  • the FMPK control program 611 acquires a plurality of types of FM resource usage rates (memory 723 to cache bandwidth 727) of the target FMPK 131 from the FM resource management table 622 (S903). Note that the plurality of types of FM resource usage rates may be periodically measured and registered in the FM resource management table 622, or may be measured in S903.
  • the FMPK control program 611 determines whether or not asynchronous processing is necessary (S904). As for processing performed in response to a write command, asynchronous processing is typically reclamation processing. For example, when the number of free blocks with respect to the total number of physical blocks is less than the threshold (that is, when there are few free blocks), it is determined that reclamation processing is necessary.
  • the FMPK control program 611 executes asynchronous processing (S905). Then, the FMPK control program 611 registers the FM resource rate after the change accompanying the asynchronous processing in the FM resource management table 622 (S906).
  • the FMPK control program 611 determines whether or not a failure has occurred in the target FMPK 131 (S907).
  • the “failure” here means that the free capacity of the user capacity of the target FMPK 131 is less than a predetermined capacity (for example, the number of logical pages “invalid” with respect to the total number of logical pages constituting the user area 801U). Or the write processing performance of the target FMPK 131 is less than the predetermined performance.
  • a response 950 is returned to the write to the FM 220, a response 960 to the write command is returned, and a response 970 to the write request is returned.
  • Each FMPK 131 may periodically determine whether asynchronous processing is necessary. For example, the storage controller 111 may periodically send a periodic processing command to the FMPK 131.
  • FIG. 11 shows the flow of processing performed by the FMPK 131 that receives a periodic processing command.
  • the FMPK 131 is referred to as “target FMPK 131”.
  • the FMPK controller 50 receives the periodic processing command (S1101).
  • the processor 214 acquires a plurality of types of FM resource usage rates (memory 723 to cache bandwidth 727) of the target FMPK 131 from the FM resource management table 622 (S1102).
  • the FMPK control program 611 determines whether or not asynchronous processing is necessary (S1103).
  • the asynchronous processing here is not limited to reclamation processing.
  • the FMPK control program 611 executes asynchronous processing (S1104). Then, the FMPK control program 611 registers the FM resource rate after the change accompanying the asynchronous processing in the FM resource management table 622 (S1105).
  • the FMPK control program 611 determines whether or not the above-described failure has occurred in the target FMPK 131 (S1106).
  • FIG. 12 shows the flow of processing performed in response to the storage controller 111 receiving an alert.
  • FIG. 13 shows a processing flow including expansion / reduction determination. Since the user capacity is expanded or contracted when an alert is generated due to user capacity depletion or performance degradation, optimizing the user capacity also eliminates the cause of the alert.
  • the processor 123 (storage control program 411) receives an alert from the FMPK 131
  • the processor 123 (the storage control program 411) specifies the PG 810 including the FMPK 131 based on the PG management table 424, and executes expansion or reduction of the user capacity for the specified PG 810.
  • the expansion / reduction determination which is a determination as to whether or not to perform, is executed (S1201).
  • the PG 810 including the alert issuer FMPK 131 is hereinafter referred to as a “target PG 810”.
  • the storage control program 411 selects any FMPK 131 in which S1201-1 and S1201-2 are not yet selected from the target PG 810.
  • the FMPK 131 selected here is referred to as “selected FMPK 131”.
  • the storage control program 411 specifies the FM resource usage rate and the asynchronous processing performance from the selected FMPK 131 (S1201-1). Specifically, the storage control program 411 transmits an acquisition command to the selected FMPK 131.
  • the processor 214 (FMPK control program 611) of the selected FMPK 131 acquires a plurality of types of FM resource usage rates (memory 723 to cache bandwidth 727) from the FM resource management table 622 in response to the acquisition command, and performs asynchronous performance.
  • the latest asynchronous processing performance (reclamation 713 and refresh 714) is acquired from the management table 625 (S1201-1-1), and the response (response to the acquisition command) including the acquired FM resource usage rate and asynchronous processing performance is obtained.
  • the storage controller 111 specifies the FM resource usage rate and the asynchronous processing performance from the selected FMPK 131 (S1201-1). Specifically, the storage control program 411 transmits an acquisition command to the selected FMPK 131.
  • the storage control program 411 specifies a result corresponding to the highest FM resource usage rate and the highest asynchronous processing performance of the selected FMPK 131 from the expansion / reduction determination table 426 (S1201-2).
  • the storage control program 411 sets the determination result of S1201 to false (S1201: N) for the target PG 810.
  • the storage control program 411 if there is an FMPK 131 in which S1201-1 and S1201-2 are not yet present in the target PG 810, S1201-1 and S1201 for that FMPK 131 -2.
  • the storage control program 411 is the same for all the FMPKs 131 of the target PG 810 if the target PG 810 does not have the FMPK 131 for which S1201-1 and S1201-2 are not yet performed. It is determined whether the result is obtained (that is, whether it is all “expandable” or all “reducible”) (S1201-3). When the determination result in S1201-3 is true (S1201-3: Y), the determination result in S1201 is true (S1201: Y). If the determination result in S1201-3 is false (S1201-3: N), the determination result in S1201 is false (S1201: N). As a result, the target PG 810 can be expanded or reduced in PG units. The storage control program 411 may set the determination result of S1201 to S1201: N as soon as a different result is obtained for the target PG 810.
  • S1202-1 is executed for each FMPK 131 constituting the target PG 810. That is, when the determination result in S1201 is “extension possible”, the storage control program 411 transmits an extension command to each FMPK 131 configuring the target PG 810. On the other hand, when the determination result in S1201 is “reduction possible”, the storage control program 411 transmits a reduction command to each FMPK 131 configuring the target PG 810.
  • S1202-2 is executed. That is, the storage control program 411 registers the OP rate after change according to the expansion command or the reduction command for the target PG 810 as the OP rate 526 in the PG management table 424.
  • the OP rate change amount according to the extension command and the OP rate change amount according to the reduction command are constant. However, the OP rate change amount according to the extension command and the OP rate change amount according to the reduction command may be the same or different.
  • the user capacity change amount may be constant instead of the OP rate change amount.
  • the change amount at the time of expansion and the change amount at the time of reduction may be the same or different.
  • S1201 may be executed periodically.
  • FIG. 16 shows the flow of processing performed by the FMPK 131 for expansion.
  • the FMPK 131 receives the extension command (S1201-1-A1) and extends the user capacity (S1201-1-A2). Specifically, for example, the FMPK control program 611 secures a free area (one or more free blocks (blocks as a set of free pages)) corresponding to the OP rate change amount from the update area. If there is no free area for the OP rate change amount, free blocks may be increased by the reclamation process.
  • the FMPK control program 611 changes the status 734 of each logical page corresponding to the OP rate change amount from “unusable” to “invalid”, and changes the OP rate 701 to the expanded OP rate. (S1201-1-A3).
  • the FMPK control program 611 returns a completion response to the extended command to the storage controller 111.
  • FIG. 17 shows a flow of processing performed by the FMPK 131 regarding reduction.
  • the FMPK 131 (FMPK control program 611) receives the reduction command (S1201-1-B1), changes the status 734 of each logical page corresponding to the OP rate change amount from “invalid” to “unusable”, and The rate 701 is changed to the reduced OP rate (S1201-1-B2).
  • the FMPK control program 611 returns a completion response to the reduction command to the storage controller 111. Since reduction is possible because there is a free area in the user area, it is not necessary to secure a free area corresponding to the OP rate change amount from the user area.
  • various settings may be performed via a setting screen 2000 illustrated in FIG. 20 (for example, GUI (Graphical User Interface)).
  • the screen 2000 may be displayed on the management computer 102, for example.
  • the screen 2000 includes, for example, a PG designation UI (user interface) 2003, a user capacity change setting UI 2004, a policy setting UI 2005, a setting change button 2001, and an OP rate manual change button 2002.
  • a PG to which settings are associated can be designated by a PG designation UI 2003.
  • the user capacity change setting UI 2004, it is possible to specify whether or not the user capacity has been changed (OP rate change) and whether the change should be performed automatically or manually.
  • With the policy setting UI 2005 it is possible to designate which one of performance priority and capacity priority is adopted.
  • the designation (setting) via the UI 2003, 2004, and 2005 is reflected in the table 424 (whether the OP rate change is valid (automatic or manual) in the table 424). ) May be provided).
  • the OP rate manual change button 2002 is pressed, the OP rate is manually changed.
  • the prediction screen 2100 (eg, GUI) illustrated in FIG. 21 may be displayed by, for example, the storage control program 411.
  • the storage control program 411 changes the current rate 2014 including the highest FM resource usage rate (including the type of FM resource usage rate) and the OP rate (user capacity), and the OP rate for the FMPK 131 of the alert issue source (
  • a prediction situation 2015 including an FM resource usage rate and an OP rate (user capacity) when it is assumed that expansion or reduction may be performed may be displayed on the screen 2100.
  • the screen 2100 includes an OP rate change button 2101 and a cancel button 2102.
  • the storage control program 411 may execute the OP rate change for the PG 810 including the alert issuing source FMPK 131. Thereby, it is possible to determine to change the OP rate after confirming the predicted state after the OP rate is changed.
  • the storage control program 411 may skip the OP rate change for the PG 810 including the FMPK 131 that is the alert issuing source.
  • the user capacity changes while the storage system 104 is operating, but the host computer 101 cannot see the user capacity change. This is because the volume provided to the host computer 101 is a virtual volume and the capacity of the pool changes, but the capacity of the virtual volume itself does not change.
  • Example 2 will be described. At that time, differences from the first embodiment will be mainly described, and description of common points with the first embodiment will be omitted or simplified.
  • the change amount of the user capacity is variable.
  • one of the storage control program 411 and the FMPK control program 611 determines the user capacity change amount based on the FM resource usage rate and the asynchronous processing performance.
  • one of the storage control program 411 and the FMPK control program 611 can change the maximum user capacity for each FMPK 131 based on the maximum FM resource usage rate and the maximum asynchronous processing performance of the FMPK 131. Determine the amount.
  • the storage control program 411 determines the maximum change amount (for example, the minimum value of the plurality of maximum change amounts) based on a plurality of maximum change amounts respectively corresponding to the plurality of FMPKs 131 constituting the PG 810.
  • the storage control program 411 determines a change amount obtained by reducing a predetermined margin from the determined maximum change amount as a user capacity change amount.
  • the change amount of the user capacity is not a fixed value but based on the maximum change amount according to the FM resource usage rate and the asynchronous processing performance. Thereby, it can be expected to shorten the time until the OP rate becomes the optimum value.
  • the change amount of the user capacity is an amount obtained by reducing a predetermined margin from the maximum change amount. As a result, the possibility that the performance of the storage system 104 will be adversely affected can be reduced.
  • FIG. 22 shows the user capacity transition
  • the right side of FIG. 22 shows the performance transition accompanying the transition.
  • the storage control program 411 determines an amount P obtained by reducing a predetermined margin from the maximum expansion amount as the expansion amount.
  • the update capacity by the expansion amount P is reduced, so that the frequency of asynchronous processing increases, and as a result, the asynchronous processing performance increases by the performance R.
  • the storage control program 411 (or the FMPK control program 611) has a low asynchronous processing performance as the maximum expansion amount according to the FM resource usage rate and the asynchronous processing performance. In addition, an amount smaller than the maximum expansion amount when the FM resource usage rate is also low is determined. Then, the storage control program 411 determines, as the expansion amount, an amount Q obtained by reducing a predetermined margin from the determined maximum expansion amount (the margin may be a fixed size, but may be variable like the maximum expansion amount). .
  • the margin may be a fixed size, but may be variable like the maximum expansion amount.
  • the user capacity can be expanded as much as possible while avoiding a decrease in write processing performance.
  • the user capacity can be expanded as much as possible while avoiding a decrease in write processing performance.
  • the optimum user capacity (the optimum OP rate) is realized in a shorter time than that in the first embodiment.
  • FMPK may execute the expansion / reduction determination.
  • the FMPK control program may issue an alert internally (the alert issuance destination is the FMPK control program), and may execute expansion / reduction determination in response to the alert.
  • the FMPK control program of FMPK can change the user capacity to the user capacity according to the determination based on at least one of the one or more resource usage rates of the FMPK.
  • Changing the user capacity to a user capacity according to a determination based on at least one of the one or more resource usage rates of the FMPK is performed in response to a change command from a higher system of the FMPK.
  • the FMPK control program may change the user capacity based on at least one of the one or more resource usage rates of the FMPK.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Memory System (AREA)

Abstract

ストレージシステムは、１以上の不揮発メモリデバイスと、その１以上の不揮発メモリデバイスに接続された１以上のプロセッサであるプロセッサ部とを有する。１以上の不揮発メモリデバイスの各々について、不揮発メモリのうちの少なくとも一部が、データが書き込まれる記憶領域であるユーザ領域と、そのデータの更新データが書き込まれる記憶領域である更新領域とで構成されている。プロセッサ部は、１以上の不揮発メモリデバイスの１以上のリソース使用率のうちの少なくとも１つに基づき、１以上の不揮発メモリデバイスの各々について、ユーザ領域の容量であるユーザ容量を変更する。

Description

ストレージシステム及び記憶制御方法
　本発明は、概して、記憶制御に関し、例えば、オーバープロビジョニングのための予備領域の容量の変更に関する。
　フラッシュメモリは、一般に、追記型、すなわち、データを書き換えるためには、そのデータを記憶している領域からデータを消去する必要がある。フラッシュメモリは、データの書換回数（言い換えれば消去回数）に上限がある。この上限を超えたフラッシュメモリは、新たにデータを書き込めなかったり、書き込まれたデータにエラーが発生する確率が高くなったりする。フラッシュメモリの書換回数がその上限に達するまでの期間を、フラッシュメモリの「寿命」という。したがって、複数のフラッシュメモリによって構成されるＦＭＰＫ（Flash Memory Package）にも寿命が存在する。
　特許文献１には、ＲＡＩＤグループの総記憶容量を使用可能容量と余剰容量の和とし、論理ボリュームへの書換頻度に応じて、余剰容量のサイズを変更する技術が開示されている。
WO2015/052811
　ストレージシステムの用途は様々であり、例えば、書換頻度の低い（リードがメインの）データを格納するストレージシステムは、更新領域（予備領域）を削減し、ユーザ領域（データ格納領域）を拡大することで、ビットコストを低減することが可能である。
　しかしながら、ＦＭＰＫの更新領域を必要以上に削減してしまうと、そのＦＭＰＫに書き込まれる更新データ（上書きされるデータ）の総量に依っては、非同期処理の実行頻度が高くなる。このため、ストレージシステムのＩ／Ｏ性能（Ｉ／Ｏ要求に応答してＦＭＰＫに対してＩ／Ｏを行う処理の性能）が低下してしまう（なお、非同期処理とは、更新データのようなデータをライト対象としたライトコマンドに応答してＦＭＰＫにより行われるライト処理とは非同期にＦＭＰＫにより行われる処理であって、典型的には、リクラメーション処理及びリフレッシュ処理のように、ＦＭ（フラッシュメモリ）に対するデータのライトが発生する処理である）。
　一方、ＦＭＰＫの更新領域を必要以上に増やしてしまうと、ＦＭＰＫのユーザ領域が小さくなってしまうので、書き込むことができるデータの量は少ない。
　このような課題は、ＦＭＰＫのようなフラッシュメモリデバイスに限らず、他の追記型の不揮発メモリデバイスについても、あり得る。
　本発明は、ホストＩ／Ｏ性能の維持とビットコストの低減とを両立することを目的とする。
　ストレージシステムは、１以上の不揮発メモリデバイスと、その１以上の不揮発メモリデバイスに接続された１以上のプロセッサであるプロセッサ部とを有する。１以上の不揮発メモリデバイスの各々について、不揮発メモリのうちの少なくとも一部が、データが書き込まれる記憶領域であるユーザ領域と、そのデータの更新データが書き込まれる記憶領域である更新領域とで構成されている。プロセッサ部は、１以上の不揮発メモリデバイスの１以上のリソース使用率のうちの少なくとも１つに基づき、１以上の不揮発メモリデバイスの各々について、ユーザ領域の容量であるユーザ容量を変更する。
　ストレージシステムの稼働中に、１以上の不揮発メモリデバイスの動作状況に最適なユーザ容量（言い換えれば、更新領域の容量である更新容量）を維持すること、結果として、ホストＩ／Ｏ性能の維持とビットコストの低減との両立を維持することが期待できる。
実施例１の概要を示す。 ストレージシステムの構成例を示す。 ＦＭＰＫの構成を示す。 ＦＭチップの構成を示す。 ストレージコントローラのメモリの構成を示す。 ストレージコントローラのテーブル領域に格納されるテーブルの構成を示す。 ＦＭＰＫコントローラのメモリの構成を示す。 ＦＭＰＫコントローラのテーブル領域に格納されるテーブルの構成を示す。 ライト要求に応答して行われる処理のシーケンス図である。 ライトコマンドを受けるＦＭＰＫが行う処理のフローチャートである。 定期処理コマンドを受けるＦＭＰＫが行う処理のフローチャートである。 ストレージコントローラがアラートを受けたことに応答して行われる処理のシーケンス図である。 拡張／縮小判定を含む処理のフローチャートである。 拡張／縮小判定の詳細を示すフローチャートである。 Ｓ１２０２に関してストレージコントローラが行う処理の詳細を示すフローチャートである。 拡張に関してＦＭＰＫが行う処理のフローチャートである。 縮小に関してＦＭＰＫが行う処理のフローチャートである。 拡張／縮小判定テーブルの構成を示す。 ライト処理の性能と非同期処理の性能との関係の一例を示す。 設定画面の一例を示す。 予測画面の一例を示す。 実施例２におけるユーザ容量遷移と性能遷移との関係の一例を示す。
　以下の説明では、「ａｂｃテーブル」の表現にて情報を説明することがあるが、情報は、テーブル以外のデータ構成で表現されていてもよい。データ構成に依存しないことを示すために「ａｂｃテーブル」のうちの少なくとも１つを「ａｂｃ情報」と呼ぶことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
　また、以下の説明では、「インターフェース部」は、１以上のインターフェースを含む。１以上のインターフェースは、１以上の同種のインターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
　また、以下の説明では、「記憶部」は、１以上のメモリを含む。記憶部に関して少なくとも１つのメモリは、揮発性メモリでよい。記憶部は、主に、プロセッサ部による処理の際に使用される。
　また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサである。１以上のプロセッサの各々は、シングルコアでもよいしマルチコアでもよい。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
　また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部（例えばメモリ）及び／又はインターフェース部（例えば通信ポート）等を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。また、プロセッサ部は、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　また、以下の説明では、「ストレージシステム」は、１以上のストレージ装置でよい。「ストレージ装置」は、記憶デバイスにデータを格納する機能を有する装置であればよい。このため、ストレージ装置は、ファイルサーバのような計算機（例えば汎用計算機）であってもよい。例えば、少なくとも１つの物理的なストレージ装置が、仮想的な計算機（例えばＶＭ（Virtual Machine））を実行してもよいし、ＳＤｘ（Software-Defined anything）を実行してもよい。ＳＤｘとしては、例えば、ＳＤＳ（Software Defined Storage）（仮想的なストレージ装置の一例）又はＳＤＤＣ（Software-defined Datacenter）を採用することができる。また、例えば、少なくとも１つのストレージ装置（計算機）は、ハイパーバイザを有していてよい。ハイパーバイザが、サーバとして動作するサーバＶＭ（Virtual Machine）と、ストレージとして動作するストレージＶＭとを生成してよい。サーバＶＭが、Ｉ／Ｏ要求を発行するホスト計算機として動作し、ストレージＶＭが、サーバＶＭからのＩ／Ｏ要求に応答してＦＭＰＫに対するＩ／Ｏを行うストレージコントローラとして動作してよい。
　また、以下の説明では、「時刻」は、年月日時分秒の単位で表現されるが、時刻の単位は、それよりも粗くても細かくてもよいし、また異なる単位でもよい。
　図１は、実施例１の概要を示す。
　ストレージシステム１０４は、パリティグループ（以下、ＰＧ）８１０と、ＰＧ８１０に対するＩ／Ｏ（Input/Output）を制御するストレージコントローラ１１１とを有する。
　ＰＧ８１０は、複数のＦＭＰＫ（Flash Memory Package）１３１で構成されており、ＲＡＩＤ（Redundant Array of Independent (or Inexpensive) Disks）グループとも呼ばれる。
　各ＦＭＰＫ１３１は、ＦＭ（フラッシュメモリ）と、複数種類のリソース（例えばプロセッサ及びメモリ）を含んだ複数のリソースとを有する。以下、各ＦＭＰＫ１３１について、ＦＭ以外のリソースを、「ＦＭリソース」と総称する。
　各ＦＭＰＫ１３１において、ＦＭは、ユーザ領域８０１Ｕと、更新領域８０１Ｐとを有する。ユーザ領域８０１Ｕは、データ（例えば新規のファイルのデータ）が書き込まれる記憶領域である。更新領域８０１Ｐは、そのデータの更新データ（例えば、ファイルの更新データ）が書き込まれる記憶領域である。以下、各ＦＭＰＫ１３１について、ユーザ領域８０１Ｕの容量を「ユーザ容量」と呼び、更新領域８０１Ｐの容量を「更新容量」と呼ぶ。なお、ＦＭは、ユーザ領域８０１Ｕ及び更新領域８０１Ｐ以外の領域を含んでもよい。
　各ＦＭＰＫ１３１において、ユーザ容量と更新容量の合計は一定である。このため、ユーザ容量が大きくなれば、更新容量が小さくなり、ユーザ容量が小さくなれば、更新容量が大きくなる。
　ＦＭＰＫ１３１の更新領域８０１Ｐを必要以上に削減してしまうと、そのＦＭＰＫ１３１に書き込まれる更新データの総量に依っては、非同期処理の実行頻度が高くなる。このため、ストレージシステム１０４のホストＩ／Ｏ性能（ホスト計算機１０１からのＩ／Ｏ要求に応答してＦＭＰＫ１３１に対してＩ／Ｏを行う処理の性能）が低下してしまう。一方、ＦＭＰＫ１３１の更新領域８０１Ｐを必要以上に増やしてしまうと、ＦＭＰＫ１３１のユーザ領域８０１Ｕが小さくなってしまうので、書き込むことができるデータの量は少ない。
　そこで、ストレージコントローラ１１１は、ＰＧ８１０を構成する複数のＦＭＰＫ１３１の複数のＦＭリソース使用率のうちの少なくとも１つを特定し、特定したＦＭリソース使用率に基づき、その複数のＦＭＰＫ１３１の各々について、ユーザ容量を変更する。ユーザ容量の変更は、ユーザ容量を拡張する（大きくする）ことと、ユーザ容量を縮小する（小さくする）ことのいずれかである。
　本実施例では、ユーザ容量の変更は、ＯＰ（Over Provisioning）率の変更である。ＯＰ率は、ユーザ容量、更新容量及び物理容量（ユーザ容量と更新容量の合計）のうちの少なくとも２つに基づいて決定された比率であって、ユーザ容量が大きい程に小さい値となる。本実施例では、ＯＰ率の計算式として、ＯＰ率＝（更新容量）／（ユーザ容量）が採用される。このため、ユーザ容量の拡張とは、ＯＰ率を下げることであり、ユーザ容量の縮小とは、ＯＰ率を上げることである。ＯＰ率の計算式として、他の計算式、例えば、ＯＰ率＝（（物理容量）／（ユーザ容量））－１が採用されてもよい。
　ストレージシステム１０４の稼働中、ＰＧ８１０に対するＩ／Ｏの状況によって、ＰＧ８１０における各ＦＭＰＫ１３１にとって適切な更新容量は変わり得る。一方、ＰＧ８１０において、各ＦＭＰＫ１３１のＯＰ率は同一である。ＰＧユーザ領域（ＰＧ８１０における複数のＦＭＰＫ１３１がそれぞれ有する複数のユーザ領域８０１Ｕの集合）に基づく論理記憶空間の少なくとも一部が、論理ボリュームとして使用される。
　そこで、ストレージコントローラ１１１は、ＰＧ単位で、各ＦＭＰＫ１３１のＯＰ率を変更する。
　以下、本実施例を詳細に説明する。
　図２は、ストレージシステム１０４の構成を示す。なお、以下の説明では、混同を避けるため、ホスト計算機１０１からストレージシステム１０４への要求を「要求」と言い、ストレージコントローラ１１１からＦＭＰＫ１３１への要求を「コマンド」と言うことにする。
　ストレージシステム１０４に、ホスト計算機１０１と、管理計算機１０２とが接続されている。ホスト計算機１０１は、例えば、ＳＡＮ（Storage Area Network）１０３のような通信ネットワークを通じてストレージシステム１０４に接続されている。管理計算機１０２は、例えば、所定の通信線１５（又はＬＡＮ（Local Area Network）のような通信ネットワーク）を通じてストレージシステム１０４に接続されている。
　ホスト計算機１０１は、ストレージシステム１０４に対してライト要求を送信することで、ストレージシステム１０４にデータをライトする。ホスト計算機１０１は、ストレージシステム１０４に対してリード要求を送信することで、ストレージシステム１０４からデータをリードする。ホスト計算機１０１は、Ｉ／Ｏ要求（ライト要求又はリード要求）の発行元の一例でよい。Ｉ／Ｏ要求の発行元としては、例えば、上述のサーバＶＭ及びストレージＶＭを実行するストレージシステムにおいてはサーバＶＭでもよい。
　管理計算機１０２は、ユーザがストレージシステム１０４を管理及び制御ための装置である。管理計算機１０２は、キーボード及びマウスのような入力デバイスと、表示デバイスのような出力デバイスを備えてもよい。
　ストレージシステム１０４は、ストレージコントローラ１１１と、ドライブボックス１１２とを備える。ドライブボックス１１２は、複数のＦＭＰＫ１３１を備える。
　ストレージコントローラ１１１は、Ｈ－Ｉ／Ｆ（インターフェース）１２１と、プロセッサ１２３と、メモリ１２４と、Ｄ－Ｉ／Ｆ１２２、Ｍ－Ｉ／Ｆ１２５とを備え、それら要素１２１～１２５は、データ送受信が可能な内部ネットワーク１２６で接続されている。Ｈ－Ｉ／Ｆ１２１、Ｄ－Ｉ／Ｆ１２２、Ｍ－Ｉ／Ｆ１２５が、インターフェース部の一例である。メモリ１２４が、記憶部の一例である。プロセッサ１２３が、プロセッサ部の一例である。
　Ｈ－Ｉ／Ｆ１２１は、ストレージコントローラ１１１にホスト計算機１０１を接続するためのＩ／Ｆである。Ｍ－Ｉ／Ｆ１２５は、ストレージコントローラ１１１に管理計算機１０２を接続するためのＩ／Ｆである。Ｄ－Ｉ／Ｆ１２６は、ストレージコントローラ１１１にＦＭＰＫ１３１を接続するためのＩ／Ｆである。
　プロセッサ１２３は、コンピュータプログラム（以下、プログラム）等を実行する。プロセッサがプログラムを実行することにより、ストレージシステム１０４の備える様々な機能が実現される。
　メモリ１２４は、データを記憶する。メモリ１２４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）のような揮発性半導体メモリであるが、フラッシュメモリのような不揮発性半導体メモリでもよい。メモリ１２４に記憶されたプログラム及びデータは、プロセッサ１２３、Ｈ－Ｉ／Ｆ１２１及びＤ－Ｉ／Ｆ１２２等からアクセスされる。
　図３は、ＦＭＰＫ１３１の構成を示す。
　ＦＭＰＫ１３１は、ＦＭ２２０と、ＦＭ２２０に接続されたＦＭＰＫコントローラ５０とを備える。ＦＭ２２０は、複数のＦＭ（フラッシュメモリ）チップ２０２で構成されている。
　ＦＭＰＫコントローラ５０は、プロセッサ２１４と、メモリ２１２と、ＦＭＰＫ　Ｉ／Ｆ２１１と、ＦＭチップＩ／Ｆ２１３とを有する。これらの要素２１１～２１４は、データ送受信可能な内部ネットワーク２１５で接続されており、双方向にデータを送受信できる。なお、以下、特に、内部ネットワーク２１５にメモリ２１２を接続するバス５８を、「キャッシュバス５８」と呼ぶことにする。
　プロセッサ２１４は、プログラム等を実行する。プロセッサ２１４がプログラムを実行することにより、ＦＭＰＫ１３１の備える様々な機能が実現される。
　メモリ２１２は、データを記憶する。メモリは、例えば、ＤＲＡＭのような揮発性半導体メモリであるが、フラッシュメモリのような不揮発性半導体メモリでもよい。メモリ２１２に記憶されたプログラム及びデータは、プロセッサ２１４、ＦＭＰＫ　Ｉ／Ｆ２１１及びＦＭチップＩ／Ｆ２１３等からアクセスされる。
　ＦＭＰＫ　Ｉ／Ｆ２１１は、ＦＭＰＫ１３１をストレージコントローラ１１１に接続するためのＩ／Ｆである。ＦＭチップＩ／Ｆ２１３は、ＦＭＰＫコントローラ５０（プロセッサ）にＦＭチップ２０２を接続するためのＩ／Ｆである。なお、以下、特に、ＦＭチップＩ／Ｆ２１３にＦＭチップ２０２を接続するバス５９を、「ＦＭバス５９」と呼ぶことにする。
　上述した要素２１１～２１５、５８及び５９が、それぞれ、複数のＦＭリソースである。
　図４は、ＦＭチップ２０２の構成を示す。
　ＦＭチップ２０２は、例えばＮＡＮＤ型のＦＭチップであり、ＦＭコントローラ３０１と、複数のブロック（物理ブロック）３０２とを有する。そして、ブロック３０２は、複数のページ（物理ページ）３０３で構成されている。ＦＭチップ２０２は、その特性上、ページ単位でデータのリードおよびライトを行う必要がある。そして、ＦＭチップ２０２は、その特性上、ブロック単位でデータの消去を行う必要がある。
　また、ＦＭチップ２０２は、追記型、すなわち、ライト済みのページ３０３に対してデータをオーバーライトすることができない。従って、ＦＭＰＫコントローラ５０は、ライト済みページ３０３の物理アドレスが割り当てられている論理アドレスをライト先としたライトコマンドを受信した場合、そのライトコマンドに従う更新データ（オーバーライトのデータ）を未使用のページ３０３にライトし、そのページ３０３の物理アドレスを、ライト済みページ３０３の物理アドレスに代えて、ライト先の論理アドレスに割り当てる。
　ＦＭＰＫ１３１の上位システムは、本実施例ではストレージコントローラ１１１であるが、限定されないでよい。すなわち、上位システムは、ストレージシステムにおいて、ＦＭＰＫ１３１が外部付けされた計算機であってもよいし、ＦＭＰＫ１３１を内蔵した計算機内のプロセッサであってもよい。
　ＦＭＰＫコントローラ５０は、論理記憶空間（例えば、連続した論理アドレス空間）を上位システムに提供する。論理記憶空間は、複数の論理領域に区切られてよい。例えば、論理記憶空間が、複数の論理ブロックで構成され、各論理ブロックが、複数の論理ページで構成されていてもよい。論理ブロック又は論理ページが論理領域の一例でよい。論理領域は、論理アドレス範囲（例えば、連続した１以上の論理アドレス）と言い換えられてもよい。ＦＭＰＫコントローラ５０は、論理アドレスと物理アドレスの対応関係を管理している。ＦＭＰＫコントローラ５０は、上位システムからのＩ／Ｏコマンドで指定されている論理アドレスに対応した物理アドレスが属する物理領域を特定し、特定した物理領域に対してＩ／Ｏを行う。論理アドレスは、例えば、ＬＢＡ（Logical Block Address）であるが、ＬＢＡに代えて又は加えて、論理領域ＩＤ（例えば論理ページ番号）でよい。物理アドレスは、例えば、ＰＢＡ（Physical Block Address）であるが、ＰＢＡに代えて又は加えて、物理領域ＩＤ（例えば物理ページ番号）でよい。ユーザ領域８０１Ｕ内のページ３０３が割り当てられている論理領域がライト先の場合、ライト先論理領域に、割当て済のページ３０３に代えて新たに更新領域８０１Ｐ内の空きページ３０３が割り当てられ、新たに割り当てられたページ３０３に更新データが書き込まれる。各論理領域について、最近割り当てられたページ３０３に書き込まれているデータ（つまり最新のデータ）は「有効データ」であり、有効データが書き込まれているページ３０３は「有効ページ」であり、過去に割り当てられていたページ３０３に格納されているデータは「無効データ」であり、無効データが書き込まれているページ３０３は「無効ページ」である。また、有効ページでも無効ページでも無く新たにデータを格納可能なページが、「空きページ」である。
　また、ＦＭ２２０に代えて、ＦＭ以外の不揮発メモリ、例えばＰＲＡＭ（Phase-change Random Access Memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＲｅＲＡＭ（Resistive Random Access Memory）又はＦｅＲＡＭ（Ferroelectric Random Access Memory）が採用されてもよい。
　図５は、ストレージコントローラ１１１のメモリ１２４の構成を示す。
　メモリ１２４は、プログラム領域４０１、テーブル領域４０２及びデータキャッシュ領域４０３を有する。
　プログラム領域４０１は、プログラム、例えば、ストレージコントローラ１１１の動作を制御するストレージ制御プログラム４１１を格納する。プログラムは、プロセッサ１２３により実行される。例えば、ストレージ制御プログラム４１１は、ホスト計算機１０１からのライト要求に従って、ＦＭＰＫ１３１にデータをライトする処理を実行する。また、例えば、ストレージ制御プログラム４１１は、ホスト計算機１０１からのリード要求に従って、ＦＭＰＫ１３１からデータをリードして、ホスト計算機１０１に返す処理を実行する。
　テーブル領域４０２は、テーブル、例えば、ドライブ管理テーブル４２１と、プール管理テーブル４２２と、仮想ボリューム管理テーブル４２３と、ＰＧ管理テーブル４２４と、ドライブ個別管理テーブル４２５と、拡張／縮小判定テーブル４２６とを格納する。これらのテーブルについては後に詳述する。
　データキャッシュ領域４０３は、ユーザデータ４３１を一時的に格納する。ユーザデータ４３１は、Ｉ／Ｏ要求に従うデータ（具体的には、ライト対象又はリード対象のデータ）である。
　図６は、ストレージコントローラ１１１のテーブル領域４０２に格納されるテーブルの構成を示す。図６に示すように、拡張／縮小判定テーブル４２６の構成は、図１８に示す。
　ドライブ管理テーブル４２１は、ドライブ（本実施例ではＦＭＰＫ１３１）に関する情報を保持する。ドライブ管理テーブル４２１は、ドライブ毎にエントリを有する。各エントリは、ドライブ番号５０１、ドライブ種別５０２及び物理容量５０３といった情報を保持する。ドライブ番号５０１は、ドライブの識別番号である。ドライブ種別５０２は、ドライブの種別を示す。物理容量５０３は、ドライブの物理容量を示す。
　プール管理テーブル４２２は、プールに関する情報を保持する。プール管理テーブル４２２は、プール毎にエントリを有する。各エントリは、プール番号５１１及びＰＧ番号５１２といった情報を保持する。プール番号５１１は、プールの識別番号である。ＰＧ番号５１２は、プールにおけるプールボリュームを提供するＰＧの識別番号である。なお、本実施例では、プールは、ＰＧ８１０のＰＧユーザ領域に基づく論理ボリュームで構成された記憶空間である。プールを構成する論理ボリュームを「プールボリューム」と呼ぶ。プール（プールボリューム）は、複数のセグメント（以下、物理セグメント）に分割されている。仮想ボリューム（例えば、Thin Provisioningに従う仮想的な論理ボリューム）におけるライト先仮想セグメントに、その仮想ボリュームが関連付けられているプールから、物理セグメントが割り当てられる。
　ＰＧ管理テーブル４２４は、ＰＧに関する情報を保持する。ＰＧ管理テーブル４２４は、ＰＧ毎にエントリを有する。各エントリは、ＰＧ番号５２１、ＲＡＩＤレベル５２２、ＲＡＩＤ構成５２３、ドライブリスト５２４、ポリシー５２５、ＯＰ率５２６及びＰＧ容量５２７といった情報を保持する。ＰＧ番号５２１は、ＰＧの識別番号である。ＲＡＩＤレベル５２２は、ＲＡＩＤレベルを示す。ＲＡＩＤ構成５２３は、ＲＡＩＤ構成を示す。ＲＡＩＤレベル及びＲＡＩＤ構成によりＲＡＩＤ種別が定義されている。ドライブリスト５２４は、ＰＧを構成するドライブの識別番号のリストである。ポリシー５２５は、ＰＧに関連付けられているポリシーを示す。ポリシーとしては、容量優先と性能優先とがある。各ポリシーについては後述する。ＯＰ率５２６は、ＰＧについて採用されているＯＰ率を示す。ＰＧ容量５２７は、ＰＧを構成する複数のＦＭＰＫ１３１にそれぞれ対応した複数の物理容量の合計である。ＰＧ容量５２７とＯＰ率５２６から、ＰＧユーザ領域の容量が算出される。
　ドライブ個別管理テーブル４２５は、ドライブ毎に存在する。ドライブ個別管理テーブル４２５は、ドライブ領域毎に、ドライブ番号５３１、ＬＢＡ（Logical Block Address）５３２及びレングス５３３といった情報を保持する。ドライブ番号５３１は、ドライブ領域を有するドライブの識別番号である。ＬＢＡ５３２は、ドライブ領域の先頭のＬＢＡを示す。レングス５３３は、ドライブ領域のサイズを示す。
　仮想ボリューム管理テーブル４２３は、仮想ボリュームに関する情報を保持する。仮想ボリューム管理テーブル４２３は、仮想ボリューム毎にエントリを有する。各エントリは、ボリューム番号５４１、プール番号５４２及び容量５４３といった情報を保持する。ボリューム番号５４１は、仮想ボリュームの識別番号である。プール番号５４２は、仮想ボリュームに関連付けられているプールの識別番号である。容量５４３は、仮想ボリュームの容量を示す。
　拡張／縮小判定テーブル４２６は、図１８に示すように、ＦＭリソース使用率と、非同期処理性能と、後述の拡張／縮小可否判定の結果との関係を示す。つまり、本実施例では、ＯＰ率の変更は、ＦＭリソース使用率の他に、非同期処理性能に基づく。ＯＰ率（更新容量の大きさ）は、非同期処理の発生頻度に影響する。このため、ＯＰ率の変更を、ＦＭリソース使用率の他に、非同期処理性能を基に、行うことで、ストレージシステム１０４の稼働中に最適なＯＰ率を維持することが一層期待できる。なお、ライト処理（ライトコマンドに応答して行われる処理）の性能と、非同期処理の性能との関係の一例は、図１９に示す通りである。すなわち、ＦＭＰＫ１３１の性能に余裕があれば（ライト処理性能と非同期処理性能の合計と、ＦＭＰＫの限界性能との差が十分にあれば）、非同期処理の性能（負荷）が高くなってもライト処理の性能は下がらない。しかし、ＦＭＰＫ１３１の性能に余裕が無ければ、非同期処理の性能が高くなると、ライト処理の性能が下がる。
　ＦＭリソース使用率範囲（以下、使用率範囲）として、Ｎ個の使用率範囲があり、非同期処理性能範囲（以下、性能範囲）として、Ｍ個の性能範囲がある。Ｎ及びＭは、いずれも２以上の整数であればよく、且つ、ＮとＭは同じ値でも異なる値でもよい。本実施例では、Ｎ＝３及びＭ＝３である。
　使用率範囲として、第１の使用率範囲（使用率Ｘ未満（Ｘは例えば１０％））、第２の使用率範囲（使用率Ｘ以上使用率Ｙ未満（Ｙは例えば５０％））及び第３の使用率範囲（使用率Ｙ以上）がある。使用率範囲は、複数種類のＦＭリソース使用率（メモリ７２３～キャッシュ帯域７２７）のうち最も高い（最も悪い）ＦＭリソース使用率と比較される。最も高い（最も悪い）ＦＭリソース使用率が、ＦＭＰＫ１３１においてネックと考えられ、そのようなＦＭリソース使用率が参酌されるので、ＰＧ単位のＯＰ率を最適値にする可能性を高めることができる。
　性能範囲として、第１の性能範囲（性能Ａ未満）、第２の性能範囲（性能Ａ以上性能Ｂ未満）及び第３の性能範囲（性能Ｂ以上）がある。なお、図示のＨ、Ｍ及びＬは、高、中及び低をそれぞれ意味する。
　図１８によれば、ＦＭリソース使用率が低く、且つ、非同期処理性能が低いと、拡張／縮小可否判定の結果は、「拡張可」となる傾向である。すなわち、ＦＭリソース使用率及び非同期処理性能のいずれについても余裕がある場合、ユーザ領域が大きくなれば、ビットコストの一層の低減が期待され、且つ、非同期処理の発生頻度が高くなっても差し支えないことが期待される。一方、ＦＭリソース使用率が高く、且つ、非同期処理性能が低いと、拡張／縮小可否判定の結果は、「縮小可」となる傾向である。すなわち、ＦＭリソース使用率及び非同期処理性能のいずれについても余裕が無い場合、更新領域が大きくなれば、非同期処理の発生頻度の低下が期待される。具体的には、ＦＭリソース使用率が使用率Ｘ（第１の使用率の一例）未満、且つ、非同期処理性能が性能Ａ（第１の処理性能の一例）未満の場合、拡張／縮小判定の結果は、拡張可である。一方、ＦＭリソース使用率が使用率Ｙ（第２の使用率の一例）以上、且つ、非同期処理性能が性能Ｂ（第２の処理性能の一例）以上の場合、拡張／縮小判定の結果は、縮小可である。
　なお、判定結果として、「拡張可」及び「縮小可」の他に、「不可」（拡張及び縮小のいずれも不可）がある。
　また、少なくとも１つの性能範囲の境界値、すなわち、性能Ａ及びＢのうちの少なくとも１つは、ポリシー、すなわち、容量優先と性能優先とのいずれが採用されているかによって異なる。「容量優先」とは、ライト処理の性能が高いことよりもユーザ容量が大きいことを優先することである。「性能優先」とは、ユーザ容量が大きいことよりもライト処理の性能が高いことを優先することである。性能Ａ及びＢのうちの少なくとも１つは、容量優先が採用されている場合、性能優先が採用されている場合に比して高い。このため、非同期処理性能が同じであっても、ポリシーによって、拡張／縮小可否判定の結果が異なり得る。例えば、非同期処理性能が30KIOPSの場合、性能優先では、縮退可が得られ（すなわち、非同期処理性能を下げることでライト処理性能の向上が優先され）、容量優先では、拡張可が得られる（すなわち、非同期処理性能が高くなってもユーザ容量が大きいことが優先される）。
　図７は、ＦＭＰＫコントローラ５０のメモリ２１２の構成を示す。
　メモリ２１２は、プログラム領域６０１、テーブル領域６０２及びデータキャッシュ領域６０３を有する。
　プログラム領域６０１は、プログラム、例えば、ＦＭＰＫコントローラ５０の動作を制御するＦＭＰＫ制御プログラム６１１を格納する。プログラムは、プロセッサ２１４により実行される。例えば、ＦＭＰＫ制御プログラム６１１は、ストレージコントローラ１１１からのライトコマンドに応答して、論理物理変換テーブル６２１を基にライト先の物理ページを特定し、特定したライト先物理ページを有するＦＭチップ２０２にデータをライトする。また、例えば、ＦＭＰＫ制御プログラム６１１は、ストレージコントローラ１１１からのリードコマンドに応答して、論理物理変換テーブル６２１を基にリード元の物理ページを特定し、特定したリード元物理ページを有するＦＭチップ２０２からデータをリードする。
　テーブル領域６０２は、テーブル、例えば、論理物理変換テーブル６２１、ＦＭリソース管理テーブル６２２、ページ管理テーブル６２３、ＯＰ率管理テーブル６２４及び非同期性能管理テーブル６２５を格納する。これらのテーブルについては後に詳述する。
　データキャッシュ領域６０３は、ユーザデータ６３１を一時的に格納する。ユーザデータ６３１は、ストレージコントローラ１１１からのＩ／Ｏコマンドに従うデータ（ライト対象又はリード対象のデータ）である。
　図８は、ＦＭＰＫコントローラ５０のテーブル領域６０２に格納されるテーブルの構成を示す。なお、図８の説明では、図８に示すテーブル領域６０２を有するＦＭＰＫ１３１を「対象ＦＭＰＫ１３１」と呼ぶことにする。
　ＯＰ率管理テーブル６２４は、対象ＦＭＰＫ１３１のＯＰ率に関する情報、具体的には、ＯＰ率７０１及びユーザ容量７０２を保持する。ＯＰ率７０１は、決定されたＯＰ率を示す。ユーザ容量７０２は、対象ＦＭＰＫ１３１のユーザ容量を示す。ユーザ容量７０２は、対象ＦＭＰＫ１３１の物理容量及びＯＰ率に基づき算出される。
　ＦＭリソース管理テーブル６２２は、対象ＦＭＰＫ１３１のＦＭリソース使用率に関する情報を保持する。ＦＭリソース管理テーブル６２２は、期間毎にエントリを有する。各エントリは、ＩＤ７２１、時刻７２２、メモリ７２３、ＣＰＵ７２４、バス帯域７２５、キャッシュ使用率７２６及びキャッシュ帯域７２７といった情報を保持する。ＩＤ７２１は、期間のＩＤである。時刻７２２は、期間の開始時刻を表す。メモリ７２３は、期間において特定されたメモリ使用率（メモリ２１２の使用率）を示す。ＣＰＵ７２４は、期間において特定されたプロセッサ使用率（プロセッサ２１４の使用率）を示す。バス帯域７２５は、期間において特定されたバス帯域（ＦＭバス５９の帯域）を示す。キャッシュ使用率７２６は、期間において特定されたキャッシュ使用率（データキャッシュ領域４０３の使用率）を示す。キャッシュ帯域７２７は、期間において特定されたキャッシュ帯域（キャッシュバス５８の帯域）を示す。期間は、一定期間（例えば３０分）である。メモリ７２３～キャッシュ帯域７２７の各々は、ＦＭリソース率の一例である。同一期間中に、同一種類のＦＭリソース率が複数回特定された場合、テーブル６２２に登録される値は、特定されたＦＭリソース率のうちの少なくとも１つに従う値、例えば、平均値、又は、最も高い（最も悪い）ＦＭリソース率である。また、テーブル６２４に登録されるＦＭリソース使用率は１種類でもよい。
　非同期性能管理テーブル６２５は、対象ＦＭＰＫ１３１の非同期処理の性能（例えば、単位時間当たりのＩ／Ｏ数、又は、単位時間当たりのデータ転送サイズ）に関する情報を保持する。非同期性能管理テーブル６２５は、期間毎にエントリを有する。各エントリは、ＩＤ７１１、時刻７１２、リクラメーション７１３及びリフレッシュ７１４といった情報を保持する。ＩＤ７１１は、期間のＩＤである。時刻７１２は、期間の開始時刻を表す。リクラメーション７１３は、期間において特定されたリクラメーション処理性能を示す。リフレッシュ７１４は、期間において特定されたリフレッシュ処理の性能を示す。リクラメーション処理及びリフレッシュ処理は、それぞれ、非同期処理の一例である。同一期間中に、同一種類の非同期処理性能が複数回特定された場合、テーブル６２５に登録される値は、特定された非同期処理性能のうちの少なくとも１つに従う値、例えば、平均値、最も低い（最も悪い）性能、又は、最も高い（最も良い）性能である。
　なお、「非同期処理」とは、更新データのようなデータをライト対象としたライトコマンドに応答してＦＭＰＫ１３１により行われるライト処理とは非同期にＦＭＰＫ１３１により行われる処理であって、典型的には、リクラメーション処理及びリフレッシュ処理のように、ＦＭ２２０に対するデータのライトが発生する処理である。
　「リクラメーション処理」とは、１以上の物理ブロックの各々から有効データを読み出し、読み出したデータを物理ブロック（例えば、移動元の物理ブロックよりも消去回数の少ない物理ブロック）へ移動し、移動元物理ブロックに対して消去処理を実行する処理である。リクラメーション処理により、空きの物理ブロックを増やすことができる。
　また、「リフレッシュ処理」とは、物理ブロックからデータ（特に有効データ）を読み出してエラー訂正し、エラー訂正したデータを別の物理ブロック（例えば、移動元の物理ブロックよりもＰＥ回数の少ない物理ブロック）へ移動する処理である。リフレッシュ処理により、移動元物理ブロックが割り当てられていた論理領域（例えば論理ブロック）には、移動元物理ブロックに代えて移動先物理ブロックが割り当てられる。
　論理物理変換テーブル６２１は、論理アドレスと物理アドレスの対応関係に関する情報を保持する。論理物理変換テーブル６２１は、論理ページ（論理領域の一例）毎にエントリを有する。各エントリは、論理ページ番号７３１、ＬＢＡ７３２、論理ページサイズ７３３、ステータス７３４、物理ページ番号７３５及びブロック番号７３６といった情報を保持する。論理ページ番号７３１は、論理ページの識別番号である。ＬＢＡ７３２は、論理ページの先頭ＬＢＡを示す。論理ページサイズ７３３は、論理ページのサイズを示す。ステータス７３４は、論理ページのステータスを示す。例えば、ステータス７３４としては、“有効”（ユーザ領域に基づく論理ページであってその論理ページがプールの一部として割り当てられている）、“無効”（ユーザ領域に基づく論理ページであるがその論理ページがプールの一部として割り当てられていない）、及び、“使用不可”（更新領域に基づく論理ページ）がある。物理ページ番号７３５は、論理ページに割り当てられた物理ページの識別番号である。ブロック番号７３６は、論理ページに割り当てられた物理ページを含む物理ブロックの識別番号である。
　ページ管理テーブル６２３は、物理ページに関する情報を保持する。ページ管理テーブル６２３は、物理ページ毎にエントリを有する。各エントリは、物理ページ番号７４１及びステータス７４２といった情報を保持する。物理ページ番号７４１は、物理ページの識別番号である。ステータス７４２は、物理ページのステータスを示す。
　以下、本実施例で行われる処理を説明する。
　図９は、ライト要求に応答して行われる処理の流れを示す。図１０は、ライトコマンドを受けるＦＭＰＫ１３１が行う処理の流れを示す。
　ストレージコントローラ１１１が、ホスト計算機１０１からライト要求を受信する（Ｓ９００）。ストレージコントローラ１１１（ストレージ制御プログラム４１１）が、そのライト要求に基づき、ライトコマンドを、ＰＧ８１０における少なくとも１つのＦＭＰＫ１３１に送信する。以下、図９及び図１０の説明において、１つのＦＭＰＫ１３１を例に取る。図９及び図１０の説明において、そのＦＭＰＫ１３１を「対象ＦＭＰＫ１３１」と呼ぶ。
　対象ＦＭＰＫ１３１のＦＭＰＫコントローラ５０（プロセッサ２１４）が、ライトコマンドを受信する（Ｓ９０１）。プロセッサ２１４（ＦＭＰＫ制御プログラム６１１）は、そのライトコマンドに従い、そのライトコマンドに従うライト対象のデータをＦＭ２２０に書き込む（Ｓ９０２）。
　ＦＭＰＫ制御プログラム６１１は、対象ＦＭＰＫ１３１の複数種類のＦＭリソース使用率（メモリ７２３～キャッシュ帯域７２７）をＦＭリソース管理テーブル６２２から取得する（Ｓ９０３）。なお、複数種類のＦＭリソース使用率は、それぞれ、定期的に計測されてＦＭリソース管理テーブル６２２に登録されてもよいし、このＳ９０３において計測されてもよい。
　ＦＭＰＫ制御プログラム６１１は、非同期処理の要否を判定する（Ｓ９０４）。ライトコマンドに応答して行われる処理に関し、非同期処理は、典型的には、リクラメーション処理である。例えば、物理ブロック総数に対する空きブロック数が閾値未満の場合（つまり空きブロックが少ない場合）、リクラメーション処理が要と判定される。
　Ｓ９０４の判定結果が真の場合（Ｓ９０４：Ｙ）、ＦＭＰＫ制御プログラム６１１は、非同期処理を実行する（Ｓ９０５）。そして、ＦＭＰＫ制御プログラム６１１は、その非同期処理に伴う変更後のＦＭリソース率をＦＭリソース管理テーブル６２２に登録する（Ｓ９０６）。
　ＦＭＰＫ制御プログラム６１１は、対象ＦＭＰＫ１３１に障害が生じたか否かを判定する（Ｓ９０７）。ここで言う「障害」とは、対象ＦＭＰＫ１３１のユーザ容量のうちの空き容量が所定の容量未満になった（例えば、ユーザ領域８０１Ｕを構成する論理ページの総数に対し、論理ページ“無効”の数の比率が所定の値未満になった）、又は、対象ＦＭＰＫ１３１のライト処理の性能が所定の性能未満になった、である。
　Ｓ９０７の判定結果が真の場合（Ｓ９０７：Ｙ）、ＦＭＰＫ制御プログラム６１１は、アラートを発行する（Ｓ９０８）。
　以上が、ライト要求に応答して行われる処理である。なお、この処理において、ＦＭ２２０に対するライトに対して応答９５０が返り、ライトコマンドに対する応答９６０が返り、ライト要求に対する応答９７０が返る。
　各ＦＭＰＫ１３１は、定期的に、非同期処理要否を判定してもよい。例えば、ストレージコントローラ１１１は、定期的に、定期処理コマンドを、ＦＭＰＫ１３１に送信してもよい。
　図１１は、定期処理コマンドを受けるＦＭＰＫ１３１が行う処理の流れを示す。図１１の説明では、そのＦＭＰＫ１３１を「対象ＦＭＰＫ１３１」と呼ぶ。
　ＦＭＰＫコントローラ５０（プロセッサ２１４）が、定期処理コマンドを受信する（Ｓ１１０１）。
　プロセッサ２１４（ＦＭＰＫ制御プログラム６１１）は、対象ＦＭＰＫ１３１の複数種類のＦＭリソース使用率（メモリ７２３～キャッシュ帯域７２７）をＦＭリソース管理テーブル６２２から取得する（Ｓ１１０２）。
　ＦＭＰＫ制御プログラム６１１は、非同期処理の要否を判定する（Ｓ１１０３）。ここでの非同期処理は、リクラメーション処理に限られない。
　Ｓ１１０３の判定結果が真の場合（Ｓ１１０３：Ｙ）、ＦＭＰＫ制御プログラム６１１は、非同期処理を実行する（Ｓ１１０４）。そして、ＦＭＰＫ制御プログラム６１１は、その非同期処理に伴う変更後のＦＭリソース率をＦＭリソース管理テーブル６２２に登録する（Ｓ１１０５）。
　ＦＭＰＫ制御プログラム６１１は、対象ＦＭＰＫ１３１に上述の障害が生じたか否かを判定する（Ｓ１１０６）。
　Ｓ１１０６の判定結果が真の場合（Ｓ１１０６：Ｙ）、ＦＭＰＫ制御プログラム６１１は、アラートを発行する（Ｓ１１０７）。
　図１２は、ストレージコントローラ１１１がアラートを受けたことに応答して行われる処理の流れを示す。図１３は、拡張／縮小判定を含む処理の流れを示す。ユーザ容量枯渇又は性能低下によるアラートが生じたことを契機にユーザ容量の拡張又は縮小が行われるので、ユーザ容量を最適にすることが、アラートの原因を解消することにもなる。
　プロセッサ１２３（ストレージ制御プログラム４１１）は、ＦＭＰＫ１３１からアラートを受けた場合、そのＦＭＰＫ１３１を含んだＰＧ８１０を、ＰＧ管理テーブル４２４を基に特定し、その特定したＰＧ８１０について、ユーザ容量の拡張又は縮小を実行するか否かの判定である拡張／縮小判定を実行する（Ｓ１２０１）。
　Ｓ１２０１の判定結果が真の場合（Ｓ１２０１：Ｙ）、ストレージ制御プログラム４１１は、その特定したＰＧ８１０について、ユーザ容量の拡張又は縮小を実行する（Ｓ１２０２）。
　以下、図１２及び図１４を参照して、拡張／縮小判定の詳細を説明する。なお、アラートの発行元のＦＭＰＫ１３１を含んだＰＧ８１０を、以下、「対象ＰＧ８１０」と呼ぶ。
　ストレージ制御プログラム４１１は、対象ＰＧ８１０のうち、Ｓ１２０１－１及びＳ１２０１－２が未だされていないいずれかのＦＭＰＫ１３１を選択する。ここで選択されたＦＭＰＫ１３１を、「選択ＦＭＰＫ１３１」と呼ぶ。
　ストレージ制御プログラム４１１は、選択ＦＭＰＫ１３１からＦＭリソース使用率及び非同期処理性能を特定する（Ｓ１２０１－１）。具体的には、ストレージ制御プログラム４１１は、選択ＦＭＰＫ１３１に対し、取得コマンドを送信する。選択ＦＭＰＫ１３１のプロセッサ２１４（ＦＭＰＫ制御プログラム６１１）は、その取得コマンドに応答して、ＦＭリソース管理テーブル６２２から複数種類のＦＭリソース使用率（メモリ７２３～キャッシュ帯域７２７）を取得し、且つ、非同期性能管理テーブル６２５から最新の非同期処理性能（リクラメーション７１３及びリフレッシュ７１４）を取得し（Ｓ１２０１－１－１）、取得したＦＭリソース使用率及び非同期処理性能を含んだ応答（取得コマンドに対する応答）を、ストレージコントローラ１１１に返す。
　ストレージ制御プログラム４１１は、選択ＦＭＰＫ１３１の最高ＦＭリソース使用率及び最高非同期処理性能に対応した結果を、拡張／縮小判定テーブル４２６から特定する（Ｓ１２０１－２）。
　結果が「不可」の場合、ストレージ制御プログラム４１１は、対象ＰＧ８１０について、Ｓ１２０１の判定結果を偽（Ｓ１２０１：Ｎ）とする。
　結果が「拡張可」又は「縮小可」の場合、ストレージ制御プログラム４１１は、対象ＰＧ８１０に、Ｓ１２０１－１及びＳ１２０１－２が未だされていないＦＭＰＫ１３１があれば、そのＦＭＰＫ１３１について、Ｓ１２０１－１及びＳ１２０１－２を実行する。
　結果が「拡張可」又は「縮小可」の場合、ストレージ制御プログラム４１１は、対象ＰＧ８１０に、Ｓ１２０１－１及びＳ１２０１－２が未だされていないＦＭＰＫ１３１が無ければ、対象ＰＧ８１０の全てのＦＭＰＫ１３１について、同じ結果が得られたか（すなわち、全て「拡張可」であるか、又は、全て「縮小可」であるか）を、判定する（Ｓ１２０１－３）。Ｓ１２０１－３の判定結果が真の場合（Ｓ１２０１－３：Ｙ）、Ｓ１２０１の判定結果が真（Ｓ１２０１：Ｙ）となる。Ｓ１２０１－３の判定結果が偽の場合（Ｓ１２０１－３：Ｎ）、Ｓ１２０１の判定結果が偽（Ｓ１２０１：Ｎ）となる。これにより、対象ＰＧ８１０について、ＰＧ単位での拡張又は縮小を行うことができる。なお、ストレージ制御プログラム４１１は、対象ＰＧ８１０について、異なる結果が得られ次第、Ｓ１２０１の判定結果をＳ１２０１：Ｎとしてもよい。
　以下、図１２及び図１５を参照して、Ｓ１２０２に関してストレージコントローラ１１１が行う処理の詳細を説明する。
　対象ＰＧ８１０を構成する各ＦＭＰＫ１３１について、Ｓ１２０２－１が実行される。すなわち、Ｓ１２０１の判定結果が、「拡張可」の場合、ストレージ制御プログラム４１１は、対象ＰＧ８１０を構成する各ＦＭＰＫ１３１に、拡張コマンドを送信する。一方、Ｓ１２０１の判定結果が、「縮小可」の場合、ストレージ制御プログラム４１１は、対象ＰＧ８１０を構成する各ＦＭＰＫ１３１に、縮小コマンドを送信する。
　その後、Ｓ１２０２－２が実行される。すなわち、ストレージ制御プログラム４１１は、対象ＰＧ８１０について、拡張コマンド又は縮小コマンドに従う変更後のＯＰ率を、ＯＰ率５２６として、ＰＧ管理テーブル４２４に登録する。なお、本実施例では、拡張コマンドに従うＯＰ率変化量、及び、縮小コマンドに従うＯＰ率変化量は、一定である。但し、拡張コマンドに従うＯＰ率変化量と、縮小コマンドに従うＯＰ率変化量は、同じであっても異なっていてもよい。
　なお、ＯＰ率変化量に代えて、ユーザ容量変化量が、一定でもよい。また、ユーザ容量変化量に関し、拡張の際の変化量と、縮小の際の変化量は、同じであっても異なっていてもよい。
　また、いずれかのＦＭＰＫ１３１からアラートが発生したときに代えて、例えば定期的に、Ｓ１２０１が実行されてもよい。
　以上のように、アラートが発生する都度に、又は、定期的に、拡張／縮小可否判定が実行されて、判定結果に応じて、ＰＧ単位でＯＰ率が変更される。つまり、ストレージシステム１０４の稼働中にＦＭリソース使用率と非同期処理性能とに基づくＯＰ率変更が繰り返されることになる。結果として、ストレージシステム１０４の稼働中に最適なＯＰ率を維持することが期待できる。
　図１６は、拡張に関してＦＭＰＫ１３１が行う処理の流れを示す。
　ＦＭＰＫ１３１（ＦＭＰＫ制御プログラム６１１）が、拡張コマンドを受信し（Ｓ１２０１－１－Ａ１）、ユーザ容量を拡張する（Ｓ１２０１－１－Ａ２）。具体的には、例えば、ＦＭＰＫ制御プログラム６１１は、更新領域からＯＰ率変化量分の空き領域（１以上の空きブロック（空きページの集合としてブロック））を確保する。なお、ＯＰ率変化量分の空き領域が無い場合、リクラメーション処理により、空きブロックが増やされてよい。
　その後、ＦＭＰＫ制御プログラム６１１が、ＯＰ率変化量分の論理ページの各々のステータス７３４を、“使用不可”から“無効”に変更し、且つ、ＯＰ率７０１を、拡張後のＯＰ率に変更する（Ｓ１２０１－１－Ａ３）。ＦＭＰＫ制御プログラム６１１は、拡張コマンドに対する完了応答をストレージコントローラ１１１に返す。
　図１７は、縮小に関してＦＭＰＫ１３１が行う処理の流れを示す。
　ＦＭＰＫ１３１（ＦＭＰＫ制御プログラム６１１）が、縮小コマンドを受信し（Ｓ１２０１－１－Ｂ１）、ＯＰ率変化量分の論理ページの各々のステータス７３４を、“無効”から“使用不可”に変更し、ＯＰ率７０１を、縮小後のＯＰ率に変更する（Ｓ１２０１－１－Ｂ２）。ＦＭＰＫ制御プログラム６１１は、縮小コマンドに対する完了応答をストレージコントローラ１１１に返す。縮小は、ユーザ領域に空き領域があるために可能なので、ユーザ領域からＯＰ率変化量分の空き領域の確保は不要である。
　以上が、実施例１の説明である。
　なお、本実施例では、図２０に例示する設定画面２０００（例えばＧＵＩ（Graphical User Interface））経由で、種々の設定が行われてもよい。画面２０００は、例えば、管理計算機１０２に表示されてよい。画面２０００は、例えば、ＰＧ指定ＵＩ（ユーザインターフェース）２００３と、ユーザ容量変更設定ＵＩ２００４と、ポリシー設定ＵＩ２００５と、設定変更ボタン２００１と、ＯＰ率手動変更ボタン２００２とを有する。ＰＧ指定ＵＩ２００３により、設定が関連付けられるＰＧを指定することができる。ユーザ容量変更設定ＵＩ２００４により、ユーザ容量の変更（ＯＰ率の変更）の有無や、その変更を自動で行うか手動で行うかを指定することができる。ポリシー設定ＵＩ２００５により、性能優先と容量優先のいずれを採用するのかを指定することができる。設定変更ボタン２００１が押された場合に、ＵＩ２００３、２００４及び２００５経由での指定（設定）が、テーブル４２４に反映される（テーブル４２４には、ＯＰ率変更が有効か否か（自動か手動か）を表すカラムが設けられていてもよい）。ＯＰ率手動変更ボタン２００２が押された場合に、手動で、ＯＰ率が変更される。
　また、本実施例では、図２１に例示する予測画面２１００（例えばＧＵＩ）が、例えばストレージ制御プログラム４１１により表示されてもよい。例えば、ストレージ制御プログラム４１１は、アラート発行元のＦＭＰＫ１３１について、最高ＦＭリソース使用率（ＦＭリソース使用率の種別も含む）とＯＰ率（ユーザ容量）とを含む現在状況２０１４と、ＯＰ率を変更（拡張又は縮小）したと仮定した場合のＦＭリソース使用率とＯＰ率（ユーザ容量）とを含む予測状況２０１５とを画面２１００に表示してよい。画面２１００は、ＯＰ率変更ボタン２１０１とキャンセルボタン２１０２とを有する。ＯＰ率変更ボタン２１０１が押された場合、ストレージ制御プログラム４１１が、アラート発行元のＦＭＰＫ１３１を含むＰＧ８１０について、ＯＰ率変更を実行してもよい。これにより、ＯＰ率変更後の予測状況を確認した上で、ＯＰ率を変更することを決定することができる。なお、キャンセルボタン２１０２が押された場合、ストレージ制御プログラム４１１が、アラート発行元のＦＭＰＫ１３１を含むＰＧ８１０について、ＯＰ率変更をスキップしてよい。
　また、本実施例では、ストレージシステム１０４の稼働中、ユーザ容量が変わるが、ホスト計算機１０１からは、ユーザ容量の変更は見えない。なぜなら、ホスト計算機１０１に提供されているボリュームは、仮想ボリュームであり、プールの容量が変わるものの、仮想ボリュームそれ自体の容量は変更しないためである。
　実施例２を説明する。その際、実施例１との相違点を主に説明し、実施例１との共通点については説明を省略又は簡略する。
　本実施例では、ユーザ容量の変更量は可変である。例えば、ストレージ制御プログラム４１１及びＦＭＰＫ制御プログラム６１１のうちのいずれかが、ＦＭリソース使用率と非同期処理性能とに基づいて、ユーザ容量の変更量を決定する。具体的には、例えば、ストレージ制御プログラム４１１及びＦＭＰＫ制御プログラム６１１のうちのいずれかが、ＦＭＰＫ１３１毎に、そのＦＭＰＫ１３１の最高ＦＭリソース使用率と最高非同期処理性能とを基に、ユーザ容量の最大変更量を決定する。ＰＧ８１０について、ストレージ制御プログラム４１１が、ＰＧ８１０を構成する複数のＦＭＰＫ１３１にそれぞれ対応した複数の最大変更量に基づく最大変更量（例えば、複数の最大変更量のうちの最小値）を決定する。ストレージ制御プログラム４１１が、決定した最大変更量から所定のマージンを削減した変更量を、ユーザ容量の変更量として決定する。
　実施例２によれば、ユーザ容量の変更量は、固定値ではなく、ＦＭリソース使用率と非同期処理性能とに従う最大変更量がベースとなる。これにより、ＯＰ率を最適値とするまでの時間を短縮することが期待できる。
　また、実施例２によれば、ユーザ容量の変化量は、最大変更量から所定のマージンが削減された量である。これにより、ストレージシステム１０４の性能に悪影響が生じる可能性を軽減することができる。
　以下、拡張を例に取り、実施例２の一例を、図２２を参照して、説明する。図２２の左側が、ユーザ容量遷移を示し、図２２の右側が、その遷移に伴う性能遷移を示す。
　非同期処理性能が低く、且つ、ＦＭリソース使用率も低い場合、ライト処理性能と非同期処理性能の合計とＦＭＰＫの限界性能との差が十分にある。この場合、ＦＭリソース使用率と非同期処理性能とに従う最大拡張量は、比較的大きい。ストレージ制御プログラム４１１（又はＦＭＰＫ制御プログラム６１１）が、その最大拡張量から所定のマージンを削減した量Ｐを、拡張量として決定する。ユーザ容量を拡張量Ｐ分拡張すると、拡張量Ｐ分更新容量が減るため、非同期処理の発生頻度が増え、結果として、非同期処理性能が性能Ｒ分増える。
　非同期処理性能が増え、ＦＭリソース使用率が高くなった場合、ＦＭリソース使用率と非同期処理性能とに従う最大拡張量として、ストレージ制御プログラム４１１（又はＦＭＰＫ制御プログラム６１１）は、非同期処理性能が低く、且つ、ＦＭリソース使用率も低い場合の最大拡張量に比べて小さい量を決定する。そして、ストレージ制御プログラム４１１は、その決定した最大拡張量から所定のマージンを削減した量Ｑを、拡張量として決定する（マージンは、固定サイズでよいが、最大拡張量と同様、可変でもよい）。ユーザ容量を更に拡張量Ｑ分拡張すると、拡張量Ｑ分更新容量が減るため、非同期処理の発生頻度が更に増え、結果として、非同期処理性能が更に性能Ｓ分増える。
　このようにして、ライト処理性能の低下を避けながら、ユーザ容量をできるだけ拡張していくことができるが、ユーザ容量の変更量を、ＦＭリソース使用率と非同期処理性能とに従う可変量とすることで、最適なユーザ容量とすること（最適なＯＰ率とすること）を、実施例１よりも短い時間で実現することが、期待できる。
　以上、幾つかの実施例を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施例にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。例えば、ＰＧが採用されないストレージシステムにおいては、ＦＭＰＫが、拡張／縮小可否判定を実行してもよい。例えば、ＦＭＰＫ制御プログラムは、内部的にアラート発行し（アラートの発行先がＦＭＰＫ制御プログラムであり）、そのアラートを受けて、拡張／縮小可否判定を実行してもよい。そして、ＦＭＰＫのＦＭＰＫ制御プログラムは、ユーザ容量を、そのＦＭＰＫの１以上のリソース使用率のうちの少なくとも１つに基づく決定に従うユーザ容量に変更することができる。「ユーザ容量を、そのＦＭＰＫの１以上のリソース使用率のうちの少なくとも１つに基づく決定に従うユーザ容量に変更する」とは、ＦＭＰＫの上位システムからの変更コマンドに応答して行われることであってもよいし、ＦＭＰＫ制御プログラムが、そのＦＭＰＫの１以上のリソース使用率のうちの少なくとも１つに基づいて、ユーザ容量を変更することであってもよい。
１０４：ストレージシステム

Claims (14)

  1. 　それぞれが、不揮発メモリと、複数種類のリソースを含む複数のリソースとを有する、１以上の不揮発メモリデバイスと、
    　前記１以上の不揮発メモリデバイスに接続された１以上のプロセッサであるプロセッサ部と
    を有し、
    　前記１以上の不揮発メモリデバイスの各々について、前記不揮発メモリのうちの少なくとも一部が、データが書き込まれる記憶領域であるユーザ領域と、そのデータの更新データが書き込まれる記憶領域である更新領域とで構成されており、
    　前記プロセッサ部は、前記１以上の不揮発メモリデバイスの１以上のリソース使用率のうちの少なくとも１つに基づき、前記１以上の不揮発メモリデバイスの各々について、ユーザ領域の容量であるユーザ容量を変更する、
    ストレージシステム。
  2. 　前記１以上の不揮発メモリデバイスの各々は、
    　　ライトコマンドに応答してそのライトコマンドに従うライト対象データをその不揮発メモリデバイスの不揮発メモリに書き込む処理であるライト処理と、
    　　前記ライト処理とは非同期に行われる処理である非同期処理と
    を実行するようになっており、
    　前記１以上の不揮発メモリデバイスの各々について、ユーザ容量の変更は、更に、前記１以上の不揮発メモリデバイスの各々についての非同期処理性能に基づく、
    請求項１記載のストレージシステム。
  3. 　前記１以上の不揮発メモリデバイスの少なくとも１つについて、その不揮発メモリデバイスと前記プロセッサ部とのうちのいずれかがが、その不揮発メモリデバイスのリソース使用率と、その不揮発メモリデバイスの非同期処理性能とに基づいて、その不揮発メモリデバイスのユーザ容量を拡張可、縮小可及び変更不可のいずれであるかの判定である拡張／縮小可否判定を実行し、
    　前記１以上の不揮発メモリデバイスの各々について、ユーザ容量の変更は、前記１以上の不揮発メモリデバイスの少なくとも１つについての拡張／縮小判定の結果に基づいている、
    請求項２記載のストレージシステム。
  4. 　前記１以上の不揮発メモリデバイスの少なくとも１つについて、
    　　その不揮発メモリデバイスのリソース使用率が第１の使用率未満、且つ、その不揮発メモリデバイスの非同期処理性能が第１の処理性能未満の場合、拡張／縮小判定の結果は、拡張可であり、
    　　その不揮発メモリデバイスのリソース使用率が第２の使用率以上、且つ、その不揮発メモリデバイスの非同期処理性能が第２の処理性能以上の場合、拡張／縮小判定の結果は、縮小可であり、
    　前記第２の使用率は、前記第１の使用率以上であり、
    　前記第２の処理性能は、前記第１の処理性能以上である、
    請求項３記載のストレージシステム。
  5. 　前記１以上の不揮発メモリデバイスの少なくとも１つについて、前記第１及び前記第２の処理性能の各々は、前記ライト処理の性能が高いことよりも前記ユーザ容量が大きいことを優先することである容量優先というポリシーが採用されている場合、前記ユーザ容量が大きいことよりも前記ライト処理の性能が高いことを優先することである性能優先というポリシーが採用されている場合に比して、高い、
    請求項４記載のストレージシステム。
  6. 　前記１以上の不揮発メモリデバイスは、パリティグループを構成する複数の不揮発メモリデバイスであり、
    　前記複数の不揮発メモリデバイスの各々について、ユーザ容量の変更は、前記複数の不揮発メモリデバイスの拡張／縮小判定の結果が同じ場合に実行される、
    請求項３記載のストレージシステム。
  7. 　前記１以上の不揮発メモリデバイスの少なくとも１つについて、その不揮発メモリデバイスのユーザ容量のうちの空き容量が所定の容量未満になった、又は、その不揮発メモリデバイスのライト処理の性能が所定の性能未満になった場合、その不揮発メモリデバイスと前記プロセッサ部とのうちのいずれかがが、前記拡張／縮小可否判定を実行する、
    請求項３記載のストレージシステム。
  8. 　前記１以上の不揮発メモリデバイスの各々について、ユーザ容量の変更のために参酌されるリソース使用率は、その不揮発メモリデバイスの複数のリソース使用率のうち最も高いリソース使用率である、
    請求項１記載のストレージシステム。
  9. 　前記１以上の不揮発メモリデバイスの各々について、ユーザ容量に関する変更量は一定である、
    請求項１記載のストレージシステム。
  10. 　前記１以上の不揮発メモリデバイスの各々について、ユーザ容量に関する変更量は、リソース使用率と非同期処理性能とに従う最大変更量よりも所定のマージン量を削減した量である、
    請求項２記載のストレージシステム。
  11. 　前記１以上の不揮発メモリデバイスの各々について、ユーザ容量の変更とは、ＯＰ（Over Provisioning）率の変更であり、
    　前記１以上の不揮発メモリデバイスの各々について、ＯＰ率は、下記の（ａ）、（ｂ）及び（ｃ）のうちの少なくとも２つに基づいて決定された比率であって、ユーザ容量が大きい程に小さい値となる、
    （ａ）ユーザ容量、
    （ｂ）更新領域の容量である更新容量、及び、
    （ｃ）前記ユーザ領域と前記更新領域とで構成された記憶領域の容量である物理容量、
    請求項１記載のストレージシステム。
  12. 　前記プロセッサ部は、前記１以上の不揮発メモリデバイスの少なくとも１つについて、リソース使用率とユーザ容量とを含む現在状況と、ユーザ容量を変更したと仮定した場合のリソース使用率とユーザ容量とを含む予測状況とを表す情報の表示を実行し、
    　前記プロセッサ部は、その表示に対して変更の指示を受けた場合に、前記１以上の不揮発メモリデバイスの各々について、ユーザ容量を変更する、
    請求項１記載のストレージシステム。
  13. 　それぞれが、不揮発メモリと、複数種類のリソースを含む複数のリソースとを有する、１以上の不揮発メモリデバイスの１以上のリソース使用率を取得し、
    　　前記１以上の不揮発メモリデバイスの各々について、前記不揮発メモリのうちの少なくとも一部が、データが書き込まれる記憶領域であるユーザ領域と、そのデータの更新データが書き込まれる記憶領域である更新領域とで構成されており、
    　前記取得した１以上のリソース使用率のうちの少なくとも１つに基づき、前記１以上の不揮発メモリデバイスの各々について、ユーザ領域の容量であるユーザ容量を変更する、
    記憶制御方法。
  14. 　不揮発メモリと、
    　複数種類のリソースを含み、前記不揮発メモリに接続された複数のリソースと
    を有し、
    　前記複数のリソースは、１以上のプロセッサを含むプロセッサ部を含み、
    　前記不揮発メモリのうちの少なくとも一部が、データが書き込まれる記憶領域であるユーザ領域と、そのデータの更新データが書き込まれる記憶領域である更新領域とで構成されており、
    　前記プロセッサ部は、前記ユーザ領域の容量であるユーザ容量を、１以上のリソース使用率のうちの少なくとも１つに基づく決定に従うユーザ容量に変更する、
    不揮発メモリデバイス。
PCT/JP2017/006034 2017-02-20 2017-02-20 ストレージシステム及び記憶制御方法 WO2018150561A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019500143A JP6681512B2 (ja) 2017-02-20 2017-02-20 ストレージシステム及び記憶制御方法
PCT/JP2017/006034 WO2018150561A1 (ja) 2017-02-20 2017-02-20 ストレージシステム及び記憶制御方法
US16/328,145 US10838855B2 (en) 2017-02-20 2017-02-20 Storage system and storage control method
CN201780071169.8A CN109964210B (zh) 2017-02-20 2017-02-20 存储系统和存储控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/006034 WO2018150561A1 (ja) 2017-02-20 2017-02-20 ストレージシステム及び記憶制御方法

Publications (1)

Publication Number Publication Date
WO2018150561A1 true WO2018150561A1 (ja) 2018-08-23

Family

ID=63170141

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006034 WO2018150561A1 (ja) 2017-02-20 2017-02-20 ストレージシステム及び記憶制御方法

Country Status (4)

Country Link
US (1) US10838855B2 (ja)
JP (1) JP6681512B2 (ja)
CN (1) CN109964210B (ja)
WO (1) WO2018150561A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878369B2 (ja) * 2018-09-03 2021-05-26 株式会社日立製作所 ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102900A (ja) * 2006-10-19 2008-05-01 Samsung Electronics Co Ltd メモリ装置内のアドレッシング可能な空間を再配置させる方法及び装置
JP2011505046A (ja) * 2007-11-28 2011-02-17 サンドフォース インコーポレイテッド メモリの寿命を延長するためにメモリ内のスペア領域を増加させること
JP2014513356A (ja) * 2011-04-26 2014-05-29 エルエスアイ コーポレーション 不揮発性記憶のための可変オーバープロビジョニング
JP2016162397A (ja) * 2015-03-05 2016-09-05 富士通株式会社 ストレージ制御装置、制御システム及び制御プログラム
WO2016181528A1 (ja) * 2015-05-13 2016-11-17 株式会社日立製作所 ストレージ装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4083997B2 (ja) * 2001-04-16 2008-04-30 株式会社日立製作所 レンタルストレージのサービス方法、および、レンタルストレージシステム
US8214580B2 (en) * 2009-10-23 2012-07-03 International Business Machines Corporation Solid state drive with adjustable drive life and capacity
CN102081575A (zh) * 2011-01-27 2011-06-01 北京深思洛克软件技术股份有限公司 虚拟磁盘存储空间的动态分配方法和装置
US9141532B2 (en) * 2012-12-26 2015-09-22 Western Digital Technologies, Inc. Dynamic overprovisioning for data storage systems
US9817768B2 (en) 2013-10-10 2017-11-14 Hitachi, Ltd. Storage system and data storing method
JP6444917B2 (ja) * 2016-03-08 2018-12-26 東芝メモリ株式会社 ストレージシステム、情報処理システムおよび制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102900A (ja) * 2006-10-19 2008-05-01 Samsung Electronics Co Ltd メモリ装置内のアドレッシング可能な空間を再配置させる方法及び装置
JP2011505046A (ja) * 2007-11-28 2011-02-17 サンドフォース インコーポレイテッド メモリの寿命を延長するためにメモリ内のスペア領域を増加させること
JP2014513356A (ja) * 2011-04-26 2014-05-29 エルエスアイ コーポレーション 不揮発性記憶のための可変オーバープロビジョニング
JP2016162397A (ja) * 2015-03-05 2016-09-05 富士通株式会社 ストレージ制御装置、制御システム及び制御プログラム
WO2016181528A1 (ja) * 2015-05-13 2016-11-17 株式会社日立製作所 ストレージ装置

Also Published As

Publication number Publication date
JP6681512B2 (ja) 2020-04-15
JPWO2018150561A1 (ja) 2019-04-25
CN109964210A (zh) 2019-07-02
US10838855B2 (en) 2020-11-17
CN109964210B (zh) 2023-05-30
US20190196962A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6802209B2 (ja) ストレージシステム
JP6006431B2 (ja) ストレージシステムおよびデータ記憶方法
US10802733B2 (en) Methods and apparatus for configuring storage tiers within SSDs
JP6527961B2 (ja) 計算機システム
JP6062060B2 (ja) ストレージ装置、ストレージシステム、及びストレージ装置制御方法
JP6007332B2 (ja) ストレージシステム及びデータライト方法
US20190361611A1 (en) Storage system
WO2016135954A1 (ja) ストレージ装置および不揮発メモリデバイス
WO2016067328A1 (ja) 不揮発メモリデバイスを有するストレージ装置、及び、不揮発メモリデバイス
KR20120079026A (ko) 비휘발성 메모리를 갖는 시스템을 위한 동적 및 정적 데이터의 처리
US10049042B2 (en) Storage device, semiconductor memory device, and method for controlling same
CN110928487A (zh) 存储装置和存储装置的操作方法
WO2017077624A1 (ja) 不揮発メモリデバイス、及び、不揮発メモリデバイスを有するストレージ装置
TW201915754A (zh) 資料儲存裝置及其操作方法
JP2017174387A (ja) メモリコントローラ、不揮発性記憶装置、不揮発性記憶システム、及びメモリ制御方法
CN112286838A (zh) 存储设备可配置的映射粒度系统
JP2018160189A (ja) メモリシステム
JP4829202B2 (ja) 記憶装置及びメモリ制御方法
JP2010237907A (ja) ストレージ装置および記録方法
WO2018150561A1 (ja) ストレージシステム及び記憶制御方法
US10713163B2 (en) Set aware system data and mapping tables
US10915441B2 (en) Storage system having non-volatile memory device
JP6696052B2 (ja) ストレージ装置及び記憶領域管理方法
WO2018167890A1 (ja) 計算機システム及び管理方法
WO2018142622A1 (ja) 計算機

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896592

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019500143

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896592

Country of ref document: EP

Kind code of ref document: A1