WO2018116392A1 - 情報処理システム、及び、情報処理方法 - Google Patents

情報処理システム、及び、情報処理方法 Download PDF

Info

Publication number
WO2018116392A1
WO2018116392A1 PCT/JP2016/088031 JP2016088031W WO2018116392A1 WO 2018116392 A1 WO2018116392 A1 WO 2018116392A1 JP 2016088031 W JP2016088031 W JP 2016088031W WO 2018116392 A1 WO2018116392 A1 WO 2018116392A1
Authority
WO
WIPO (PCT)
Prior art keywords
page
data
area
flash
pool
Prior art date
Application number
PCT/JP2016/088031
Other languages
English (en)
French (fr)
Inventor
彰 出口
智大 川口
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2016/088031 priority Critical patent/WO2018116392A1/ja
Publication of WO2018116392A1 publication Critical patent/WO2018116392A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/08—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers from or to individual record carriers, e.g. punched card, memory card, integrated circuit [IC] card or smart card

Definitions

  • the present invention relates to an information processing system.
  • flash drive There is a storage system that includes a drive composed of flash memory (referred to as a “flash drive”).
  • a flash drive has characteristics different from an HDD (Hard Disk Drive) in that there is an upper limit (lifetime) in the number of times of writing and in that data cannot be directly overwritten. Therefore, when updating data stored in the flash drive, it is necessary to write new data in another area and invalidate the old data.
  • reclamation processing is performed on the area where invalid data and valid data are stored, by copying the valid data in that area to another area and clearing that area so that new data can be written.
  • wear leveling processing is performed to level out the lifetime between flash memory chips and extend the lifetime of the entire flash drive.
  • a spare area is provided in the flash drive.
  • a spare area typically, a spare area of 20% to 30% of the total capacity of the flash drive is provided.
  • the flash drive shows the capacity of the area excluding the spare area to the host device. For example, in the case of a flash drive having a total capacity of 1 TB and 20% of which is a spare area, the flash drive shows 0.8 TB as an available capacity to the host device.
  • An area excluding a spare area in the entire area of the flash drive is referred to as a user area. If the ratio of the spare area to the entire area is reduced, the user area increases, so the cost per unit capacity decreases.
  • the reclamation process uses a spare area and an unused area in the user area.
  • An area combining the spare area and the unused area in the user area is referred to as an empty area.
  • Patent Document 1 when there are many random write accesses that tend to consume the life of the flash memory, the spare area is increased, and in the case of sequential write where the consumption of the life of the flash memory is less than the random write, by reducing the spare area, Techniques for optimizing flash life have been disclosed.
  • An object of the present invention is to appropriately control a free area related to a flash memory and to suppress a cost per unit capacity.
  • An information processing system includes a processor and a plurality of flash drives, and the plurality of flash drives have a user area for storing data and a spare area.
  • the processor configures one or a plurality of disk groups from a plurality of flash drives, manages a pool configured from the disk groups, and provides a virtual volume to which pages as storage areas on the pool are allocated.
  • the processor adjusts the capacity of the spare area of the flash drive that constitutes the first disk group when the first disk group of one or more disk groups is added to or removed from the pool.
  • Explanatory drawing of the relationship between a flash drive, a pool, and a page A configuration example of a storage system.
  • Example of flash drive configuration Explanatory drawing of the relationship between a flash drive, a parity group, a pool, a page, and a virtual volume.
  • Example of control information and program An example of a PG table.
  • Block table example The flowchart which shows the process example of a capacity
  • FIG. 6 is an explanatory diagram of an outline of Example 2.
  • the flowchart which shows the process example of a vacant area check program The flowchart which shows the process example of a page movement program.
  • the flowchart which shows the process example of a movement page selection program Explanatory drawing of the outline
  • program may be used as the subject. However, since the program performs processing determined by being executed by the processor, the description may be given using the processor as the subject. Further, the processing disclosed with the program as the subject may be processing performed by a processor that executes the program or an apparatus having the program (for example, a control device, a controller, or a storage system). Also, part or all of the processing performed by the processor executing the program may be performed by a hardware circuit instead of or in addition to the processor. Various programs may be installed in each computer by a program distribution server or a computer-readable storage medium.
  • FIG. 1 is a diagram for explaining the relationship among the flash drive 240, the pool 400, and the page 402. The problem according to the present embodiment will be described with reference to FIG.
  • the storage system includes one or more flash drives 240. However, here, for the sake of easy understanding, only one flash drive 240 is provided. However, a plurality of flash drives 240 may be grouped in units of parity groups (PG: Parity Group) to form a RAID (Redundant Arrays of Independent Disks), which is an example of a highly reliable technology.
  • PG Parity Group
  • RAID Redundant Arrays of Independent Disks
  • a group composed of flash drives 240 such as a parity group and a RAID group is also called a disk group.
  • the capacity virtualization function related to thin provisioning collectively manages the capacity of a plurality of physical storage devices (for example, flash memory) installed in the storage system as a pool.
  • the capacity virtualization function provides a virtual volume to the host computer.
  • the capacity virtualization function secures a free page in the pool, assigns the free page to the address of the virtual volume, and writes data to the free page .
  • the size of one page is several MB to several hundred MB. As a result, the capacity of unallocated pages is not consumed, so that the entire capacity of the storage system can be used efficiently.
  • the total capacity of the flash drive 240 is the sum of the capacity of the user area 310 and the capacity of the spare area 320.
  • the capacity of the user area 310 is “0.8 TB”
  • the capacity of the spare area 320 is “0.2 TB”
  • the total capacity of the flash drive 240 is “1 TB” in total.
  • the pool 400 is managed by the capacity virtualization function of the storage system.
  • the capacity of the pool 400 is equal to “0.8 TB” of the capacity of the user area 310 of the flash drive 240.
  • the page unallocated area 340 is always secured.
  • the page unallocated area 340 corresponds to the area 341 (free area) of the flash drive 240.
  • the page 402 is a unit of area allocated from the pool 400 to the virtual volume.
  • the area 360 has already stored the write data, and the area 350 has not stored the write data.
  • the area 351 (free area) of the flash drive 240 corresponds to the area 350 in which this write data is not stored.
  • the free area in the flash drive 240 is the sum of the area 320, the area 341, and the area 351.
  • the ratio of the free area of the flash drive 240 to the total capacity is 40% or more. That is, the cost per unit capacity becomes high.
  • FIG. 2 shows a configuration example of the storage system 200.
  • the storage system 200 includes one or more microprocessor packages (MPPK) 210, a memory unit 220, a back-end package (BE package) 230, and a front-end package (FE package) 260.
  • MPPK microprocessor packages
  • the MPPK 210, the memory unit 220, the BE package 230, and the FE package 260 are connected via an internal bus 280.
  • the FE package 260 has a port 261 and a memory 262.
  • the port 261 is connected to the host 100 via the network 120 and mediates communication with the host 100.
  • the memory 262 stores various data necessary for processing of the FE package 260.
  • the memory 262 temporarily stores data transferred from the host 100 or data transferred to the host 100.
  • the memory 262 may be composed of a memory unit 220 described later.
  • the memory unit 220 includes one or more memory devices.
  • the memory unit 220 may include a control information unit 221 that stores control information, a program unit 222 that stores programs, and a cache unit 223 as an example of a cache memory that caches data.
  • the capacity of the cache unit 223 is typically smaller than the capacity of the volume 250.
  • the MPPK 210 includes a processor 211, a local memory 212, and a maintenance port 213.
  • the processor 211, the local memory 212, and the maintenance port 213 are connected via an internal bus 214.
  • the local memory 212 stores various data necessary for the MPPK 210.
  • the maintenance port 213 mediates communication with the maintenance terminal 270.
  • the processor 211 executes various processes.
  • the processor 211 may execute various processes by executing various programs stored in the program unit 222 of the memory unit 220.
  • the processor 211 may execute various processes using various information stored in the control information unit 221 of the memory unit 220.
  • the BE package 230 has a port 231 and a memory 232.
  • the port 231 is connected to a flash drive 240, which is an example of one or more physical storage devices, via a bus 283.
  • the volume 250 for managing data may be composed of storage areas of one or more flash drives 240.
  • the physical storage device is not limited to a flash drive, and may be, for example, an HDD, a DVD, an SCM (Storage Class Memory), or the like.
  • the flash drive may be a NAND flash or a NOR flash.
  • One or more flash drives 240 may be grouped in units called parity groups, and RAID, which is an example of a high reliability technology, may be used.
  • the memory 232 may be composed of the memory unit 220.
  • the maintenance terminal 270 for maintaining the storage system 200 may be connected to the storage system 200 via the bus 280.
  • the maintenance terminal 270 includes a CPU 271, a memory 272, an input / output unit 274, and a maintenance port 275.
  • the memory 272 stores a maintenance program (maintenance program) 273.
  • the CPU 271 executes the maintenance program 273 to execute maintenance processing.
  • the input / output unit 274 is configured with, for example, a mouse, a keyboard, a display, and the like, and receives various instructions input from an operator performing maintenance, and displays various information on the display.
  • the maintenance port 275 mediates communication with the storage stem 200.
  • the configuration in FIG. 2 is an example, and may be, for example, a software-based storage system in which software is installed on a server, or a storage system in which software is installed in a virtual machine operating on a cloud.
  • FIG. 3 shows a configuration example of the flash drive 240.
  • the flash drive 240 has a disk I / F 241, a processor 242, a memory 244, a flash I / F 245, a flash memory chip 246, and an internal network 243.
  • the disk I / F 241, the flash I / F 245, the memory 244, and the processor 242 are connected via the internal network 243.
  • the flash memory chip 246 is connected to the flash I / F 245. Furthermore, data compression and decompression circuits and the like may be connected via the internal network 243.
  • the disk I / F 241 mediates communication with the storage system 200 (host device) that uses the flash drive 240.
  • the flash I / F 245 mediates communication for accessing the flash memory chip 246.
  • the processor 242 receives various requests (I / O requests, etc.) from the host device connected to the disk I / F 241 and executes processing corresponding to the requests.
  • the memory 244 stores control information and programs necessary for the processor 242 to execute various processes.
  • the flash drive 240 may be any device including one or more flash memory chips 246 and a processor 242 that controls the flash memory chips 246.
  • the flash drive 240 is not limited to a form factor such as a general SSD (Solid State Drive).
  • FIG. 3 shows the program and control information stored in the memory 244 of the flash drive 240 at the bottom of FIG.
  • the memory 244 may store a spare area change program 247, a capacity report program 248, a spare area ratio table 249, a flash capacity table 281, a logical physical conversion table 282, and a block table 283.
  • the memory 244 may store other programs (for example, an I / O processing program) and control information. In FIG. 3, programs and tables that are not directly related to the present embodiment are omitted.
  • the spare area ratio table 249 is a table for managing the ratio (ratio) of the spare area 320 to the entire area of each flash drive 240.
  • the flash capacity table 281 is a table for managing the physical capacity of each flash drive (the total of the user area 310 and the spare area 320).
  • the logical / physical conversion table 282, the block table 283, and the spare area change program 247 will be described later.
  • the capacity report program 248 When the capacity report program 248 receives a capacity report request from the storage system 200 or the like that uses the flash drive 240, the capacity report program 248 calculates the product of “1-spare area ratio” of the flash drive and “total capacity of the flash drive”. This is a program for reporting the calculation result as the usable capacity of the flash drive. Thus, as the spare area ratio changes, the reported usable capacity of the flash drive changes accordingly.
  • FIG. 4 is a diagram showing the relationship among the flash drive 240, the parity group 401, the pool 400, the page 402, and the virtual volume 403.
  • the capacity virtualization function will be described with reference to FIG.
  • the virtual volume 403 is a virtualized volume.
  • the one or more flash drives 240 are grouped in a unit called a parity group (PG: Parity Group) 401.
  • PG Parity Group
  • PG 401 is a resource having a physical capacity.
  • a plurality of PGs 401 can belong to the pool 400.
  • the capacity of PG 401 is divided in units of pages 402.
  • the size of the page 402 is typically several MB to several hundred MB.
  • One page 402 may straddle all the flash drives 240 in the PG 401. This is to efficiently use the capacity and performance of each flash drive 240.
  • the virtual volume 403 is a virtual storage area and is recognized by a host device connected to the storage system 200. When an instruction to write data to a predetermined area of the virtual volume 403 is generated, a page 402 is allocated to that area.
  • a capacity is allocated to the area including the address for which writing is instructed.
  • a page 402 is not allocated to an unused area of the volume 403. In this case, the storage area of the flash drive 240 is not consumed.
  • a volume called a pool volume may be created in the PG 401 and the capacity of the pool volume may be divided on the page 402.
  • a hierarchy called a pool volume By providing a hierarchy called a pool volume, only a partial area of PG 401 can be added to the pool 400.
  • the capacity of PG 401 is “1 TB”, and only “0.5 TB” can be added to the pool 400.
  • the remaining capacity of the PG 401 can be used for other purposes.
  • FIG. 5 shows an example in which PG1 is added to the pool 400 and PG1 is removed from the pool 400.
  • the addition means adding a new PG to the pool 400
  • PG1 the total capacity of PG1 is “1TB”, which is the sum of the capacity of the user area and the capacity of the spare area, and the capacity of the user area of PG1 is “0.8TB”.
  • the storage system 200 can use the total capacity “1TB” of PG1 as the capacity of the pool.
  • the total capacity of the pool 400 is “2TB”.
  • the total capacity “2TB” of the pool may be confirmed by the administrator from the management screen of the storage system 200. That is, “2TB” worth of data can be stored.
  • FIG. 6 shows an example of the control information stored in the control information unit 221 of the storage system 200 and the program stored in the program unit 222.
  • the control information unit 221 stores a PG table 224, a pool table 225, a page table 226, and a volume table 227.
  • FIG. 6 shows only control information related to the present embodiment, and the actual storage system 200 may store other control information.
  • the actual storage system 200 may store a cache management table or the like.
  • the program unit 222 stores a capacity increase / decrease setting program 290, a free space check program 291, a page movement program 292, a movement page selection program 293, a garbage collection program 294, and an in-PG data movement program 295.
  • FIG. 6 shows only programs related to this embodiment, and the actual storage system 200 may store programs other than these (I / O programs and the like).
  • FIG. 7 shows an example of the PG table 224.
  • the PG table 224 manages the capacity of the PG 401, the configuration of the PG 401, information on the flash drive 240 belonging to the PG 401, and the like.
  • the PG table 224 may manage records having PG number 500, size 502, RAID configuration 504, compression function presence / absence 506, and drive number 508 as field values.
  • the PG number 500 is a number for identifying the PG 401.
  • the PG number 500 is unique in the storage system 200.
  • the size 502 is the capacity of the PG 401 with the PG number 500.
  • the RAID configuration 504 is information indicating the RAID type and the number of drives of the PG 401 with the PG number 500.
  • the compression function presence / absence 506 is information indicating whether or not the PG 401 with the PG number 500 has a compression function.
  • the drive number 508 is the number of the flash drive included in the PG 401 with the PG number 500.
  • the presence / absence of the compression function 506 may be managed in units of flash drives. Since there are few flash drives with different compression functions in one PG, in this embodiment, the presence or absence of the compression function is managed in units of PG 401. However, flash drives with different compression functions may be mixed in one PG 401. In this case, the compression function presence / absence 506 may be “present” only when all the flash drives in one PG 401 have the compression function, and the compression function presence / absence 506 may be “none” in other cases.
  • FIG. 8 shows an example of the page table 226.
  • the page table 226 manages the physical area corresponding to the page 402, the allocation status of the page 402, and the like.
  • the page table 226 may manage records having a page number 520, a state 522, an assignment destination 524, a PG number 526, a drive number 528, and an address 530 as field values.
  • the page number 520 is a number for uniquely identifying the page 402.
  • the page number 520 may be a unique number within the pool, or may be uniquely identifiable within the pool in combination with the PG number as a unique number for each PG.
  • the physical area of the page 402 with the page number 520 is specified by the PG number 526, the drive number 528, and the address 530.
  • PG number 526 is a number for identifying PG 401.
  • Address 530 is the start address of page 402 in PG 401 with PG number 526. If the page size is not a fixed length, the page table 226 may also manage the page size, end address, and the like.
  • the physical area of the page 402 straddles each flash drive 240 in the PG 401.
  • the address of the page 402 is different for each flash drive 240, it is necessary to manage the address 530 for each drive number 528.
  • the physical area of the page 402 is specified by the combination of the drive number 528 and the address 530.
  • the physical number of the page 402 can be specified only by the address 530 without providing the drive number 528.
  • the status 522 is information indicating whether or not the page 402 with the page number 520 has been allocated.
  • the allocation destination 524 is information indicating the allocation destination of the page 402 with the page number 520.
  • the allocation destination 524 may be the number of the allocation destination volume.
  • the allocation destination 524 may be “ ⁇ ” meaning no allocation destination.
  • the storage system 200 When the storage system 200 receives the write request, the storage system 200 allocates a page 402. This processing may be realized by the storage system 200 searching the page 402 in an unallocated state with reference to the page table 226. In order to speed up the search process for unallocated pages, the page numbers of pages 402 that are not allocated may be listed in advance.
  • FIG. 9 shows an example of the pool table 225.
  • the pool table 225 manages the capacity of the pool 400, PG information belonging to the pool 400, page information, and the like.
  • the pool table 225 may manage records having a pool number 540, a capacity 542, a PG number 544, and a page number 546 as field values.
  • the pool number 540 is a number for uniquely identifying the pool 400.
  • the capacity 542 is the capacity of the pool 400. That is, the capacity 542 is equal to the total capacity of the PGs 401 belonging to the pool 400.
  • the PG number 544 is the number of the PG 401 belonging to the pool 400.
  • the page number 546 is a page number included in the PG 401 with the PG number 544. Since the page number can be acquired by searching the page table 226 using the PG number 544, the pool table 225 may not have the page number 546.
  • FIG. 10 shows an example of the volume table 227.
  • the volume table 227 manages allocation of pages 402 to the virtual volume 403.
  • the volume table 227 may be stored in the control information unit 221 of the memory unit 220.
  • the volume table 227 may manage records having the volume number 560, the address 562, the page allocation state 564, and the page number 566 as field values.
  • the volume number 560 is a number for identifying the virtual volume 403.
  • the address 562 is the address of the virtual volume 403 with the volume number 560.
  • the page allocation state 564 is information indicating whether or not the page 402 has been allocated to the address 562.
  • the page number 566 is a page number assigned to the address 562.
  • the top record of the volume table 227 in the example of FIG. 10 indicates that the page 402 with the page number “0” is allocated to the virtual volume address “0 to 24576000” with the volume number “0”. .
  • FIG. 11 shows an example of the logical-physical conversion table 282.
  • the logical / physical conversion table 282 may be stored in the memory 244 in the flash drive 240.
  • the logical / physical conversion table 282 converts an address designated as an access destination address by the storage system 200 (higher level apparatus) using the flash drive 240 and an address of the flash memory chip 246 in the flash drive 240.
  • An explanation will be given assuming that the address provided to the host device is a logical address and the address in the flash drive 240 is a physical address. Since the physical storage position of data changes in the flash drive 240 by reclamation processing or wear leveling processing, the logical-physical conversion table 282 is necessary.
  • the logical-physical conversion table 282 may manage records having the logical address 580, the flash page status 582, the block number 584, and the flash page number 586 as field values.
  • the logical address 580 is an address provided to a host device such as the storage system 200.
  • the logical address 580 is used when the host device accesses the flash drive 240.
  • the flash page state 582 is information indicating whether or not a flash page has been allocated to the area of the logical address 580.
  • the flash page state 582 may be assigned upon a write trigger, and may be unassigned upon an area release trigger such as UNMAP.
  • the flash memory chip 246 is divided into a plurality of blocks.
  • a block is composed of one or more pages.
  • a reclamation process for moving a valid page in a block to another block and reproducing the block so that it can be reused is executed in units of blocks. Note that the flash page is irrelevant to the page of the capacity virtualization function.
  • the block number 584 is a number for uniquely identifying a block in the flash memory 240.
  • the flash page number 586 is a number for uniquely identifying the flash page in the block. That is, a physical address can be specified by a set of a block number 584 and a flash page number 586.
  • the block number 584 and the flash page number 586 are valid information only when the flash page state 582 is “allocated”. When the flash page state 582 is “unallocated”, the block number 584 and the flash page number 586 may be “ ⁇ ” meaning invalid.
  • FIG. 11 indicates that the 8 kilobyte area “0 to 8191” of the logical address 580 corresponds to the flash page number 586 “0” of the block number 584 “0”.
  • the page size may be 8 kilobytes.
  • Storage system 200 receives a write request including a volume number, an address, and write data. Then, the storage system 200 refers to the volume table 227 and checks whether a page is allocated to the write target address 562. Here, it is not assigned. In the case of unallocated, the storage system 200 refers to the page table 226, searches for an unallocated page, and allocates it. At this time, the page allocation state 564 and the page number 566 of the volume table 227 are updated. Further, the state 522 and the assignment destination 524 of the page table 226 are updated.
  • This process may be executed asynchronously with the write request using the cache of the storage system 200.
  • the flash drive 240 receives a write request from the storage system 200. For example, when the write request is to write to page “0”, the write data is stored at addresses “0 to 8192000”. In this case, the flash drive 240 assigns a flash page to the logical address 580 “0 to 8192000” of the logical-physical conversion table 282, and stores the write data.
  • an unused page is searched from the block table 283, and the block number and flash page number of the found block are stored in the block number 584 and flash page number 586 of the logical-physical conversion table 282. Thereafter, the flash drive 240 stores the write data in the assigned flash page.
  • the size of one flash page is 8 kilobytes, 1000 pages are allocated.
  • the other flash drives 240 constituting the PG store the write data from the storage system 200.
  • the data writing unit may be other than that. For example, writing to a part of the page may be performed.
  • FIG. 12 shows an example of the block table 283.
  • the block table 283 may be stored in the memory 244 in the flash drive 240.
  • the block table 283 manages the flash page information included in the block and the state of the block.
  • the block table 283 may manage records having a block number 600, a flash page number 602, and a status 604 as field values.
  • the block number 600 and the flash page number 602 are as described above.
  • the status 604 indicates whether the page with the flash page number 602 is “in use” or “unused”.
  • FIG. 13 is a flowchart showing a processing example of the capacity increasing / decreasing program 290 and the spare area changing program 247.
  • These programs release the spare area 320 when receiving an instruction to increase the capacity to the pool 400. Further, when these programs receive a capacity reduction instruction to the pool 400, these programs secure the spare area 320.
  • the capacity increasing / decreasing program 290 may be stored in the control information unit 221 of the storage system 200 and executed by the processor 211 of the storage system 200.
  • the spare area change program 247 may be stored in the memory 244 of the flash drive 240 and executed by the processor 242 of the flash drive 240. Details will be described below.
  • the capacity increase / decrease program 290 receives a capacity increase instruction or a capacity reduction instruction from the administrator (maintenance staff) through the management screen, console, or the like (S100). At this time, the capacity increasing / decreasing program 290 also receives PG information and pool 400 information.
  • the capacity reduction program 290 determines whether a capacity reduction instruction has been received (S101). This is because processing is different between capacity expansion and capacity reduction.
  • the capacity increasing / decreasing program 290 moves the data already stored in the instructed PG 401 to an empty area of another PG 401 (S102). If there is not enough free space in the other PG 401, an error may be reported and the process may be terminated.
  • the capacity increasing / decreasing program 290 updates the pool table 225 (S103).
  • the capacity increasing / decreasing program 290 deletes the information of the PG 401 designated as the reduction target from the pool table 225.
  • the capacity increasing / decreasing program 290 instructs all the flash drives 240 belonging to the designated PG 401 (that is, the flash drives belonging to the PG to be removed) to secure the spare area 320 (S104). For example, the capacity increasing / decreasing program 290 instructs to reserve the spare area 320 of “20%”. Of course, the indicated value may be other than 20%. Then, the capacity increasing / decreasing program 290 waits for a response from the flash drive 240 (S104).
  • the capacity increasing / decreasing program 290 instructs the flash drive 240 belonging to the designated PG 401 (that is, the flash drive belonging to the PG to be added) to reduce the spare area 320 (S105). For example, the capacity increasing / decreasing program 290 instructs to reduce the spare area 320 to “0%”.
  • the indicated value may be any value that makes the spare area ratio smaller than that of a typical flash drive 240. Then, the capacity increasing / decreasing program 290 waits for a response from the flash drive 240 (S105).
  • the reserve area changing program 247 When the reserve area changing program 247 receives the instruction of step S104 or S105 from the capacity increasing / decreasing program 290 (S106), it changes the reserve area ratio 320 to the ratio of the received instruction (S107). That is, the spare area ratio table 249 of the flash drive 240 is changed.
  • the spare area changing program 247 reports completion to the capacity increasing / decreasing program 290 (S108), and ends the process (S109).
  • the flash drive 240 changes the response to the capacity inquiry.
  • the flash drive 240 receives the inquiry about the capacity, it calculates the size of the user area from the flash capacity 281 and the spare area ratio table 249 and returns the calculation result. That is, the calculation result (answer) may differ depending on the change contents of the preparation area ratio executed in step S107.
  • the capacity increase / decrease program 290 determines whether the instruction received in step S100 is a capacity reduction instruction (S111).
  • the capacity increase / decrease program 290 ends the process (S113).
  • the capacity increasing / decreasing program 290 updates the pool table 225 (S112). That is, the capacity increasing / decreasing program 290 adds the information of the PG 401 designated as the expansion target to the pool table 225. Then, the capacity increase instruction program 290 ends the process (S113).
  • the area of the PG 401 added to the pool 400 is newly used as the pool 400.
  • the data originally stored in the expansion target PG 401 need not be maintained.
  • the PG 401 removed from the pool 400 can be used for other purposes. Data originally stored in the PG to be removed may not be maintained. This is because the data originally stored in the reduction target PG has been moved to another PG 401 remaining in the pool 400 in S102.
  • the spare area 320 in the flash drive 240 can be reduced in the environment of the capacity virtualization function. Thereby, it is possible to improve the problem that an excessive space area is secured in the environment of the capacity virtualization function.
  • the total of unallocated pages in the pool and unwritten areas in the allocated pages is the free area. Therefore, in the capacity virtualization function environment, sufficient free space is often secured, so the spare area 320 of the flash drive 240 can be reduced.
  • the free space in the capacity virtualization function is biased to a specific flash drive 240 or PG 401, the free space of some flash drives 240 may be 20% or less. In this case, the life of the flash drive 240 is shortened.
  • FIG. 14 is a diagram for explaining the outline of the second embodiment.
  • a necessary space area is secured in the flash drive 240 belonging to PG1 by moving the capacity virtualization function page 402 from PG1 to PG2.
  • the page 402 may be moved so that the ratio of the free area of each PG 401 is approximately the same.
  • the page 402 may be moved when the ratio of the free area of each flash drive 240 is equal to or less than a predetermined threshold. For example, when the percentage of the free area becomes 20% or less, the page 402 may be moved so that the percentage of the free area becomes 20% or more. According to this, even when the percentage of the free area is biased such as 40% or 50%, the page 402 does not move, so that the consumption of the life due to the movement of the page 402 can be suppressed.
  • each of PG1 and PG2 includes three flash drives 240.
  • the percentages of the free areas of the three flash drives 240 belonging to PG1 are 10%, 30%, and 30%, respectively.
  • the ratios of the free areas of the three flash drives 240 belonging to PG2 are 30%, 50%, and 60%, respectively. That is, the percentage of the free area of PG1 is smaller than the percentage of the free area of PG2.
  • the ratios of the free areas of the three flash drives 240 belonging to PG1 change to 20%, 40%, and 40%, respectively. Further, the percentages of the free areas of the three flash drives 240 belonging to PG2 are changed to 20%, 40%, and 50%, respectively. That is, the difference between the percentage of the free area of PG1 and the percentage of the free area of PG2 is small.
  • the number of pages 402 to be moved may be one or plural.
  • FIG. 15 is a flowchart showing an example of processing of the free space check program 291.
  • the free space check program 291 is a program that checks the free space ratio of each flash device 240 and adjusts the free space ratio if there is a difference in the free space ratio between PGs.
  • the free space check program 291 may be stored in the control information unit 221 of the storage system 200 and executed by the processor 211 of the storage system 200. Details of the processing will be described below.
  • the free area check program 291 inquires the ratio of the free area to all the flash drives 240 belonging to the pool 400 (S202). By making an inquiry to the flash drive 240, the free space check program 291 can acquire a more accurate free space size considering an unwritten region in the allocated page. In the page table 226, an unwritten area in the allocated page may be managed. The management may be managed by written bitmap information associated with 1-bit information indicating whether or not writing is performed every 8 bytes.
  • the free space check program 291 calculates the free space ratio of each PG 401 (S203).
  • the ratio of the free area of PG 401 may be defined as the ratio of the minimum free area in each flash drive 240 constituting the PG 401.
  • the flash drive 240 having the smallest free space ratio among the flash drives 240 constituting the PG 401 may be the page 402 migration source. Further, among the flash drives 240 constituting the PG 401, the flash drive 240 having the largest free area ratio may be the destination of the page 402.
  • the percentage of the free area of the flash drive 240 that is the minimum percentage of the free area can be increased by eliminating the unevenness of the percentage of the free area between the flash drives 240 constituting the PG 401.
  • the adjustment of the ratio of the free area in the PG will be described later. Even if the ratio of the free area between the PGs is adjusted, if there is sufficient free area in the pool 400, the adjustment to the flash drive 240 having the minimum free area ratio is performed for each flash drive 240. Sufficient free space can be secured.
  • the free space check program 291 determines whether or not the difference in the free space ratio between the PGs 401 is equal to or greater than a predetermined threshold (S204).
  • step S204 If the determination result in step S204 is negative (NO), the free space check program 291 skips step S205 and proceeds to step S206.
  • step S204 If the determination result in step S204 is affirmative (YES), the free space check program 291 executes the page movement program 292 to adjust the free space ratio (S205), and proceeds to step S206.
  • step S206 the free space check program 291 determines whether or not the average free space ratio is equal to or less than a predetermined ratio (for example, 20%) (S206).
  • a predetermined ratio for example, 20%
  • step S206 If the determination result in step S206 is affirmative (YES), the free space check program 291 raises an alert to notify the administrator that capacity addition is necessary (S207), and ends the process (S208).
  • step S206 If the determination result in step S206 is negative (NO), the free space check program 291 skips step S207 and ends the process (S208).
  • FIG. 16 is a flowchart showing an example of processing of the page movement program 292.
  • the page movement program 292 eliminates the bias of the ratio of the free area between the PGs 401 by moving the page 402.
  • the page movement program 292 may be stored in the control information unit 221 of the storage system 200 and executed by the processor 211 of the storage system 200. Details of the processing will be described below.
  • the page movement program 292 calculates the average value of the percentage of free space in each PG 401 (S300). This average value is a target in adjusting the ratio of the free area.
  • the page movement program 292 selects a PG whose free area ratio is equal to or less than the average value, and calculates the data movement amount necessary to obtain the average value (S301).
  • the necessary amount of data movement may be calculated as, for example, “flash drive capacity ⁇ 100 (%) ⁇ (average value ⁇ percentage of free space)”.
  • the page movement program 292 calculates the acceptable amount for PGs whose free area ratio is equal to or greater than the average value (S302).
  • the acceptable amount is an amount in which the ratio of the free area is equal to or greater than the average value even if data movement is accepted from the copy source PG 401 in the copy destination PG.
  • the acceptable amount may be calculated, for example, as “flash drive capacity ⁇ 100 (%) ⁇ (percentage of free space ⁇ average value)”.
  • step S302 a step of determining whether or not there is a PG having an empty area ratio equal to or higher than the average value is obtained. If the determination result in this step is negative, the page moving program 292 Processing may be terminated.
  • the page movement program 292 determines the destination PG 401 and the data movement amount (S303), and calls the movement page selection program 293 (S304).
  • the page movement program 292 may select the PG 401 having the maximum acceptable amount as the movement destination PG.
  • the page movement program 292 may use the smaller of the necessary data movement amount and the acceptable amount as the data movement amount.
  • the page movement program 292 copies the data of the movement target page 402 of the movement source PG 401 to the movement destination PG 401. Along with this copy processing, the page number 566 of the volume table 227 and the state 522 of the page table 226 are updated (S305). The I / O after the table is updated is performed on the migration destination page 402.
  • the page move program 292 issues an UNMAP instruction of an address corresponding to the page 402 to be moved to the flash drive 240 of the move source PG 401 (S306). Receiving this UNMAP instruction, the flash drive 240 updates the logical-physical conversion table 282 in the flash drive 240 and releases the area where the copied data is stored. This UNMAP is a process necessary for the flash drive 240 to release the area.
  • the page movement program 292 determines whether or not the amount of data that has been moved is greater than or equal to the required amount of data movement (S307).
  • step S307 If the determination result in step S307 is negative (NO), the page movement program 292 returns to step S302 and continues processing. At this time, if the receivable amount of the destination PG 401 is smaller than the required data movement amount, the page movement program 292 selects another PG 401 as the movement destination and moves the page 402 in the second loop. Also good.
  • the transferred data amount may be calculated as “number of pages ⁇ page size ⁇ number of flash drives in PG”.
  • the amount of data that has been moved may be smaller than the above calculation result.
  • the free area ratio approaches the average value by periodically executing the free area check program 291, it is not necessary to consider the influence of this unwritten area.
  • the page movement program 292 may check the data movement amount from the PG 401 having the smallest free area ratio in the PG 401 as accurately as possible. Then, the page movement program 292 may reselect another page 401 as a movement target when the amount of data movement from the PG 401 having the smallest free space ratio in the PG 401 is equal to or smaller than a predetermined threshold. This process may generate overhead for checking the contents of data.
  • step S307 determines whether or not the processing has been completed for all PGs 401 to be moved (S308). This is a step for processing another PG 401 whose ratio of the free area is equal to or less than the average value.
  • step S308 If the determination result of step S308 is negative (NO), the page movement program 292 returns to step S301, and executes the processing of steps S301 to S307 for another PG 401.
  • step S308 If the determination result in step S308 is affirmative (YES), the page movement program 292 ends the process (S309).
  • FIG. 17 is a flowchart showing an example of processing of the moving page selection program 293.
  • the moving page selection program 293 is called from the page moving program 292 and selects the page 402 to be moved.
  • Some flash drives 240 have a compression function. When the data that is effectively compressed moves from the flash drive 240 having the compression function to the flash drive 240 that does not have the compression function, the compressed data is expanded and the consumption of the flash drive 240 increases. That is, the remaining capacity of the pool 400 decreases.
  • the movement data selection program 293 selects the page 402 to be moved in consideration of the presence or absence of the compression function.
  • the moving page selection program 293 may be stored in the control information unit 221 of the storage system 200 and executed by the processor 211 of the storage system 200. Details of the processing will be described below.
  • the migration page selection program 293 determines whether each of the migration source and migration destination flash drives 240 has a compression function (step S400).
  • the moving page selection program 293 selects a page 402 in which data having a high compression effect is stored.
  • the page to be moved is selected (S403), and the process proceeds to step S404.
  • the moving page selection program 293 stores the page 402 in which data with low compression effect is stored. Is selected as the page to be moved (S401), and the process proceeds to step S404.
  • the moving page selection program 293 randomly selects a page to be moved (S402), and proceeds to step S404.
  • step S404 the moving page selection program 293 reports the page 402 to be moved to the caller, and ends the process (S404).
  • the movement target page 402 is selected after the movement destination PG is selected. However, after the movement target page 402 is selected, the movement destination PG is selected. Also good. At this time, if the data of the page 402 selected as the movement target has high compression effect, the PG 401 having the compression function may be preferentially selected as the movement destination PG. On the other hand, when the data of the page 402 selected as the movement target has low compression effect, the PG 401 having no compression function may be preferentially selected as the movement destination PG.
  • the page is moved so that the ratio of the free areas between the PGs is equal. However, only when the ratio of the free areas is equal to or less than the threshold, the free areas are transferred from the PG 401.
  • the page movement may be performed for the PG 401 whose ratio is equal to or greater than the threshold.
  • the free area ratio of each PG 401 is adjusted to 85% in the examples of FIGS.
  • the original 80% is a ratio of a sufficient free area, page movement may not be performed.
  • the same ratio as the spare area ratio of the flash drive may be set.
  • steps in which processing is different in the flowcharts of FIGS. 15 and 16 when realizing this method will be described.
  • step S204 in FIG. 15 the free space check program 291 determines whether there is a PG having a free space ratio less than the threshold value. If the determination result is affirmative, the flow proceeds to step S205, and a negative result is obtained. If yes, go to Step S206. The processing in other steps is the same.
  • step S300 in FIG. 16 is deleted.
  • step S301 in FIG. 16 the page movement program 292 selects a PG having a free area ratio of 20% or less, and calculates a data movement amount necessary to make the free area ratio 20% or more. To do.
  • step S302 the page movement program 292 calculates the acceptable amount of PG having a free area ratio of 20% or more.
  • the acceptable amount in this case is, for example, an amount in which the ratio of the free area is 20% or more even if data movement is accepted from the movement source PG 401.
  • step S303 the page movement program 292 determines whether or not the movement destination PG exists. If the determination result is negative, the process is terminated (S309), and if the determination result is affirmative, the process proceeds to step S303.
  • the processing from step S303 to S308 may be the same.
  • FIG. 18 shows an outline of a method for moving data in the PG 401.
  • FIG. 18 is an example in which three flash drives 240 exist in one PG 401 and the page 402 straddles the three flash drives 240. Although not shown in FIG. 18, other pages 402 may also straddle the three flash drives 402. In the example of FIG. 18, the data in the area of the flash drive A is moved to the area of the flash drive B in the page 402. Thereby, the data amount of the flash drive A can be reduced. Note that the data in the area of the flash drive A may be moved to another page 402 of the flash drive B.
  • FIG. 19 shows another example of the volume table 227a.
  • data movement in the PG 401 can be realized by dividing the page 402 into smaller areas and managing the divided areas and the corresponding volume 403 areas.
  • the divided area is called a segment.
  • FIG. 19 is an example of a volume table 227a corresponding to a segment.
  • the volume table record corresponding to the segment has a segment address 568 as a new field value, as compared to the volume table of FIG.
  • the segment address 568 may be associated in order from the smallest address of the drive having the smallest drive number. Thereby, it is possible to calculate which address in the page table the segment corresponds to.
  • a pointer indicating an area corresponding to a deduplication unit in the volume 403 is required.
  • the deduplication unit is a segment unit
  • the table structure in the example of FIG. 19 is obtained. Therefore, when the data amount reduction function is applied, the data structure can be moved within the PG 401 by utilizing the table structure of the data amount reduction function. Furthermore, it is necessary to manage whether the segment is in use and unused. This can be realized by using the aforementioned written bitmap information.
  • FIG. 20 is a flowchart showing an example of processing of the PG data movement program 295.
  • the intra-PG data movement program 295 moves data within the PG 401 and eliminates the uneven proportion of the free area within the PG 401.
  • the intra-PG data movement program 295 may be stored in the control information unit 221 of the storage system 200 and executed by the processor 211 of the storage system 200. Details of the processing will be described below.
  • the PG data movement program 295 inquires the ratio of the free area to all the flash drives 240 belonging to the capacity pool 400 (S500).
  • the PG data movement program 295 selects one PG 401 (S501). Then, the intra-PG data movement program 295 determines whether or not the difference in the percentage of free areas of the flash device 240 in the selected PG 401 is equal to or greater than a predetermined threshold (S502).
  • step S502 If the determination result in step S502 is negative (NO), the PG data movement program 295 proceeds to step S507. That is, since the deviation of the ratio of the free areas is sufficiently small, it is determined that data movement is unnecessary.
  • step S502 If the determination result in step S502 is affirmative (YES), the intra-PG data movement program 295 calculates the average data amount in the PG 401 (S503).
  • the PG data movement program 295 stores the flash drive 240 storing a data amount less than the calculated average data amount from the flash drive 240 storing a data amount equal to or greater than the calculated average data amount.
  • the data is copied (S504). For example, if there is an empty segment on the same page of the copy destination flash drive 240, the intra-PG data movement program 295 copies the data to the empty segment.
  • the intra-PG data movement program 295 may acquire the segment availability from the written bitmap information.
  • the PG data movement program 295 searches for another page 402 having an empty segment when there is no empty segment on the same page of the copy destination flash drive 240 and copies the data to the other page 402.
  • the PG data movement program 295 updates the volume table 227a and the page table 226 (S505). That is, the intra-PG data movement program 295 changes the page number 566 and the segment address 568 in the volume table 227a. In the page table 226, the intra-PG data movement program 295 turns off the copy-source written bitmap information and turns on the copy-destination written bitmap information. By moving the data to a different page 402, there is a possibility that there is no valid data in the source page 401 and the source page 401 can be released. In this case, the PG data movement program 295 changes the state 522 of the page 402 to “unallocated” in the page table 226.
  • the in-PG data movement program 295 After completing the data copy, the in-PG data movement program 295 issues an UNMAP instruction to the copy source area and releases the area of the flash drive 240 (S506). Then, the data movement program 295 within PG 401 proceeds to step S507.
  • step S507 the intra-PG data movement program 295 determines whether or not the processing for all the PGs 401 has been completed. If the determination result is affirmative (YES), this processing ends (S508), and negative If YES (NO), the process returns to step S501.
  • the process for adjusting the free area in the PG 401 has been described. This process is independent of the process of adjusting the free area by moving the page between PGs 401. Accordingly, it is possible to adjust the free area within the PG 401 and further adjust the free area between the PGs 401. For example, if sufficient free areas cannot be secured even if the free areas are equalized in the PG 401, the free areas may be adjusted between the PGs 401.
  • 18 to 20 can be applied to a configuration in which the page 402 does not exist. For example, this is possible by storing information indicating the logical address of the flash drive 240 in the segment portion of FIG. In this case, there is no need to update the page table 226 in step S505.
  • the spare area 320 in the flash drive 240 is reduced in the environment of the capacity virtualization function. Then, an empty area including the unallocated page 402 of the capacity virtualization function and the unwritten area in the allocated page is distributed and arranged in each flash drive 240. Thereby, an empty area is secured in each flash drive 240.
  • an alert for capacity addition is raised when the ratio of the capacity of unallocated pages falls below a threshold (eg, 20%). However, if the capacity is not added without following this alert, the free space of the flash drive 240 is insufficient.
  • the garbage collection process is a process of moving the valid data from a plurality of pages 402 in which valid data and invalid data are mixed to another page and increasing the free space.
  • data may be stored in a log structure structure. In such a case, the storage system requires a garbage collection process.
  • FIG. 21 is a flowchart showing an example of processing of the garbage collection program 294.
  • the garbage collection program 294 may be stored in the control information unit 221 of the storage system 200 and executed by the processor 211 of the storage system 200. Details of the processing will be described below.
  • the garbage collection program 294 searches for a plurality of pages 402 in which the ratio of invalid data is equal to or greater than a predetermined threshold (S600). This process may be realized using the previously written bitmap information.
  • the garbage collection program 294 calculates the total amount of valid data in the plurality of pages 402 found by the search, and assigns a new page that can store the total amount of valid data (S601).
  • the garbage collection program 294 moves the found valid data in the plurality of pages 402 to the new page 402 assigned in step S601 (S602).
  • the garbage collection program 294 determines whether or not the percentage of free space is less than a predetermined threshold (S603). If the determination result is negative (S603: NO), the garbage collection program 294 ends this process (S605). This is because there is still enough free space. If the determination result is affirmative (S603: YES), the garbage collection program 294 changes the found page 402 to an “unallocated” state (S604), and ends this process (S605). This increases the percentage of free space.
  • FIG. 21 illustrates a method for securing a free area in accordance with the garbage collection process when the free area is insufficient.
  • a free area can be secured by another method.
  • the storage media layering function has the flash drive 240 and HDD in one pool. Then, the access frequency to the page 402 is monitored, and the page 402 requiring a relatively high performance with a relatively large number of I / O requests is stored in the flash drive 240 having a relatively high I / O performance. The page 402 that has a relatively small number and does not require a relatively high performance is stored in an HDD having a relatively low I / O performance. Further, the page may be moved according to the fluctuation of the I / O request.
  • I / O performance can be maximized by storing more pages in the flash drive 240.
  • the free space is insufficient and the life of the flash drive 240 is shortened.
  • the storage media hierarchization page is moved in consideration of the free space. If a sufficient free area cannot be secured in each flash drive 240 in the write data non-storage area 350 in the page, a page is moved from the flash drive 240 to the HDD so that a sufficient free area can be secured in the flash drive 240. Good. Furthermore, shortage of free space in the flash drive 240 may be suppressed by suppressing page movement from the HDD to the flash drive 240. For example, the page movement may be restricted in accordance with the change of the write data non-storage area 350 in the page.
  • the parity is calculated with the same address of each drive constituting the PG. If a drive in the PG has a failure, the data stored in the drive in which the failure has occurred is extracted from the normal drive in the PG and stored in the spare drive. . Therefore, the spare drive is not used when no failure occurs.
  • RAID technology that distributes data and parity to all drives in the system may be applied. For example, some data stores data and parity in the drives 1, 3, 5, and 7, and another data stores data and parity in the drives 1, 2, 5, and 6. Furthermore, the storage address of each data and parity on the drive is not necessarily the same. Such a technique is called distributed RAID. In the distributed RAID technology, each drive is divided into a certain size, and RAID is applied by combining the divided areas.
  • the spare drive area can also be distributed in each drive.
  • the recovery time can be shortened compared to the conventional RAID technology.
  • Data may be distributed to all the flash drives 240 in the system, or a disk group is created like a PG using a plurality of flash drives 240, and the data is distributed and arranged in the created disk group. Also good.
  • the present embodiment can also be applied to such a distributed RAID environment.
  • the spare area is not used unless a failure occurs. That is, in the flash drive 240, the spare area is an empty area. In the flash drive 240, securing both the spare area and the spare area secures an excessive space area. Therefore, in this embodiment, when a PG is added to the pool, the size corresponding to the spare area may be reduced from the spare area of the flash drive. Thereby, it can suppress that an excessive empty area is ensured. When the PG is removed from the pool, the spare area of the flash drive 240 may be expanded by a size corresponding to the spare area.
  • Storage system 211 Processor 240: Flash drive 310: User area 320: Spare area 400: Pool 401: Parity group (PG) 402: Page 403: Virtual volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

情報処理システムは、プロセッサと、複数のフラッシュドライブとを備え、複数のフラッシュドライブは、データを記憶するユーザ領域と予備領域とを有する。プロセッサは、複数のフラッシュドライブから１または複数のディスクグループを構成し、ディスクグループから構成されるプールを管理し、プール上の記憶領域であるページが割り当てられる仮想ボリュームを提供する。プロセッサは、１または複数のディスクグループのうち第１のディスクグループがプールに増設または減設されるとき、第１のディスクグループを構成するフラッシュドライブの予備領域の容量を調整する。

Description

情報処理システム、及び、情報処理方法
　本発明は、情報処理システムに関する。
　フラッシュメモリで構成されるドライブ（「フラッシュドライブ」という）を備えるストレージシステムがある。フラッシュドライブは、書き込み回数に上限（寿命）がある点、データを直接上書きできない点などにおいてＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）と異なる特徴を有する。したがって、フラッシュドライブに格納されているデータを更新する場合、別の領域に新データを書き込み、旧データを無効化するという処理が必要となる。また、フラッシュドライブでは、無効データ及び有効データが格納されている領域に対して、その領域の有効データを別領域にコピーし、その領域を新データを書き込めるようにクリアするリクラメーション処理が行われる。また、フラッシュメモリチップ間の寿命を平準化してフラッシュドライブ全体の寿命を延ばすウェアレベリング処理も行われる。
　リクラメーション処理やウェアレベリング処理などを効率良く行うために、フラッシュドライブには予備領域が設けられている。典型的には、フラッシュドライブの全容量の２０％～３０％の予備領域が設けられている。そして、フラッシュドライブは、上位装置に対して、予備領域を除く領域の容量を見せる。例えば、全容量が１ＴＢでその２０％が予備領域であるフラッシュドライブの場合、フラッシュドライブは、上位装置に対して、０．８ＴＢを利用可能な容量として見せる。フラッシュドライブの全領域の内の予備領域を除く領域を、ユーザ領域と呼ぶ。全領域に対する予備領域の割合を小さくすると、ユーザ領域が増加するので、単位容量当たりのコストは下がる。しかし、リクラメーション処理などの効率が低下するので、フラッシュドライブの寿命が短くなり得る。リクラメーション処理などは、予備領域とユーザ領域中の未使用領域とを用いる。予備領域とユーザ領域中の未使用領域とを合わせた領域を、空き領域と呼ぶ。
　特許文献１には、フラッシュメモリの寿命を消費しやすいランダムライトアクセスが多い場合、予備領域を増やし、フラッシュメモリの寿命の消費がランダムライトよりも少ないシーケンシャルライトの場合、予備領域を減らすことにより、フラッシュの寿命を最適化する技術が開示されている。
米国特許出願公開第２０１４／１０１３７９号明細書
　例えば、シンプロビジョニングによる容量仮想化環境では、全体では未使用領域が十分に存在していることが多い。しかしこの場合であっても、各フラッシュドライブでは所定の割合（例えば２０％）の予備領域が確保される。このように、空き領域が過剰に確保されると、単位容量当たりのコストが上がってしまう。
　本発明の目的は、フラッシュメモリに係る空き領域を適切に制御し、単位容量当たりのコストを抑制することにある。
　一実施例に係る情報処理システムは、プロセッサと、複数のフラッシュドライブとを備え、複数のフラッシュドライブは、データを記憶するユーザ領域と予備領域とを有する。プロセッサは、複数のフラッシュドライブから１または複数のディスクグループを構成し、ディスクグループから構成されるプールを管理し、プール上の記憶領域であるページが割り当てられる仮想ボリュームを提供する。プロセッサは、１または複数のディスクグループのうち第１のディスクグループがプールに増設または減設されるとき、第１のディスクグループを構成するフラッシュドライブの予備領域の容量を調整する。
　本発明によれば、フラッシュメモリに係る空き領域を適切に制御し、単位容量当たりのコストを抑制することができる。
フラッシュドライブ、プール及びページの関係性の説明図。 ストレージシステムの構成例。 フラッシュドライブの構成例。 フラッシュドライブ、パリティグループ、プール、ページ及び仮想ボリュームの関係性の説明図。 プールに対するＰＧ（Ｐａｒｉｔｙ　Ｇｒｏｕｐ）の増設及び減設の説明図。 制御情報及びプログラムの例。 ＰＧテーブルの例。 ページテーブルの例。 プールテーブルの例。 ボリュームテーブルの例。 論理物理変換テーブルの例。 ブロックテーブルの例。 容量増減設プログラム及び予備領域変更プログラムの処理例を示すフローチャート。 実施例２の概要の説明図。 空き領域チェックプログラムの処理例を示すフローチャート。 ページ移動プログラムの処理例を示すフローチャート。 移動ページ選択プログラムの処理例を示すフローチャート。 ＰＧ内でデータを移動する方式の概要の説明図。 ボリュームテーブルの別の例。 ＰＧ内データ移動プログラムの処理例を示すフローチャート。 ガベージコレクションプログラムの処理例を示すフローチャート。
　以下、図面を参照しながら実施例を説明する。
　なお、以後の説明では「ａａａテーブル」等の表現にて情報を説明するが、これら情報は、テーブル等のデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために「ａａａテーブル」等の情報を「ａａａ情報」と呼ぶことができる。
　また、以後の説明では「プログラム」を主語として説明を行う場合があるが、プログラムはプロセッサによって実行されることで定められた処理を行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は、そのプログラムを実行するプロセッサ又はそれを有する装置（例えば、制御デバイス、コントローラ、ストレージシステム）が行う処理としてもよい。また、プロセッサがプログラムを実行することにより行われる処理の一部または全ては、プロセッサに代えて又は加えてハードウェア回路によって行われても良い。また、各種プログラムはプログラム配布サーバや、計算機が読み取り可能な記憶メディアによって各計算機にインストールされてもよい。
　図１は、フラッシュドライブ２４０と、プール４００と、ページ４０２との関係性を説明するための図である。図１を用いて、本実施例に係る課題を説明する。
　ストレージシステムは、１つ以上のフラッシュドライブ２４０を備える。しかし、ここでは説明をわかりやすくするため、フラッシュドライブ２４０を１つとする。しかし、複数のフラッシュドライブ２４０をパリティグループ（ＰＧ：Ｐａｒｉｔｙ　Ｇｒｏｕｐ）という単位でまとめて、高信頼化技術の一例であるＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ　ｏｆ　Ｉｎｄｅｐｅｎｄｅｎｔ　Ｄｉｓｋｓ）を構成してもよい。パリティグループやＲＡＩＤグループのようなフラッシュドライブ２４０で構成されたグループをディスクグループともいう。
　シンプロビジョニングに係る容量仮想化機能は、ストレージシステムに搭載されている複数の物理的な記憶デバイス（例えばフラッシュメモリ）の容量をまとめてプールとして管理する。そして、容量仮想化機能は、上位計算機に対して、仮想ボリュームを提供する。上位装置から仮想ボリュームの或るアドレスに対する書き込み要求を受領した場合、容量仮想化機能は、プールの空きページを確保し、その空きページを仮想ボリュームの当該アドレスに割り当て、当該空きページにデータを書き込む。典型的に、１ページのサイズは、数ＭＢ～数百ＭＢである。これにより、未割り当てのページの分の容量は消費されないので、ストレージシステムの全容量を効率的に使用することができる。
　フラッシュドライブ２４０の全容量は、ユーザ領域３１０の容量と予備領域３２０の容量との合計である。図１の例では、ユーザ領域３１０の容量が「０．８ＴＢ」であり、予備領域３２０の容量が「０．２ＴＢ」であり、フラッシュドライブ２４０の全容量は合計の「１ＴＢ」である。
　プール４００は、ストレージシステムの容量仮想化機能によって管理される。図１の例において、プール４００の容量は、フラッシュドライブ２４０のユーザ領域３１０の容量の「０．８ＴＢ」に等しい。プール４００では、典型的には、ページ未割当領域３４０が常時２０％程度確保される。ページ未割当領域３４０は、フラッシュドライブ２４０の領域３４１（空き領域）に対応する。
　ページ４０２は、プール４００から仮想ボリュームに割り当てられる領域の単位である。図１のページ４０２において、領域３６０はライトデータが格納済みであり、領域３５０はライトデータが未格納である。フラッシュドライブ２４０の領域３５１（空き領域）は、このライトデータが未格納の領域３５０に対応する。
　よって、フラッシュドライブ２４０における空き領域は、領域３２０、領域３４１及び領域３５１の合計となる。典型的には、フラッシュドライブ２４０の空き領域の全容量に対する割合は、４０％以上となる。つまり、単位容量当たりのコストが高くなってしまう。
　図２は、ストレージシステム２００の構成例を示す。
　ストレージシステム２００は、１以上のマイクロプロセッサパッケージ（ＭＰＰＫ）２１０と、メモリユニット２２０と、バックエンドパッケージ（ＢＥパッケージ）２３０と、フロントエンドパッケージ（ＦＥパッケージ）２６０とを有する。ＭＰＰＫ２１０と、メモリユニット２２０と、ＢＥパッケージ２３０と、ＦＥパッケージ２６０とは、内部バス２８０を介して接続されている。
　ＦＥパッケージ２６０は、ポート２６１と、メモリ２６２とを有する。
　ポート２６１は、ネットワーク１２０を介して、ホスト１００と接続され、ホスト１００との間の通信を仲介する。
　メモリ２６２は、ＦＥパッケージ２６０の処理に必要な各種データを記憶する。例えば、メモリ２６２は、ホスト１００から転送されたデータ又はホスト１００へ転送するデータを一時的に格納する。メモリ２６２は、後述するメモリユニット２２０で構成されてもよい。
　メモリユニット２２０は、１以上のメモリデバイスにより構成される。メモリユニット２２０は、制御情報を記憶する制御情報部２２１と、プログラムを記憶するプログラム部２２２と、データをキャッシュするキャッシュメモリの一例としてのキャッシュ部２２３とを有してよい。キャッシュ部２２３の容量は、典型的には、ボリューム２５０の容量よりも小さい。
　ＭＰＰＫ２１０は、プロセッサ２１１と、ローカルメモリ２１２と、保守ポート２１３とを有する。
　プロセッサ２１１と、ローカルメモリ２１２と、保守ポート２１３とは、内部バス２１４を介して接続されている。
　ローカルメモリ２１２は、ＭＰＰＫ２１０において必要な各種データを記憶する。
　保守ポート２１３は、保守端末２７０との通信を仲介する。
　プロセッサ２１１は、各種処理を実行する。プロセッサ２１１は、メモリユニット２２０のプログラム部２２２に格納された各種プログラムを実行することにより各種処理を実行してよい。プロセッサ２１１は、メモリユニット２２０の制御情報部２２１に格納されている各種情報を用いて各種処理を実行してよい。
　ＢＥパッケージ２３０は、ポート２３１と、メモリ２３２とを有する。
　ポート２３１は、１以上の物理記憶デバイスの一例であるフラッシュドライブ２４０と、バス２８３を介して接続されている。
　データを管理するボリューム２５０は、１以上のフラッシュドライブ２４０の記憶領域により構成されてよい。
　物理記憶デバイスは、フラッシュドライブに限られず、例えば、ＨＤＤ、ＤＶＤ、ＳＣＭ（Ｓｔｏｒａｇｅ　Ｃｌａｓｓ　Ｍｅｍｏｒｙ）などであってもよい。フラッシュドライブは、ＮＡＮＤ型フラッシュでもよいし、ＮＯＲ型フラッシュでもよい。また、１つ以上のフラッシュドライブ２４０をパリティグループという単位でまとめて、高信頼化技術の一例であるＲＡＩＤを使用してもよい。
　メモリ２３２は、メモリユニット２２０で構成されてもよい。
　ストレージシステム２００には、バス２８０を介して、ストレージシステム２００を保守するための保守端末２７０が接続されてよい。
　保守端末２７０は、ＣＰＵ２７１と、メモリ２７２と、入出力部２７４と、保守ポート２７５とを有する。
　メモリ２７２は、保守用のプログラム（保守プログラム）２７３を記憶する。ＣＰＵ２７１は、保守プログラム２７３を実行して保守処理を実行する。
　入出力部２７４は、例えば、マウス、キーボード、ディスプレイ等により構成され、保守を行うオペレータからの様々な指示の入力を受け付けるとともに、様々な情報をディスプレイに表示する。
　保守ポート２７５は、ストレージステム２００との間の通信を仲介する。
　図２の構成は一例であり、例えば、サーバ上にソフトウェアをインストールしたソフトウェアベースのストレージシステムであってもよいし、クラウド上で動作する仮想マシンにソフトウェアをインストールしたストレージシステムであってもよい。
　図３は、フラッシュドライブ２４０の構成例を示す。
　フラッシュドライブ２４０は、ディスクＩ／Ｆ２４１、プロセッサ２４２、メモリ２４４、フラッシュＩ／Ｆ２４５、フラッシュメモリチップ２４６、及び内部ネットワーク２４３を有する。
　ディスクＩ／Ｆ２４１、フラッシュＩ／Ｆ２４５、メモリ２４４、及びプロセッサ２４２は、内部ネットワーク２４３を介して接続される。
　フラッシュメモリチップ２４６は、フラッシュＩ／Ｆ２４５に接続される。さらに、データ圧縮及び伸長回路なども、内部ネットワーク２４３を介して接続されてよい。
　ディスクＩ／Ｆ２４１は、フラッシュドライブ２４０を利用するストレージシステム２００（上位装置）との通信を仲介する。
　フラッシュＩ／Ｆ２４５は、フラッシュメモリチップ２４６にアクセスするための通信を仲介する。
　プロセッサ２４２は、ディスクＩ／Ｆ２４１に接続される上位装置から様々な要求（Ｉ／Ｏ要求など）を受領し、その要求に対応する処理を実行する。
　メモリ２４４は、プロセッサ２４２が様々な処理を実行するために必要となる制御情報やプログラムなどを格納する。
　図３の構成は一例であり、フラッシュドライブ２４０は、１つ以上のフラッシュメモリチップ２４６とそれを制御するプロセッサ２４２などから構成されるどのような装置であってもよい。フラッシュドライブ２４０は、一般的なＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）のようなフォームファクタに限定されるものではない。
　図３の下部に、フラッシュドライブ２４０のメモリ２４４に格納されているプログラム及び制御情報を示す。
　メモリ２４４は、予備領域変更プログラム２４７、容量報告プログラム２４８、予備領域比率テーブル２４９、フラッシュ容量テーブル２８１、論理物理変換テーブル２８２、及び、ブロックテーブル２８３を格納してよい。メモリ２４４は、これ以外のプログラム（例えばＩ／Ｏ処理プログラム）及び制御情報なども格納してよい。図３では、本実施例に直接関連しないプログラムやテーブルなどは省略されている。
　予備領域比率テーブル２４９は、各フラッシュドライブ２４０の全領域に対する予備領域３２０の割合（比率）を管理するためのテーブルである。
　フラッシュ容量テーブル２８１は、各フラッシュドライブの物理容量（ユーザ領域３１０と予備領域３２０の合計）を管理するためのテーブルである。
　論理物理変換テーブル２８２、ブロックテーブル２８３、及び、予備領域変更プログラム２４７については後述する。
　容量報告プログラム２４８は、フラッシュドライブ２４０を利用するストレージシステム２００などから容量の報告要求を受領すると、そのフラッシュドライブの「１－予備領域割合」と「フラッシュドライブの全容量」との積を算出し、その算出結果を、そのフラッシュドライブの使用可能な容量として報告するためのプログラムである。したがって、予備領域割合が変わると、それに伴い、報告されるフラッシュドライブの使用可能な容量も変わる。
　図４は、フラッシュドライブ２４０、パリティグループ４０１、プール４００、ページ４０２、仮想ボリューム４０３の関係を示す図である。図４を参照しながら、容量仮想化機能について説明する。
　仮想ボリューム４０３は、仮想化されたボリュームである。
　１つ以上のフラッシュドライブ２４０は、パリティグループ（ＰＧ：Ｐａｒｉｔｙ　Ｇｒｏｕｐ）４０１という単位でまとめられている。
　ＰＧ４０１は、物理的な容量を有するリソースである。プール４００には、複数のＰＧ４０１が属することができる。
　ＰＧ４０１の容量は、ページ４０２という単位で分割される。ページ４０２のサイズは、典型的には、数ＭＢ～数百ＭＢである。１つのページ４０２は、ＰＧ４０１内の全フラッシュドライブ２４０に跨ってよい。各フラッシュドライブ２４０の容量及び性能を効率的に使用するためである。
　仮想ボリューム４０３は、仮想的な記憶領域であり、ストレージシステム２００に接続される上位装置によって認識される。仮想ボリューム４０３の所定の領域に対するデータの書き込み指示が発生すると、その領域に対してページ４０２が割り当てられる。
　書き込むデータのサイズよりもページのサイズの方が大きい場合は、書き込みが指示されたアドレスを含む領域に、容量が割り当てられる。ボリューム４０３の未使用領域には、ページ４０２が未割り当てである。この場合、フラッシュドライブ２４０の記憶領域は消費されていない。
　なお、ＰＧ４０１内にプールボリュームと呼ばれるボリュームを作成し、当該プールボリュームの容量をページ４０２で分割してもよい。プールボリュームという階層を設けることで、ＰＧ４０１の一部の領域のみをプール４００に追加することができる。例えば、ＰＧ４０１の容量が「１ＴＢ」であって、その内の「０．５ＴＢ」のみをプール４００に追加することができる。そして、ＰＧ４０１の残りの容量は、他の用途に使うこともできる。
　図５は、ＰＧ１をプール４００に増設及びＰＧ１をプール４００から減設する例である。ここで、増設とはプール４００に新たにＰＧを加えることをいい、減設とはプール４００を構成しているＰＧを当該プールの構成から外すことをいう。
　例えば、ＰＧ１の全容量をユーザ領域の容量と予備領域の容量との合計の「１ＴＢ」、ＰＧ１のユーザ領域の容量を「０．８ＴＢ」とする。
　ＰＧ１をプール４００に増設するとき、ＰＧ１内の予備領域は解放される。これにより、ストレージシステム２００は、ＰＧ１の全容量「１ＴＢ」をプールの容量として使用することができる。
　例えば、プール４００にＰＧ１とＰＧ２とが含まれているとする。この場合、プール４００の全容量は「２ＴＢ」となる。プールの全容量「２ＴＢ」は、ストレージシステム２００の管理画面から管理者が確認することができてよい。つまり、「２ＴＢ」分のデータが格納可能となる。
　ＰＧ１をプール４００から減設するとき、ＰＧ１内に予備領域を確保する。なぜなら、上記の通り、ＰＧ１をプール４００に増設するときにＰＧ１の予備領域を解放しているからである。これにより、減設したＰＧ１を容量仮想化機能を適用しない環境（つまり別の環境）で使用する際、ＰＧ１には既に予備領域３２０が確保されている。減設の際にＰＧ１の予備領域３２０を確保しないと、予備領域の不足によってフラッシュドライブの寿命が早期に尽きてしまうおそれがある。
　図６は、ストレージシステム２００の制御情報部２２１に格納されている制御情報と、プログラム部２２２に格納されているプログラムとの例を示す。
　制御情報部２２１には、ＰＧテーブル２２４、プールテーブル２２５、ページテーブル２２６、及びボリュームテーブル２２７が格納されている。
　図６には本実施例に関連する制御情報のみが示されており、実際のストレージシステム２００にはこれら以外の制御情報も格納されてよい。例えば、実際のストレージシステム２００には、キャッシュ管理テーブルなどが格納されてよい。
　プログラム部２２２には、容量増減設プログラム２９０、空き領域チェックプログラム２９１、ページ移動プログラム２９２、移動ページ選択プログラム２９３、ガベージコレクションプログラム２９４、及び、ＰＧ内データ移動プログラム２９５が格納されている。図６には本実施例に関連するプログラムのみが示されており、実際のストレージシステム２００にはこれら以外のプログラム（Ｉ／Ｏプログラムなど）も格納されてよい。
　図７は、ＰＧテーブル２２４の一例を示す。
　ＰＧテーブル２２４は、ＰＧ４０１の容量、ＰＧ４０１の構成、及び、ＰＧ４０１に属するフラッシュドライブ２４０の情報などを管理する。
　ＰＧテーブル２２４は、ＰＧ番号５００、サイズ５０２、ＲＡＩＤ構成５０４、圧縮機能有無５０６及びドライブ番号５０８をフィールド値として有するレコードを管理してよい。ＰＧ番号５００は、ＰＧ４０１を識別するための番号である。ＰＧ番号５００は、ストレージシステム２００においてユニークである。サイズ５０２は、ＰＧ番号５００のＰＧ４０１の容量である。ＲＡＩＤ構成５０４は、ＰＧ番号５００のＰＧ４０１のＲＡＩＤ種別およびドライブ台数を示す情報である。圧縮機能有無５０６は、ＰＧ番号５００のＰＧ４０１が圧縮機能を有するか否かを示す情報である。ドライブ番号５０８は、ＰＧ番号５００のＰＧ４０１に含まれるフラッシュドライブの番号である。
　フラッシュドライブが圧縮機能を有する場合、圧縮機能有無５０６は、フラッシュドライブの単位で管理されてもよい。１つのＰＧ内に圧縮機能有無の異なるフラッシュドライブを混在させることは少ないので、本実施例では、ＰＧ４０１の単位で圧縮機能有無を管理している。しかし、１つのＰＧ４０１内に圧縮機能有無の異なるフラッシュドライブが混在してもよい。この場合、１つのＰＧ４０１内の全てのフラッシュドライブが圧縮機能を有する場合のみ圧縮機能有無５０６を「有」とし、それ以外の場合には圧縮機能有無５０６を「無」としてもよい。
　図８は、ページテーブル２２６の一例を示す。
　ページテーブル２２６は、ページ４０２が対応する物理領域及びページ４０２の割り当て状況などを管理する。ページテーブル２２６は、ページ番号５２０、状態５２２、割り当て先５２４、ＰＧ番号５２６、ドライブ番号５２８及びアドレス５３０をフィールド値として有するレコードを管理してよい。
　ページ番号５２０は、ページ４０２を一意に識別するための番号である。ページ番号５２０は、プール内でユニークな番号としてもよいし、ＰＧ毎にユニークな番号としてＰＧ番号と組み合わせてプール内で一意に識別可能としてもよい。ページ番号５２０のページ４０２の物理的な領域は、ＰＧ番号５２６、ドライブ番号５２８及びアドレス５３０によって特定される。
　ＰＧ番号５２６は、ＰＧ４０１を識別するための番号である。アドレス５３０は、ＰＧ番号５２６のＰＧ４０１におけるページ４０２の開始アドレスである。ページサイズが固定長でない場合、ページテーブル２２６は、ページサイズや終了アドレスなども管理してよい。
　ページ４０２の物理的な領域は、ＰＧ４０１内の各フラッシュドライブ２４０に跨っている。ページ４０２のアドレスが各フラッシュドライブ２４０で異なる場合、ドライブ番号５２８毎にアドレス５３０を管理する必要がある。図８の例は、ドライブ番号５２８及びアドレス５３０の組によって、ページ４０２の物理的な領域を特定している。ページ４０２のアドレスが各フラッシュドライブ２４０で同じ場合、ドライブ番号５２８を設けず、アドレス５３０のみでページ４０２の物理的な領域を特定することもできる。
　状態５２２は、ページ番号５２０のページ４０２が、割り当て済みか否かを示す情報である。割り当て先５２４は、ページ番号５２０のページ４０２の割り当て先を示す情報である。
　ページ番号５２０のページ４０２が割り当て済みの場合、割り当て先５２４は、割り当て先のボリュームの番号となってよい。ページ番号５２０のページ４０２が未割り当ての場合、割り当て先５２４は、割り当て先無しを意味する「－」となってよい。
　ストレージシステム２００は、ライト要求を受領すると、ページ４０２を割り当てる。この処理は、ストレージシステム２００が、ページテーブル２２６を参照し、未割り当て状態のページ４０２を探索することによって実現されてよい。未割り当てページの探索処理を高速化するために、未割り当て状態のページ４０２のページ番号を予めリスト化しておいてもよい。
　図９は、プールテーブル２２５の一例を示す。
　プールテーブル２２５は、プール４００の容量、プール４００に属するＰＧ情報、及びページ情報などを管理する。
　プールテーブル２２５は、プール番号５４０、容量５４２、ＰＧ番号５４４及びページ番号５４６をフィールド値として有するレコードを管理してよい。プール番号５４０は、プール４００を一意に識別するための番号である。容量５４２は、プール４００の容量である。すなわち、容量５４２は、プール４００に属する各ＰＧ４０１の容量の合計に等しくなる。ＰＧ番号５４４は、プール４００に属するＰＧ４０１の番号である。ページ番号５４６は、ＰＧ番号５４４のＰＧ４０１に含まれるページの番号である。なお、ＰＧ番号５４４を用いてページテーブル２２６を検索することによってページ番号は取得できるため、プールテーブル２２５は、ページ番号５４６を有さなくてもよい。
　図１０は、ボリュームテーブル２２７の一例を示す。
　ボリュームテーブル２２７は、仮想ボリューム４０３に対するページ４０２の割り当てを管理する。ボリュームテーブル２２７は、メモリユニット２２０の制御情報部２２１に格納されてよい。
　ボリュームテーブル２２７は、ボリューム番号５６０、アドレス５６２、ページ割り当て状態５６４、及びページ番号５６６をフィールド値として有するレコードを管理してよい。ボリューム番号５６０は、仮想ボリューム４０３を識別するための番号である。アドレス５６２は、ボリューム番号５６０の仮想ボリューム４０３のアドレスである。ページ割り当て状態５６４は、アドレス５６２にページ４０２が割り当て済みか否かを示す情報である。ページ番号５６６は、アドレス５６２に割り当てられたページの番号である。
　図１０の例におけるボリュームテーブル２２７の一番上のレコードは、ボリューム番号「０」の仮想ボリュームのアドレス「０～２４５７６０００」には、ページ番号「０」のページ４０２が割り当てられていることを表す。
　図１１は、論理物理変換テーブル２８２の一例を示す。
　論理物理変換テーブル２８２は、フラッシュドライブ２４０内のメモリ２４４に格納されてよい。論理物理変換テーブル２８２は、フラッシュドライブ２４０を利用するストレージシステム２００（上位装置）がアクセス先のアドレスとして指定するアドレスと、フラッシュドライブ２４０内のフラッシュメモリチップ２４６のアドレスとを変換する。上位装置に提供するアドレスを論理アドレス、フラッシュドライブ２４０内のアドレスを物理アドレスとして説明する。フラッシュドライブ２４０内ではリクラメーション処理やウェアレベリング処理によってデータの物理的な格納位置が変化するため、論理物理変換テーブル２８２が必要である。
　論理物理変換テーブル２８２は、論理アドレス５８０、フラッシュページ状態５８２、ブロック番号５８４及びフラッシュページ番号５８６をフィールド値として有するレコードを管理してよい。論理アドレス５８０は、ストレージシステム２００などの上位装置に提供するアドレスである。論理アドレス５８０は、上位装置がフラッシュドライブ２４０にアクセスする際に使用される。フラッシュページ状態５８２は、論理アドレス５８０の領域にフラッシュページが割り当て済みであるか否かを示す情報である。フラッシュページ状態５８２は、ライト契機で割り当て済みとなり、ＵＮＭＡＰなどの領域解放の契機で未割り当てとなってよい。
　ここで、ブロックおよびフラッシュページについて説明する。フラッシュメモリチップ２４６は、複数のブロックに分割されている。ブロックは、１つ以上のページから構成されている。ブロック内の有効ページを他のブロックに移動させ、そのブロックを再生して再利用可能な状態とするリクラメーション処理などは、ブロック単位で実行される。なお、フラッシュページは、容量仮想化機能のページとは無関係である。
　ブロック番号５８４は、フラッシュメモリ２４０内のブロックを一意に識別するための番号である。フラッシュページ番号５８６は、ブロック内でフラッシュページを一意に識別するための番号である。すなわち、ブロック番号５８４とフラッシュページ番号５８６の組によって、物理アドレスが特定可能である。
　ブロック番号５８４およびフラッシュページ番号５８６は、フラッシュページ状態５８２が「割り当て済み」の場合のみ、有効な情報である。フラッシュページ状態５８２が「未割り当て」の場合、ブロック番号５８４及びフラッシュページ番号５８６は、無効を意味する「－」であってよい。
　図１１の例は、論理アドレス５８０の「０～８１９１」の８キロバイトの領域が、ブロック番号５８４「０」のフラッシュページ番号５８６「０」と対応することを示す。この例では、ページのサイズは８キロバイトであってよい。
　以下、ホスト１００からライト要求を受領した場合に上述のテーブルがどのように更新されるかについて、簡単に説明する。
　ストレージシステム２００は、ボリューム番号、アドレス、及びライトデータを含むライト要求を受領する。そして、ストレージシステム２００は、ボリュームテーブル２２７を参照し、ライト対象のアドレス５６２にページが割り当てられているか否かをチェックする。ここでは未割り当てとする。未割り当ての場合、ストレージシステム２００は、ページテーブル２２６を参照し、未割り当て状態のページを探索し、割り当てる。このとき、ボリュームテーブル２２７のページ割り当て状態５６４及びページ番号５６６が更新される。また、ページテーブル２２６の状態５２２及び割り当て先５２４が更新される。
　以下、ライトデータをフラッシュドライブに書き込む処理について説明する。この処理は、ストレージシステム２００のキャッシュを用いて、ライト要求とは非同期に実行されてよい。
　フラッシュドライブ２４０は、ストレージシステム２００からライト要求を受領する。例えば、ライト要求がページ「０」に対する書き込みの場合、ライトデータはアドレス「０～８１９２０００」に格納されることになる。この場合、フラッシュドライブ２４０は、論理物理変換テーブル２８２の論理アドレス５８０「０～８１９２０００」にフラッシュページを割り当て、ライトデータを格納する。
　例えば、ブロックテーブル２８３から未使用状態のページを探索し、発見したブロックのブロック番号及びフラッシュページ番号を、論理物理変換テーブル２８２のブロック番号５８４及びフラッシュページ番号５８６に格納する。その後、フラッシュドライブ２４０は、その割り当てたフラッシュページにライトデータを格納する。図１１の例では、１つのフラッシュページのサイズが８キロバイトであるため、１０００ページが割り当てられる。ＰＧを構成する他のフラッシュドライブ２４０でも同様に、ストレージシステム２００からの書き込みデータを格納する。
　ここでは、フラッシュドライブ２４０に１つのページ「０」に対応するデータを書き込む例を説明したが、データの書き込み単位はそれ以外であってもよい。例えば、ページの一部に対する書き込みであってもよい。
　図１２は、ブロックテーブル２８３の一例を示す。
　ブロックテーブル２８３は、フラッシュドライブ２４０内のメモリ２４４に格納されてよい。ブロックテーブル２８３は、ブロックに含まれるフラッシュページ情報、及びブロックの状態を管理する。
　ブロックテーブル２８３は、ブロック番号６００、フラッシュページ番号６０２及び状態６０４をフィールド値として有するレコードを管理してよい。ブロック番号６００およびフラッシュページ番号６０２は、上記で説明した通りである。状態６０４は、フラッシュページ番号６０２のページが「使用中」又は「未使用」の何れであるかを示す。
　図１３は、容量増減設プログラム２９０および予備領域変更プログラム２４７の処理例を示すフローチャートである。
　これらのプログラムは、プール４００への容量増加指示を受領した場合、予備領域３２０を解放する。また、これらのプログラムは、プール４００への容量減設指示を受領した場合、予備領域３２０を確保する。
　容量増減設プログラム２９０は、ストレージシステム２００の制御情報部２２１に格納され、ストレージシステム２００のプロセッサ２１１によって実行されてよい。予備領域変更プログラム２４７は、フラッシュドライブ２４０のメモリ２４４に格納され、フラッシュドライブ２４０のプロセッサ２４２によって実行されてよい。以下、詳細を説明する。
　容量増減設プログラム２９０は、管理画面やコンソールなどを通じて、管理者（保守員）から容量増設指示、又は、容量減設指示を受領する（Ｓ１００）。このとき、容量増減設プログラム２９０は、ＰＧの情報及びプール４００の情報も合わせて受領する。
　容量減設プログラム２９０は、容量減設指示を受領したか否かを判定する（Ｓ１０１）。容量増設と容量減設とでは処理が異なるためである。
　以下、容量減設指示を受領した場合（Ｓ１０１：ＹＥＳ）について説明する。
　容量増減設プログラム２９０は、指示されたＰＧ４０１に格納済みであるデータを、他のＰＧ４０１の空き領域に移動する（Ｓ１０２）。なお、他のＰＧ４０１の空き領域が不足している場合は、エラーを報告して終了してよい。
　そして、容量増減設プログラム２９０は、プールテーブル２２５を更新する（Ｓ１０３）。ここで、容量増減設プログラム２９０は、減設対象として指定されたＰＧ４０１の情報を、プールテーブル２２５から削除する。
　そして、容量増減設プログラム２９０は、指示されたＰＧ４０１に属する全てのフラッシュドライブ２４０（つまり、減設対象のＰＧに属するフラッシュドライブ）に対して、予備領域３２０の確保を指示する（Ｓ１０４）。例えば、容量増減設プログラム２９０は、「２０％」の予備領域３２０を確保する旨を指示する。なお、この指示する値は、もちろん２０％以外であってもよい。そして、容量増減設プログラム２９０は、フラッシュドライブ２４０からの応答を待つ（Ｓ１０４）。
　以下、容量増設指示を受領した場合（Ｓ１０１：ＮＯ）について説明する。
　容量増減設プログラム２９０は、指示されたＰＧ４０１に属するフラッシュドライブ２４０（つまり、増設対象のＰＧに属するフラッシュドライブ）に対して、予備領域３２０の削減を指示する（Ｓ１０５）。例えば、容量増減設プログラム２９０は、予備領域３２０を「０％」に削減する旨を指示する。なお、この指示する値は、典型的なフラッシュドライブ２４０よりも予備領域割合が小さくなるどのような値であってよい。そして、容量増減設プログラム２９０は、フラッシュドライブ２４０からの応答を待つ（Ｓ１０５）。
　以下、予備領域変更プログラム２４７の処理を説明する。
　予備領域変更プログラム２４７は、容量増減設プログラム２９０からステップＳ１０４又はＳ１０５の指示を受領すると（Ｓ１０６）、予備領域割合３２０を、その受領した指示の割合に変更する（Ｓ１０７）。すなわち、フラッシュドライブ２４０の予備領域比率テーブル２４９を変更する。
　そして、予備領域変更プログラム２４７は、容量増減設プログラム２９０に完了を報告し（Ｓ１０８）、処理を終了する（Ｓ１０９）。
　この処理以降、フラッシュドライブ２４０は、容量の問い合わせに対する回答を変更する。すなわち、フラッシュドライブ２４０は、容量の問い合わせを受領すると、フラッシュ容量２８１と予備領域比率テーブル２４９とからユーザ領域のサイズを算出し、その算出結果を回答する。つまり、ステップＳ１０７で実行された備領域比率の変更内容によって、算出結果（回答）は異なり得る。
　以下、容量増減設プログラム２９０の処理を説明する。
　容量増減設プログラム２９０は、対象ＰＧ４０１に属する全てのフラッシュドライブ２４０から完了の報告を受領すると（Ｓ１１０）、ステップＳ１００で受領した指示が容量減設指示であったか否かを判定する（Ｓ１１１）。
　この受領した指示が容量減設指示であった場合（Ｓ１１１：ＹＥＳ）、容量増減設プログラム２９０は、処理を終了する（Ｓ１１３）。
　この受領した指示が容量増設指示であった場合（Ｓ１１０：ＮＯ）、容量増減設プログラム２９０は、プールテーブル２２５を更新する（Ｓ１１２）。すなわち、容量増減設プログラム２９０は、増設対象として指定されたＰＧ４０１の情報を、プールテーブル２２５に追加する。そして、容量増設指示プログラム２９０は、処理を終了する（Ｓ１１３）。
　プール４００に増設されたＰＧ４０１の領域はプール４００として新たに使用される。増設対象のＰＧ４０１に元々格納されていたデータは維持されなくてよい。
　また、プール４００から減設されるＰＧ４０１は別の用途に利用され得る。減設対象のＰＧに元々格納されていたデータは維持されなくてよい。なぜなら、減設対象のＰＧに元々格納されていたデータは、Ｓ１０２において、プール４００に残っている他のＰＧ４０１に移動済みだからである。
　上述した処理により、容量仮想化機能の環境でフラッシュドライブ２４０内の予備領域３２０を削減することができる。これにより、容量仮想化機能の環境において過剰に空き領域が確保されてしまう課題を改善することができる。
　容量仮想化機能においては、プール内の未割り当てページと割り当て済みページ内の未ライト領域の合計が空き領域となる。よって、容量仮想化機能の環境では、十分な空き領域が確保済みであることが多いため、フラッシュドライブ２４０の予備領域３２０を削減することができる。
　しかし、容量仮想化機能における空き領域が特定のフラッシュドライブ２４０やＰＧ４０１に偏っている場合、一部のフラッシュドライブ２４０の空き領域が２０％以下となる可能性がある。この場合、当該フラッシュドライブ２４０の寿命が短くなってしまう。
　そこで、実施例２では、プール４００の空き領域を各フラッシュドライブ２４０に分散する方法を説明する。
　図１４は、実施例２の概要を説明するための図である。
　図１４の例では、容量仮想化機能のページ４０２をＰＧ１からＰＧ２へ移動させることにより、ＰＧ１に属するフラッシュドライブ２４０に必要な空き領域を確保している。
　各ＰＧ４０１の空き領域の割合が同程度になるように、ページ４０２を移動させてもよい。
　また、各フラッシュドライブ２４０の空き領域の割合が所定の閾値以下になった場合に、ページ４０２を移動させてもよい。例えば、空き領域の割合が２０％以下となった場合、空き領域の割合が２０％以上となるように、ページ４０２を移動させてよい。これによれば、空き領域の割合が４０％や５０％など偏っている場合であってもページ４０２の移動が発生しないため、ページ４０２の移動による寿命の消費を抑制することができる。
　図１４の例では、ＰＧ１およびＰＧ２は、それぞれ、３つのフラッシュドライブ２４０から構成されている。
　ＰＧ１に属する３つのフラッシュドライブ２４０の空き領域の割合は、それぞれ、１０％、３０％、３０％である。ＰＧ２に属する３つのフラッシュドライブ２４０の空き領域の割合は、それぞれ、３０％、５０％、６０％である。すなわち、ＰＧ１の空き領域の割合がＰＧ２の空き領域の割合よりも小さい状態である。
　ここで、ページ４０２をＰＧ１からＰＧ２へ移動させると、ＰＧ１に属する３つのフラッシュドライブ２４０の空き領域の割合は、それぞれ、２０％、４０％、４０％に変わる。また、ＰＧ２に属する３つのフラッシュドライブ２４０の空き領域の割合は、それぞれ、２０％、４０％、５０％に変わる。すなわち、ＰＧ１の空き領域の割合とＰＧ２の空き領域の割合との差が小さくなっている。なお、移動させるページ４０２は、１つであっても良いし、複数であってもよい。
　図１５は、空き領域チェックプログラム２９１の処理の例を示すフローチャートである。
　空き領域チェックプログラム２９１は、各フラッシュデバイス２４０の空き領域の割合をチェックして、ＰＧ間で空き領域の割合に差があれば、空き領域の割合を調整するプログラムである。空き領域チェックプログラム２９１は、ストレージシステム２００の制御情報部２２１に格納され、ストレージシステム２００のプロセッサ２１１によって実行されてよい。以下、処理の詳細を説明する。
　空き領域チェックプログラム２９１は、プール４００に属する全フラッシュドライブ２４０に対して、空き領域の割合を問い合わせる（Ｓ２０２）。フラッシュドライブ２４０に問い合わせることにより、空き領域チェックプログラム２９１は、割り当て済みページ内の未ライト領域を考慮した、より正確な空き領域サイズを取得することができる。なお、ページテーブル２２６において、割り当て済みページ内の未ライト領域を管理してもよい。当該管理は、８バイト毎にライト済みか否かを示す１ビットの情報が対応付けられているライト済みビットマップ情報によって管理されてよい。
　次に、空き領域チェックプログラム２９１は、各ＰＧ４０１の空き領域の割合を計算する（Ｓ２０３）。
　ＰＧ４０１の空き領域の割合は、ＰＧ４０１を構成する各フラッシュドライブ２４０の内の最小の空き領域の割合として定義されてよい。
　ページ４０２の移動の目的は、空き領域の割合の少ないフラッシュドライブ２４０の空き領域の割合を増やすことである。したがって、ＰＧ４０１を構成する各フラッシュドライブ２４０の内、最小の空き領域の割合のフラッシュドライブ２４０をページ４０２の移動元としてよい。また、ＰＧ４０１を構成する各フラッシュドライブ２４０の内、最大の空き領域の割合のフラッシュドライブ２４０をページ４０２の移動先としてよい。
　なお、ＰＧ４０１を構成するフラッシュドライブ２４０間の空き領域の割合の偏りを解消することにより、最小の空き領域の割合のフラッシュドライブ２４０の空き領域の割合を増やすことができる。このＰＧ内における空き領域の割合の調整については後述する。なお、ＰＧ間における空き領域の割合の調整であっても、プール４００に十分な空き領域があれば、最小の空き領域の割合のフラッシュドライブ２４０に合わせて調整する際に、各フラッシュドライブ２４０に十分な空き領域を確保することができる。
　次に、空き領域チェックプログラム２９１は、ＰＧ４０１間の空き領域の割合の差が所定の閾値以上であるか否かを判定する（Ｓ２０４）。
　ステップＳ２０４の判定結果が否定的（ＮＯ）な場合、空き領域チェックプログラム２９１は、ステップＳ２０５をスキップし、ステップＳ２０６へ進む。
　ステップＳ２０４の判定結果が肯定的（ＹＥＳ）な場合、空き領域チェックプログラム２９１は、空き領域の割合を調整するためにページ移動プログラム２９２を実行し（Ｓ２０５）、ステップＳ２０６へ進む。
　ステップＳ２０６において、空き領域チェックプログラム２９１は、空き領域の割合の平均が所定の割合（例えば２０％）以下であるか否かを判定する（Ｓ２０６）。
　ステップＳ２０６の判定結果が肯定的（ＹＥＳ）な場合、空き領域チェックプログラム２９１は、容量追加が必要である旨を管理者に伝えるためのアラートを挙げ（Ｓ２０７）、処理を終了する（Ｓ２０８）。
　ステップＳ２０６の判定結果が否定的（ＮＯ）な場合、空き領域チェックプログラム２９１は、ステップＳ２０７をスキップし、処理を終了する（Ｓ２０８）。
　図１６は、ページ移動プログラム２９２の処理の例を示すフローチャートである。
　ページ移動プログラム２９２は、ページ４０２を移動させることで、ＰＧ４０１間の空き領域の割合の偏りを解消する。ページ移動プログラム２９２は、ストレージシステム２００の制御情報部２２１に格納され、ストレージシステム２００のプロセッサ２１１によって実行されてよい。以下、処理の詳細を説明する。
　ページ移動プログラム２９２は、各ＰＧ４０１の空き領域の割合の平均値を計算する（Ｓ３００）。この平均値は、空き領域の割合の調整における目標となる。
　ページ移動プログラム２９２は、空き領域の割合が平均値以下のＰＧを選択し、平均値にするために必要なデータ移動量を計算する（Ｓ３０１）。
　必要なデータ移動量は、例えば、「フラッシュドライブの容量÷１００（％）×（平均値－空き領域の割合）」として計算されてよい。
　ページ移動プログラム２９２は、空き領域の割合が平均値以上のＰＧについて、受入可能量を計算する（Ｓ３０２）。
　受入可能量とは、コピー先のＰＧにおいて、コピー元のＰＧ４０１からデータ移動を受け入れたとしても、空き領域の割合が平均値以上となる量である。
　受入可能量は、例えば、「フラッシュドライブの容量÷１００（％）×（空き領域の割合－平均値）」として計算されてよい。
　なお、ステップＳ３０２の前に、空き領域の割合が平均値以上のＰＧが存在するか否かを判定するステップを追加し、当該ステップにおける判定結果が否定的な場合、ページ移動プログラム２９２は、本処理を終了してもよい。
　次に、ページ移動プログラム２９２は、移動先のＰＧ４０１とデータ移動量とを決定し（Ｓ３０３）、移動ページ選択プログラム２９３をコールする（Ｓ３０４）。
　ページ移動プログラム２９２は、受入可能量が最大のＰＧ４０１を、移動先のＰＧに選択してよい。ページ移動プログラム２９２は、必要なデータ移動量と受入可能量の何れか小さい方をデータ移動量としてよい。
　ページ移動プログラム２９２は、移動元のＰＧ４０１の移動対象のページ４０２のデータを、移動先のＰＧ４０１へコピーする。このコピー処理に伴い、ボリュームテーブル２２７のページ番号５６６、及び、ページテーブル２２６の状態５２２が更新される（Ｓ３０５）。テーブルが更新された後のＩ／Ｏは、移行先のページ４０２に対して行われる。
　ページ移動プログラム２９２は、移動対象のページ４０２に対応するアドレスのＵＮＭＡＰ指示を、移動元のＰＧ４０１のフラッシュドライブ２４０に対して発行する（Ｓ３０６）。このＵＮＭＡＰ指示を受領したフラッシュドライブ２４０は、フラッシュドライブ２４０内の論理物理変換テーブル２８２を更新し、コピーされたデータが格納されている領域を解放する。このＵＮＭＡＰは、フラッシュドライブ２４０が領域を解放するために必要な処理である。
　ページ移動プログラム２９２は、移動済みデータ量が必要なデータ移動量以上となったか否かを判定する（Ｓ３０７）。
　ステップＳ３０７の判定結果が否定的（ＮＯ）な場合、ページ移動プログラム２９２は、ステップＳ３０２へ戻り、処理を続ける。このとき、ページ移動プログラム２９２は、移動先のＰＧ４０１の受入可能量が必要なデータ移動量より小さい場合、２回目のループでは、別のＰＧ４０１を移動先に選択して、ページ４０２を移動させてもよい。
　移動済みデータ量は、「ページ数×ページサイズ÷ＰＧ内フラッシュドライブ数」として計算されてもよい。移動対象のページ４０２内に未ライト領域が存在する場合、移動済みデータ量は、上記の計算結果よりも小さくなる場合がある。しかし、空き領域チェックプログラム２９１を定期的に実行することによって空き領域の割合は平均値に近づくので、この未ライト領域の影響については考慮しなくてもよい。
　なお、ページ移動プログラム２９２は、移動対象のページを選択したとき、ＰＧ４０１内で空き領域の割合が最小のＰＧ４０１からのデータ移動量をできるだけ正確にチェックしてもよい。そして、ページ移動プログラム２９２は、ＰＧ４０１内で空き領域の割合が最小のＰＧ４０１からのデータ移動量が所定の閾値以下の場合、別のページ４０１を移動対象に選択し直してよい。なお、この処理は、データの中身をチェックするためのオーバヘッドを発生させ得る。
　ステップＳ３０７の判定結果が肯定的（ＹＥＳ）な場合、ページ移動プログラム２９２は、移動対象の全てのＰＧ４０１について処理を完了したか否かを判定する（Ｓ３０８）。これは、空き領域の割合が平均値以下であった別のＰＧ４０１を処理するためのステップである。
　ステップＳ３０８の判定結果が否定的（ＮＯ）な場合、ページ移動プログラム２９２は、ステップＳ３０１に戻り、別のＰＧ４０１について、ステップＳ３０１からＳ３０７の処理を実行する。
　ステップＳ３０８の判定結果が肯定的（ＹＥＳ）な場合、ページ移動プログラム２９２は、処理を終了する（Ｓ３０９）。
　図１７は、移動ページ選択プログラム２９３の処理の例を示すフローチャートである。
　移動ページ選択プログラム２９３は、ページ移動プログラム２９２からコールされ、移動対象のページ４０２を選択する。フラッシュドライブ２４０には、圧縮機能を有するものが存在する。効果的に圧縮されているデータが、圧縮機能を有するフラッシュドライブ２４０から圧縮機能を有さないフラッシュドライブ２４０へ移動すると、圧縮データが伸張され、フラッシュドライブ２４０の消費量が増加する。すなわち、プール４００の残容量が減少する。
　そこで、移動データ選択プログラム２９３は、圧縮機能の有無を考慮して、移動対象のページ４０２を選択する。移動ページ選択プログラム２９３は、ストレージシステム２００の制御情報部２２１に格納され、ストレージシステム２００のプロセッサ２１１によって実行されてよい。以下、処理の詳細を説明する。
　移動ページ選択プログラム２９３は、移動元及び移動先のフラッシュドライブ２４０のそれぞれについて、圧縮機能を有しているか否かを判定する（ステップＳ４００）。
　移動元が圧縮機能を有さず、移動先が圧縮機能を有する場合（Ｓ４００：元；無し、先；有り）、移動ページ選択プログラム２９３は、圧縮効果の高いデータが格納されているページ４０２を、移動対象のページに選択し（Ｓ４０３）、ステップＳ４０４へ進む。
　移動元が圧縮機能を有し、移動先が圧縮機能を有さない場合（Ｓ４００：元；有り、先；無し）、移動ページ選択プログラム２９３は、圧縮効果の低いデータが格納されているページ４０２を、移動対象のページに選択し（Ｓ４０１）、ステップＳ４０４へ進む。
　それ以外の場合（Ｓ４００：その他）、移動ページ選択プログラム２９３は、移動対象のページをランダムに選択し（Ｓ４０２）、ステップＳ４０４へ進む。
　ステップＳ４０４において、移動ページ選択プログラム２９３は、移動対象のページ４０２を、コール元に報告し、処理を終了する（Ｓ４０４）。
　上述の処理によれば、ページ４０２の移動効率が向上する。しかし、当該処理は必須ではない。
　なお、図１６及び図１７の例では、移動先ＰＧが選択された後に、移動対象のページ４０２が選択されているが、移動対象のページ４０２が選択された後に、移動先ＰＧが選択されてもよい。このとき、移動対象に選択されたページ４０２のデータが圧縮効果の高いものである場合、圧縮機能を有するＰＧ４０１が優先的に移動先ＰＧに選択されてもよい。反対に、移動対象に選択されたページ４０２のデータが圧縮効果の低いものである場合、圧縮機能を有さないＰＧ４０１が優先的に移動先ＰＧに選択されてもよい。
　また、図１５及び１６の例では、ＰＧ間の空き領域の割合が同等になるようにページ移動が行われているが、空き領域の割合が閾値以下となった場合にのみ、ＰＧ４０１から空き領域の割合が閾値以上のＰＧ４０１に対してページ移動が行われてもよい。
　例えば、空き領域の割合が８０％と空き領域の割合が９０％の２つのＰＧ４０１がある場合、図１５及び１６の例では、各ＰＧ４０１の空き領域の割合は８５％に調整される。しかし、元々の８０％は十分な空き領域の割合であるため、ページ移動は行われなくてもよい。
　例えば、フラッシュドライブの予備領域割合と同じ割合が設定されてもよい。次に、この方式を実現する際に、図１５及び１６のフローチャートにおいて処理が異なるステップについて説明する。
　図１５のステップＳ２０４において、空き領域チェックプログラム２９１は、空き領域の割合が閾値未満のＰＧが存在するか否かを判定し、当該判定結果が肯定的な場合、ステップＳ２０５へ進み、否定的な場合、ステップＳ２０６へ進む。その他のステップにおける処理については、同様である。
　そして、図１６のステップＳ３００の処理を削除する。そして、図１６のステップＳ３０１の処理において、ページ移動プログラム２９２は、空き領域の割合が２０％以下のＰＧを選択し、空き領域の割合を２０％以上にするために必要なデータ移動量を計算する。次に、ステップＳ３０２において、ページ移動プログラム２９２は、空き領域の割合が２０％以上のＰＧの受入可能量を計算する。この場合の受入可能量は、例えば、移動元ＰＧ４０１からデータ移動を受け入れたとしても、空き領域の割合が２０％以上となる量である。
　次に、ページ移動プログラム２９２は、移動先ＰＧが存在するか否かを判定し、当該判定結果が否定的な場合、処理を終了し（Ｓ３０９）、肯定的な場合、ステップＳ３０３へ進む。ステップＳ３０３からＳ３０８の処理については同様であってよい。
　上述では、ＰＧ４０１間でページ４０２を移動することにより、各フラッシュデバイス２４０に空き領域を確保する方式を説明した。次に、１つのＰＧ４０１内でデータを移動することにより、各フラッシュデバイス２４０に空き領域を確保する方式を説明する。この方式によれば、ＰＧ４０１を１つしか搭載しないストレージシステムにおいても、各フラッシュドライブ２４０に空き領域を分散することができる。
　図１８は、ＰＧ４０１内でデータを移動する方式の概要を示す。
　図１８は、１つのＰＧ４０１に３つのフラッシュドライブ２４０が存在し、ページ４０２が３つのフラッシュドライブ２４０に跨っている例である。なお、図１８には示さないが、他のページ４０２も３つのフラッシュドライブ４０２に跨っていてよい。図１８の例では、ページ４０２内において、フラッシュドライブＡの領域のデータを、フラッシュドライブＢの領域へ移動している。これにより、フラッシュドライブＡのデータ量を減らすことができる。なお、フラッシュドライブＡの領域のデータを、フラッシュドライブＢの別のページ４０２に移動してもよい。
　図１９は、ボリュームテーブル２２７ａの別の一例を示す。
　例えば、ページ４０２をより小さい領域に分割し、当該分割した領域と、対応するボリューム４０３の領域とを管理することにより、ＰＧ４０１内でのデータ移動を実現することができる。本実施例では、分割した領域をセグメントと呼ぶ。
　図１９は、セグメントに対応するボリュームテーブル２２７ａの例である。セグメントに対応するボリュームテーブルのレコードは、図１０のボリュームテーブルと比べて、セグメントアドレス５６８を新規フィールド値として有する。
　図１９のボリュームテーブル２２７は、ボリューム番号５６０「０」のアドレス５６２「０～２４５７５９９９」が、ページ番号５６６「０」に対応しており、８キロバイト単位に分割されていることを示す。セグメントサイズが８キロバイトであり、セグメントアドレス５６８によってページ内のオフセットを管理する。このセグメントアドレス５６８は、ページテーブルでは、ドライブ番号の小さいドライブの小さいアドレスから順番に対応付けられてよい。これにより、セグメントが、ページテーブルの何れのアドレスと対応するのかを計算することができる。
　ストレージシステム２００に重複排除などのデータ量削減機能を適用する場合、ボリューム４０３内の重複排除単位に対応する領域を示すポインタが必要となる。重複排除単位をセグメント単位とすると、図１９の例のテーブル構造と同様となる。よって、データ量削減機能を適用している場合、データ量削減機能のテーブル構造を活用し、ＰＧ４０１内でデータを移動することができる。さらに、セグメントの使用中、及び、未使用を管理する必要もある。これは、前述のライト済みビットマップ情報を用いることで実現可能である。
　図２０は、ＰＧ内データ移動プログラム２９５の処理の例を示すフローチャートである。
　ＰＧ内データ移動プログラム２９５は、ＰＧ４０１内でデータを移動し、ＰＧ４０１内の空き領域の割合の偏りを解消する。ＰＧ内データ移動プログラム２９５は、ストレージシステム２００の制御情報部２２１に格納され、ストレージシステム２００のプロセッサ２１１によって実行されてよい。以下、処理の詳細を説明する。
　ＰＧ内データ移動プログラム２９５は、容量プール４００に属する全フラッシュドライブ２４０に対して、空き領域の割合を問い合わせる（Ｓ５００）。
　次に、ＰＧ内データ移動プログラム２９５は、ＰＧ４０１を１つ選択する（Ｓ５０１）。そして、ＰＧ内データ移動プログラム２９５は、その選択したＰＧ４０１内のフラッシュデバイス２４０の空き領域の割合の差が所定の閾値以上であるか否かを判定する（Ｓ５０２）。
　ステップＳ５０２の判定結果が否定的（ＮＯ）な場合、ＰＧ内データ移動プログラム２９５は、ステップＳ５０７へ進む。すなわち、空き領域の割合の偏りが十分に小さいので、データ移動は不要と判断する。
　ステップＳ５０２の判定結果が肯定的（ＹＥＳ）な場合、ＰＧ内データ移動プログラム２９５は、ＰＧ４０１内の平均のデータ量を算出する（Ｓ５０３）。
　そして、ＰＧ内データ移動プログラム２９５は、その算出した平均のデータ量以上のデータ量を格納しているフラッシュドライブ２４０から、その算出した平均のデータ量未満のデータ量を格納しているフラッシュドライブ２４０へ、データをコピーする（Ｓ５０４）。例えば、ＰＧ内データ移動プログラム２９５は、コピー先のフラッシュドライブ２４０の同一ページに空きセグメントが存在する場合、その空きセグメントにデータをコピーする。ＰＧ内データ移動プログラム２９５は、ライト済みビットマップ情報からセグメントの空き状況を取得してよい。
　ＰＧ内データ移動プログラム２９５は、コピー先のフラッシュドライブ２４０の同一ページに空きセグメントが存在しない場合、空きセグメントを有する別ページ４０２を探索し、その別ページ４０２にデータをコピーする。
　ＰＧ内データ移動プログラム２９５は、ボリュームテーブル２２７ａおよびページテーブル２２６を更新する（Ｓ５０５）。すなわち、ＰＧ内データ移動プログラム２９５は、ボリュームテーブル２２７ａにおいて、ページ番号５６６及びセグメントアドレス５６８を変更する。ＰＧ内データ移動プログラム２９５は、ページテーブル２２６において、コピー元のライト済みビットマップ情報をオフし、コピー先のライト済みビットマップ情報をオンする。データを異なるページ４０２に移動することにより、移動元ページ４０１に有効データが存在しなくなり移動元ページ４０１を解放できる可能性がある。その場合は、ＰＧ内データ移動プログラム２９５は、ページテーブル２２６において、ページ４０２の状態５２２を「未割り当て」に変更する。
　データコピーを完了後、ＰＧ内データ移動プログラム２９５は、コピー元の領域に対してＵＮＭＡＰ指示を発行し、フラッシュドライブ２４０の領域を解放する（Ｓ５０６）。そして、ＰＧ４０１内データ移動プログラム２９５は、ステップＳ５０７へ進む。
　ステップＳ５０７において、ＰＧ内データ移動プログラム２９５は、全てのＰＧ４０１についての処理を完了したか否かを判定し、当該判定結果が肯定的（ＹＥＳ）ならば、本処理を終了し（Ｓ５０８）、否定的（ＮＯ）ならば、ステップＳ５０１へ戻る。
　図１８～２０では、ＰＧ４０１内で空き領域を調整する処理について説明した。この処理は、ＰＧ４０１間のページ移動によって空き領域を調整する処理とは独立している。したがって、ＰＧ４０１内で空き領域を調整し、さらに、ＰＧ４０１間で空き領域を調整することもできる。例えば、ＰＧ４０１内で空き領域を均等化したとしても十分な空き領域を確保できない場合、ＰＧ４０１間で空き領域を調整してもよい。
　図１８～２０の方式は、ページ４０２が存在しない構成に対しても適用することができる。例えば、図１９のセグメント部分に、フラッシュドライブ２４０の論理アドレスを示す情報を格納することによって可能となる。この場合は、ステップＳ５０５のページテーブル２２６を更新する処理は不要である
　本実施例では、容量仮想化機能の環境において、フラッシュドライブ２４０内の予備領域３２０を削減する。そして、容量仮想化機能の未割り当てページ４０２及び割り当て済みページ内の未ライト領域からなる空き領域を、各フラッシュドライブ２４０に分散配置する。これにより、各フラッシュドライブ２４０に空き領域を確保する。容量仮想化機能では、未割り当てページの容量の割合が閾値（例えば２０％）以下になると、容量追加のアラートが挙がる。しかし、このアラートに従わず容量を追加しない場合、フラッシュドライブ２４０の空き領域が不足する。
　そこで、図２１を用いて、ガベージコレクション処理によって空き領域を確保する処理について説明する。ガベージコレクション処理は、有効データおよび無効データが混在する複数のページ４０２から有効データを別のページに移動し、空き領域を増やす処理である。ストレージシステムが圧縮機能などのデータ量削減機能を行う場合、ログストラクチャ構造でデータが格納されてよい。ストレージシステムでは、このような場合にガベージコレクション処理が必要となる。
　例えば、２つのページ４０２のそれぞれに有効データが５０％格納されている場合、それらの有効データを別の１つのページ４０２に移動させる。そして、これら２つのページ４０２を解放する。これにより、１ページ分の空き領域を増やすことができる。この１ページ分の空き領域をユーザ領域とせず、容量仮想化機能が内部的に保持することにより、空き領域を増やすことができる。
　図２１は、ガベージコレクションプログラム２９４の処理の一例を示すフローチャートである。
　ガベージコレクションプログラム２９４は、ストレージシステム２００の制御情報部２２１に格納され、ストレージシステム２００のプロセッサ２１１によって実行されてよい。以下、処理の詳細を説明する。
　ガベージコレクションプログラム２９４は、無効データの割合が所定の閾値以上である複数のページ４０２を探索する（Ｓ６００）。この処理は、前述のライト済みビットマップ情報を用いて実現されてよい。
　ガベージコレクションプログラム２９４は、その探索により発見した複数のページ４０２内の有効データの合計量を算出し、その有効データの合計量を格納可能な新規ページを割り当てる（Ｓ６０１）。
　ガベージコレクションプログラム２９４は、その発見した複数のページ４０２内の有効データを、ステップＳ６０１で割り当てた新規ページ４０２に移動させる（Ｓ６０２）。
　ガベージコレクションプログラム２９４は、空き領域の割合が所定の閾値未満であるか否かを判定する（Ｓ６０３）。当該判定結果が否定的（Ｓ６０３：ＮＯ）な場合、ガベージコレクションプログラム２９４は、本処理を終了する（Ｓ６０５）。まだ空き領域が十分に存在しているからである。当該判定結果が肯定的（Ｓ６０３：ＹＥＳ）な場合、ガベージコレクションプログラム２９４は、その発見したページ４０２を「未割り当て」の状態に変更し（Ｓ６０４）、本処理を終了する（Ｓ６０５）。これにより空き領域の割合が増加する。
　図２１では、空き領域が不足した場合に、ガベージコレクション処理に合わせて空き領域を確保する方法を説明した。なお、記憶メディア階層化機能が適用されている場合、他の方法によって空き領域を確保することができる。
　記憶メディア階層化機能は、１つのプールにフラッシュドライブ２４０やＨＤＤを有する。そして、ページ４０２に対するアクセス頻度をモニタし、Ｉ／Ｏ要求が比較的多く比較的高い性能が要求されるページ４０２を、Ｉ／Ｏ性能が比較的高いフラッシュドライブ２４０に格納し、Ｉ／Ｏ要求が比較的少なく比較的高い性能が要求されないページ４０２を、Ｉ／Ｏ性能が比較的低いＨＤＤに格納する。さらに、Ｉ／Ｏ要求の変動に応じてページを移動させてよい。
　記憶メディア階層化機能では、フラッシュドライブ２４０に、より多くのページを格納することで、Ｉ／Ｏ性能を最大化することができる。しかし、空き領域が不足し、フラッシュドライブ２４０の寿命が短くなる可能性がある。
　そこで、空き領域を考慮して、記憶メディア階層化機能のページ移動を行う。ページ内のライトデータ未格納領域３５０では各フラッシュドライブ２４０に十分な空き領域を確保できない場合は、フラッシュドライブ２４０からＨＤＤにページを移動させ、フラッシュドライブ２４０に十分な空き領域を確保できるようにしてよい。さらに、ＨＤＤからフラッシュドライブ２４０へのページ移動を抑制することにより、フラッシュドライブ２４０における空き領域の不足を抑制してもよい。例えば、ページ内のライトデータ未格納領域３５０の変化に合わせて、ページ移動が制限されてもよい。
　これにより、記憶メディア階層化機能の環境においても、フラッシュドライブ２４０に十分な空き領域を確保することができる。
　従来のＲＡＩＤ技術では、ＰＧ内を構成する各ドライブの同一アドレスでパリティを計算する。そして、スペアドライブを搭載しており、ＰＧ内のドライブに障害が発生した場合、その障害が発生したドライブに格納されていたデータを、ＰＧ内の正常なドライブから抽出してスペアドライブに格納する。したがって、スペアドライブは、障害が発生しない場合、使用されない。
　近年、データおよびパリティをシステム内の全ドライブに分散配置するＲＡＩＤ技術が適用されることがある。例えば、あるデータは、ドライブ１、３、５、７にデータとパリティを格納し、別のデータはドライブ１、２、５、６にデータとパリティを格納する。さらに各データとパリティのドライブ上での格納アドレスは、必ずしも同一とは限らない。このような技術を分散ＲＡＩＤと呼ぶ。分散ＲＡＩＤ技術では、各ドライブを一定のサイズに分割し、当該分割された領域を組み合わせてＲＡＩＤを適用する。
　この場合、スペアドライブの領域も、各ドライブに分散配置することができる。これにより、障害が発生した場合、多数のドライブに分散配置されているデータを並列に読み出し、多数のドライブに分散配置されているスペア領域に対して復旧データを並列に書き込むことができる。この実施例によれば、復旧時間を従来のＲＡＩＤ技術よりも短縮することができる。
　システム内の全フラッシュドライブ２４０にデータを分散配置してもよいし、複数台のフラッシュドライブ２４０を用いてＰＧのようにディスクグループを作成し、その作成したディスクグループ内でデータを分散配置してもよい。本実施例は、このような分散ＲＡＩＤ環境にも適用可能である。
　障害が発生しない限り、スペア領域は使用されない。すなわち、フラッシュドライブ２４０においてスペア領域は空き領域となる。フラッシュドライブ２４０において、予備領域とスペア領域の両方を確保しておくことは、過剰に空き領域を確保することになる。そこで、本実施例では、プールにＰＧが増設されたとき、スペア領域に相当するサイズをフラッシュドライブの予備領域から削減してよい。これにより、過剰な空き領域が確保されることを抑制することができる。また、プールからＰＧが減設されたとき、フラッシュドライブ２４０の予備領域を、スペア領域に相当するサイズ分、拡張してよい。
　以上、本発明の実施例を説明したが、本発明は、この実施例に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
　２００：ストレージシステム　２１１：プロセッサ　２４０：フラッシュドライブ　３１０：ユーザ領域　３２０：予備領域　４００：プール　４０１：パリティグループ（ＰＧ）　４０２：ページ　４０３：仮想ボリューム

Claims (12)

  1. 　プロセッサと、複数のフラッシュドライブとを備え、
    　前記複数のフラッシュドライブは、データを記憶するユーザ領域と予備領域とを有し、
    　前記プロセッサは、
    　　前記複数のフラッシュドライブから１または複数のディスクグループを構成し、
    　　前記ディスクグループから構成されるプールを管理し、
    　　前記プール上の記憶領域であるページが割り当てられる仮想ボリュームを提供し、
    　前記プロセッサは、前記１または複数のディスクグループのうち第１のディスクグループが前記プールに増設または減設されるとき、前記第１のディスクグループを構成するフラッシュドライブの前記予備領域の容量を調整する
    情報処理システム。
  2. 　前記プロセッサは、前記プールに前記第１のディスクグループに増設するとき、前記第１のディスクグループを構成するフラッシュドライブの前記予備領域の容量を減らす
    請求項１に記載の情報処理システム。
  3. 　前記プロセッサは、前記プールから前記第１のディスクドライブを減設するとき、前記第１のディスクグループを構成するフラッシュドライブの前記予備領域の容量を増やす
    請求項１に記載の情報処理システム。
  4. 　前記プロセッサは、前記プールに属する複数のディスクグループのうち、空き領域の割合の差分が所定の閾値以上となる２つ以上のディスクグループ間において、空き領域の割合の小さいディスクグループに格納されているデータを、空き領域の割合の大きいディスクグループに移動させる
    請求項１に記載の情報処理システム。
  5. 　前記ディスクグループの空き領域の割合とは、前記ディスクグループに属する各フラッシュドライブの空き領域の割合のうち、最小の空き領域の割合である
    請求項４に記載の情報処理システム。
  6. 　前記プロセッサは、前記プールに属する各ディスクグループの空き領域の割合の平均値に基づいて、前記ディスクグループ間のデータの移動量を算出する
    請求項４に記載の情報処理システム。
  7. 　前記プロセッサは、
    　　移動対象のデータが格納されているフラッシュドライブがデータ圧縮機能を有しており、データの移動先のフラッシュドライブがデータ圧縮機能を有していない場合、圧縮効果の小さいデータを移動対象に選択し、
    　　移動対象のデータが格納されているフラッシュドライブがデータ圧縮機能を有しておらず、データの移動先のフラッシュドライブがデータ圧縮機能を有している場合、圧縮効果の大きいデータを移動対象に選択する
    請求項４に記載の情報処理システム。
  8. 　前記ディスクグループは複数のフラッシュドライブによるＲＡＩＤ構成であり、
    　前記プールは複数のページから構成されており、
    　前記仮想ボリュームのアドレスと前記プールのページとが対応付けられており、
    　前記プロセッサは、ディスクグループ間でデータを移動させたとき、前記仮想ボリュームのアドレスとの対応付けを、移動元のデータを含むページから、移動先のデータを含むページに切り替える
    請求項４に記載の情報処理システム。
  9. 　前記プロセッサは、ディスクグループに属する複数のフラッシュドライブのうち、空き領域の割合の差分が所定の閾値以上となる２つ以上のフラッシュドライブ間において、空き領域の割合の小さいフラッシュドライブに格納されているデータを、空き領域の割合の大きいフラッシュドライブに移動させる
    請求項５に記載の情報処理システム。
  10. 　前記プロセッサは、前記ディスクグループに属する各フラッシュドライブの空き領域の割合の平均値に基づいて、前記フラッシュドライブ間のデータの移動量を算出する
    請求項９に記載の情報処理システム。
  11. 　前記プロセッサは、前記ディスクグループ内に空き領域の割合が所定の閾値未満のフラッシュドライブが存在しない場合、少なくとも１つのフラッシュドライブに対してガベージコレクションを実行する
    請求項９に記載の情報処理システム。
  12. 　複数のフラッシュドライブは、データを記憶するユーザ領域と予備領域とを有するフラッシュドライブへのデータ格納を制御する記憶制御方法であって、
    　　前記複数のフラッシュドライブから１または複数のディスクグループを構成し、
    　　前記ディスクグループから構成されるプールを管理し、
    　　前記プール上の記憶領域であるページが割り当てられる仮想ボリュームを提供し、
    　　前記１または複数のディスクグループのうち第１のディスクグループが前記プールに増設または減設されるとき、前記第１のディスクグループを構成するフラッシュドライブの前記予備領域の容量を調整する
    記憶制御方法。
PCT/JP2016/088031 2016-12-21 2016-12-21 情報処理システム、及び、情報処理方法 WO2018116392A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/088031 WO2018116392A1 (ja) 2016-12-21 2016-12-21 情報処理システム、及び、情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/088031 WO2018116392A1 (ja) 2016-12-21 2016-12-21 情報処理システム、及び、情報処理方法

Publications (1)

Publication Number Publication Date
WO2018116392A1 true WO2018116392A1 (ja) 2018-06-28

Family

ID=62626043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088031 WO2018116392A1 (ja) 2016-12-21 2016-12-21 情報処理システム、及び、情報処理方法

Country Status (1)

Country Link
WO (1) WO2018116392A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033261A (ja) * 2008-07-28 2010-02-12 Hitachi Ltd ストレージ装置及びその制御方法
WO2015052811A1 (ja) * 2013-10-10 2015-04-16 株式会社日立製作所 ストレージシステムおよびデータ記憶方法
JP2016012287A (ja) * 2014-06-30 2016-01-21 富士通株式会社 ストレージ制御装置、およびストレージ制御プログラム
JP2016503925A (ja) * 2013-09-24 2016-02-08 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． データマイグレーション方法、データマイグレーション装置及びストレージデバイス

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033261A (ja) * 2008-07-28 2010-02-12 Hitachi Ltd ストレージ装置及びその制御方法
JP2016503925A (ja) * 2013-09-24 2016-02-08 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． データマイグレーション方法、データマイグレーション装置及びストレージデバイス
WO2015052811A1 (ja) * 2013-10-10 2015-04-16 株式会社日立製作所 ストレージシステムおよびデータ記憶方法
JP2016012287A (ja) * 2014-06-30 2016-01-21 富士通株式会社 ストレージ制御装置、およびストレージ制御プログラム

Similar Documents

Publication Publication Date Title
US11487619B2 (en) Distributed storage system
US8447946B2 (en) Storage apparatus and hierarchical data management method for storage apparatus
JP5124551B2 (ja) ボリューム割り当てを管理する計算機システム及びボリューム割り当て管理方法
US8762639B2 (en) Storage system, storage apparatus, and optimization method of storage areas of storage system
JP5792313B2 (ja) ストレージシステム
US8612704B2 (en) Storage system with virtual areas and method for managing storage system
US9400618B2 (en) Real page migration in a storage system comprising a plurality of flash packages
JP4684864B2 (ja) 記憶装置システム及び記憶制御方法
US10168945B2 (en) Storage apparatus and storage system
JP2011108258A (ja) 仮想ディスク・ドライブのシステムおよび方法
US20180275894A1 (en) Storage system
WO2018142622A1 (ja) 計算機
WO2018116392A1 (ja) 情報処理システム、及び、情報処理方法
WO2019026221A1 (ja) ストレージシステム及びストレージ制御方法
JP5768118B2 (ja) 複数のフラッシュパッケージを有するストレージシステム
JP6605762B2 (ja) 記憶ドライブの故障により消失したデータを復元する装置
JP2015201231A (ja) 複数のフラッシュパッケージを有するストレージシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16924842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16924842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP