WO2016030992A1 - 記憶デバイスおよびストレージ装置 - Google Patents

記憶デバイスおよびストレージ装置 Download PDF

Info

Publication number
WO2016030992A1
WO2016030992A1 PCT/JP2014/072428 JP2014072428W WO2016030992A1 WO 2016030992 A1 WO2016030992 A1 WO 2016030992A1 JP 2014072428 W JP2014072428 W JP 2014072428W WO 2016030992 A1 WO2016030992 A1 WO 2016030992A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage
block
page
specific
data
Prior art date
Application number
PCT/JP2014/072428
Other languages
English (en)
French (fr)
Inventor
二瀬　健太
拓司 伊藤
文雄 吉岡
常広　隆司
上原　剛
繁雄 本間
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US14/425,556 priority Critical patent/US10204003B2/en
Priority to PCT/JP2014/072428 priority patent/WO2016030992A1/ja
Publication of WO2016030992A1 publication Critical patent/WO2016030992A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/52—Protection of memory contents; Detection of errors in memory contents
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70—Masking faults in memories by using spares or by reconfiguring
    • G11C29/76—Masking faults in memories by using spares or by reconfiguring using address translation or modifications
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70—Masking faults in memories by using spares or by reconfiguring
    • G11C29/76—Masking faults in memories by using spares or by reconfiguring using address translation or modifications
    • G11C29/765—Masking faults in memories by using spares or by reconfiguring using address translation or modifications in solid state disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5678—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using amorphous/crystalline phase transition storage elements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5685—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using storage elements comprising metal oxide memory material, e.g. perovskites

Definitions

  • the present invention relates to a storage device and a storage apparatus.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • nonvolatile semiconductor memory for example, flash memory
  • flash memory physical storage areas are managed in units called blocks, and data is erased in units of blocks. There is an upper limit to the number of times that a block can be erased, and if the number of times of erasure increases, data may not be written to the flash memory, or the error rate of data written to the flash memory may increase. That is, the flash memory has a lifetime, and the SSD having a large number of flash memories also has a lifetime. Further, as the miniaturization of flash memory chips progresses, the capacity of flash memory chips increases, while the reliability decreases, and quality varies in units such as dies and chips. A die having poor quality is likely to have an increased error rate and cannot be used due to a failure even if it is less than a predetermined number of erasures.
  • Patent Document 1 discloses a data recovery technique when a failure occurs in a block in an SSD.
  • a storage apparatus having a plurality of SSDs when a failure of a block in a certain SSD is detected, a technique for rebuilding all data of the SSD including the failed block to another SSD is known.
  • a storage device includes a plurality of nonvolatile semiconductor memories and an instruction to access the plurality of nonvolatile semiconductor memories connected to the plurality of nonvolatile semiconductor memories.
  • a device controller connected to a higher-level device that issues Each of the plurality of nonvolatile semiconductor memories includes a plurality of storage circuits and a plurality of control circuits, and the plurality of storage circuits are connected to the device controller via the plurality of control circuits, respectively.
  • Each of the storage circuits includes a plurality of blocks, the blocks are data erasing units, each of the plurality of blocks includes a plurality of pages, and the pages are data read / write units.
  • the device controller When the device controller detects an uncorrectable error (UE) of the data stored in the specific page by reading the data stored in the specific page of the plurality of nonvolatile semiconductor memories
  • the device controller specifies a specific storage circuit that is a storage circuit including the specific page as diagnostic processing, and the specific controller Read the data stored in a portion of the block in the ⁇ path, based on a result of the data stored in the block read, to identify the failed component of said specific storage circuit.
  • UE uncorrectable error
  • FIG. 1 shows a configuration of a computer system according to an embodiment of the present invention.
  • the structure of FMPK300 is shown.
  • the structure of the FM chip 570 is shown.
  • the configuration of block 581 is shown.
  • the information stored in the memory 520 of the FM-CTL 500 is shown.
  • a word line-page correspondence table 760 is shown.
  • a plane-block correspondence table 770 is shown.
  • the structure of the logical page and physical page of FMPK300 is shown.
  • a page mapping management table 720 is shown.
  • An FMPK state management table 730 is shown.
  • a failure address list 750 is shown.
  • the first process of the fault notification process is shown.
  • the 2nd process after the 1st process of a failure notification process is shown.
  • the die diagnosis process is shown.
  • the plane diagnosis process is shown.
  • FIG. 2 shows a configuration of RG and LU (Logical Unit) in the storage system 100.
  • 2 shows a configuration of an LU and a VVOL (Virtual Volume) in the storage system 100.
  • the information stored in the memory 420 of the storage controller 400 is shown.
  • An RG management table 620 is shown.
  • An LU management table 630 is shown.
  • a virtual page mapping management table 650 is shown.
  • the real page state management table 660 is shown.
  • a PDEV management table 640 is shown.
  • the information stored in the memory 520 of FM-CTL500 of Example 2 is shown.
  • the current user capacity acquisition process is shown.
  • An RG creation process is shown. Indicates regular monitoring processing. Data recovery processing is shown.
  • the capacity degeneration process is shown.
  • a data movement process is shown.
  • the real page replacement process is shown.
  • a real page replacement process is typically shown.
  • An FMPK capacity change process is shown.
  • a capacity degeneration process is schematically shown.
  • the failure portion in the storage device is determined without reading all the data stored in the storage circuit. Identify and block only the fault site without blocking the entire storage device. Details of this embodiment will be described below.
  • FIG. 1 shows the configuration of a computer system according to an embodiment of the present invention.
  • This computer system has a storage system (storage device) 100 and a plurality of host computers 200. Each of the plurality of host computers 200 is connected to the storage system 100 via a SAN (Storage Area Network) 210.
  • the computer system may have one or more host computers 200.
  • the storage system 100 includes two storage controllers (DKC: Disk Controller) 400 and a plurality of FMPKs (Flash Memory Package) 300.
  • the storage controller 400 is, for example, a controller that controls a plurality of storage devices as a RAID (Redundant Arrays of Inexpensive Disks) group (RG).
  • the two storage controllers 400 are made redundant. In normal times, one storage controller 400 controls the storage system 100, and when the storage controller 400 fails, the other storage controller 400 continues to control the storage system 100.
  • FMPK300 other storage devices such as SAS (Serial Attached Small Computer System Interface) -HDD (Hard Disk Drive), SATA (Serial Advanced Technology Attachment) -HDD may be used. In the following description and drawings, such a storage device may be called a PDEV (Physical Device).
  • the storage controller 400 provides a virtual volume to the host computer 200.
  • the storage controller 400 includes a CPU (Central Processing Unit) 410, a memory 420, a host I / F (Interface) 430, and a disk I / F 440. Each unit in the storage controller 400 is connected to each other via a bus.
  • the memory 420 stores a program for controlling the storage system 100.
  • the memory 420 has an area as a cache memory that temporarily stores data read from the storage device and data written to the storage device.
  • the CPU 410 controls the storage system 100 according to a program stored in the memory 420.
  • the host I / F 430 is connected to the SAN 210 and transmits / receives data to / from the host computer 200.
  • the disk I / F 440 is connected to the FMPK 300 and transmits / receives data to / from the FMPK 300.
  • FIG. 2 shows the configuration of FMPK300.
  • the FMPK 300 includes an FM-CTL (Flash Memory Controller, device controller) 500 and a plurality of memory modules 310.
  • the FM-CTL 500 includes a CPU 510, a memory 520, a host I / F 530, and a plurality of FM I / F 540s. Each part in the FM-CTL 500 is connected to each other via a bus.
  • the memory 520 stores a program for controlling the FMPK 300.
  • the memory 520 stores data read from the FM chip and data written to the FM chip.
  • CPU 510 controls FMPK 300 in accordance with a program stored in memory 520.
  • the FM I / F 540 includes a plurality of DMA (Direct Memory Access) controllers 541.
  • the memory module 310 includes a plurality of switches (SW) 560 and a plurality of FM chips 570.
  • One switch 560 is connected to one DMA controller 541.
  • a plurality of FM chips 570 are connected to one switch 560.
  • the FM chip 570 has a plurality of dies 571.
  • the die 571 has a plurality of blocks.
  • the DMA controller 541 controls communication with the FM chip 570.
  • the FM chip 570 may be simply referred to as a chip
  • the DMA controller 541 may be simply referred to as a DMA.
  • the failure rate may vary depending on the quality of the flash memory. If the DMA fails, it becomes impossible to access the chip in DMA units. In this embodiment, it is assumed that the capacity of each page, the capacity of each block, the capacity of each die, the capacity of each chip, and the number of chips connected to each DMA are equal. However, the respective capacities may be different.
  • the FM-CTL 500 specifies a failure site and does not use the failure site thereafter.
  • FM-CTL 500 provides storage controller 400 with a logical address space in FMPK 300.
  • a physical storage area in the FMPK 300 is associated with the logical address space.
  • a physical storage area corresponding to a logical storage space provided outside the FMPK 300 is called a user area.
  • the logical address space is managed in the FMPK 300 by dividing it into logical pages of a predetermined size.
  • the FM-CTL 500 receives a read / write request designating a logical address from the storage controller 400, the FM-CTL 500 specifies a physical page from the logical address and executes data read / write.
  • the FM-CTL 500 manages failures that partially occur in the FMPK 300.
  • the physical storage area of the flash memory includes a plurality of blocks, and each block includes a plurality of pages.
  • a block is a unit for erasing data
  • a page is a unit for writing and reading data. That is, the FM-CTL 500 erases data in block units and controls data writing and reading in page units.
  • flash memory has a characteristic that data cannot be overwritten. Therefore, when the FM-CTL 500 receives data (update data) for updating data stored in a certain page, the FM-CTL 500 writes the update data to an empty page in which no data is stored. Then, the correspondence between the logical page and the page before update is changed to the correspondence between the logical page and the page after update. Therefore, the storage controller 400 does not need to change the logical address of the access destination.
  • FM-CTL 500 manages data before update as invalid data and data after update as valid data.
  • the page in which the invalid data is stored becomes an empty page, and data can be written.
  • erasure is performed in block units.
  • the FM-CTL 500 copies the valid data to another empty page and erases the data in the block. This valid data copying and block erasing process is called reclamation.
  • a storage device using a flash memory as a storage medium is provided with an area for writing update data (update area).
  • the user area and update area need not be physically separated. For example, when a certain block is erased after being used as a user area, the next may be used as an update area.
  • FIG. 3 shows the configuration of the FM chip 570.
  • the FM chip 570 includes a plurality of stacked dies 571.
  • the die 571 is realized by a semiconductor substrate.
  • the die 571 includes a plurality of planes 572.
  • the plane 572 includes a plurality of blocks 581 arranged in the column direction of the two-dimensional array.
  • the die 571 further includes a row decoder 573 and a sense amplifier 574 for each plane 572.
  • the row decoder 573 is connected to the plane 572, selects a word line corresponding to the address specified by the FM-CTL 500, and passes a current through the selected word line.
  • the sense amplifier 574 amplifies the voltage obtained from the corresponding plane 572.
  • the die 571 further includes a peripheral circuit 575 connected to the two sense amplifiers 574.
  • the peripheral circuit 575 is connected to the row decoder 573 and the sense amplifier 574, and is connected to a switch 560 outside the FM chip 570, and performs boosting and control of other circuits.
  • the FM chip 570 includes four dies 571.
  • the die 571 includes two planes 572.
  • the plane 572 includes 2048 blocks.
  • FIG. 4 shows the configuration of the block 581.
  • Block 581 has a plurality of pages 583. Specifically, in the block 581, a plurality of pages 583 are arranged in the column direction and the row direction, and a word line (Word Line: WL) is provided in each page row (a plurality of pages 583 arranged in the row direction). 582 is connected. Of the plurality of word lines 582, the word line 582 connected to the access destination page 583 is selected for access to the access destination page 583.
  • Each page 583 is a set of a plurality of memory cells (cell transistors) connected in the row direction.
  • the memory cell is a circuit for storing data. For example, 1-bit data is stored in the case of SLC (Single-Level Cell), and multi-bit data is stored in the case of MLC (Multi-Level Cell).
  • a page 583 is a unit of Program (write) and Read (read).
  • a block 581 is a unit of Erase (erase).
  • one page row corresponding to one word line may be represented by a word line 582 in some cases.
  • the particles placed on the semiconductor substrate during manufacturing or the like may cause the UE.
  • UE is generated in reading data stored in the page 583 corresponding to the word lines 582.
  • the configuration of the storage area in the FM chip 570 is not limited to this example.
  • the number of blocks 581 in one die 571 or one plane 572 may be another number, and can be represented by an integer M of 2 or more.
  • the number of pages 583 in one block 581 may be another number, and can be represented by an integer N of 2 or more.
  • the number of word lines 582 in one block 581 may be another number, and can be represented by an integer K of 2 or more.
  • One die 571 may have one plane 572.
  • the word lines 582 in the block 581 are identified by consecutive word line numbers. Pages 583 in block 581 are identified by consecutive page numbers.
  • FIG. 5 shows information stored in the memory 520 of the FM-CTL 500.
  • the memory 520 stores an FMPK control program 710, a page mapping management table 720, an FMPK state management table 730, a fault address list 750, a word line-page correspondence table 760, and a plane-block correspondence table 770.
  • the CPU 510 executes control of the FMPK 300 according to the FMPK control program 710.
  • FIG. 6 shows a word line-page correspondence table 760.
  • the word line-page correspondence table 760 shows a case where the number of word lines (#of WL) included in one block is 64.
  • the word line-page correspondence table 760 includes an entry for each word line.
  • An entry of a certain word line includes a word line number (WL #) and a page number (Page #).
  • the word line number is a number indicating the word line in the block including the word line.
  • the page number indicates a plurality of pages included in the word line, and is a number indicating a page in the block. Four page numbers are associated with one word line number.
  • FIG. 7 shows a plane-block correspondence table 770.
  • the plane-block correspondence table 770 indicates a case where the number of planes 572 (#of Plane) included in one die 571 is two.
  • the plane-block correspondence table 770 includes an entry for each plane.
  • An entry of a certain plane includes a plane number (Plane #) and a block number (Block #).
  • the plane number is a number indicating the plane in the die including the plane.
  • the block number indicates a plurality of blocks included in the plane, and is a number indicating the block in the die.
  • the plane # 0 includes a block having an even block number
  • the plane # 1 includes a block having an odd block number.
  • the FM-CTL 500 can determine to which plane a certain block belongs.
  • This drawing further shows a plane-block correspondence table 770b in the case where one die 571 includes four planes 572 and one plane 572 includes 4096 blocks.
  • the plane number of the plane 571 to which a certain block 581 belongs is a remainder when the block number is divided by the number of planes of 4.
  • FIG. 8 shows the configuration of logical pages and physical pages of FMPK300.
  • the FM-CTL 500 provides the logical address space 911 to the storage controller 400, and manages the logical address space 911 by dividing it into logical pages 912 having a predetermined page size (for example, 8 kB).
  • the FM-CTL 500 manages a block by dividing it into physical pages 913 having a predetermined page size (for example, 8 kB).
  • the page in the FM chip 570 is referred to as a physical page 913 to distinguish it from the logical page 912.
  • the FM-CTL 500 allocates the physical page 913 to the logical page 912.
  • the block 914 has a predetermined number (for example, 256) of physical pages 913.
  • the FM-CTL 500 reads / writes data from / to the FM chip 570 in units of physical pages 913 and erases data from / to the FM chips 570 in units of blocks 914.
  • the logical address may be referred to as LBA (Logical Block Address) and the physical page may be simply referred to as a page.
  • FIG. 9 shows the page mapping management table 720.
  • the page mapping management table 720 has an entry for each logical page.
  • An entry of a certain logical page has an LBA 723 indicating the head of the logical page, a logical page identifier 721 indicating the logical page, and a physical page identifier 722 indicating a physical page assigned to the logical page.
  • the physical page identifier 722 indicates unallocated.
  • the physical page identifier includes, for example, a chip number indicating the position of the chip in the FMPK 300, a die number indicating the position of the die in the chip, a block number indicating the position of the block in the die, and a word line in the block A combination of a word line number indicating the position of the page number and a page number indicating the position of the physical page in the block.
  • the memory 520 stores related information indicating a physical page identifier unique in the FMPK 300, a chip number, a die number, a block number, a word line number, and a page number, and the FM-CTL 500 stores the related information. Based on the physical page identifier, the chip number, die number, block number, word line number, and page number may be specified.
  • FIG. 10 shows the FMPK state management table 730.
  • the FMPK state management table 730 includes a DMA management table 810 for each DMA.
  • a DMA management table 810 of a DMA includes a DMA number (DMA #) 811 indicating the DMA, a Status 812 of the DMA, the number of defective chips 813 among all chips belonging to the DMA, and a total number belonging to the DMA. It has a chip number 814 and a chip management table 820 for each chip belonging to the DMA. Status 812 indicates “Good” if the DMA is usable, and indicates “Bad” otherwise.
  • a chip management table 820 of a certain chip includes a chip number (Chip #) 821 indicating the chip, a status 822 of the chip, the number of defective dies 823 among all the dies in the chip, and the total number in the chip. It has a die number 824 and a die management table 830 for each die in the chip. Status 822 indicates “Good” if the chip is usable, and indicates “Bad” otherwise.
  • the die management table 830 of a certain die includes a die number (Die #) 831 indicating the die, a status 832 of the die, the number of bad blocks 833 among all the blocks in the die, and a logic in the die. It has an allocation block number 834 that is the number of blocks already allocated to the page, a total block number 835 in the die, and a block management table 840 for each block in the die. Status 832 indicates “Good” if the die is usable, “Bad” if the die is not usable, and “Diagnosing” if the die is a diagnosis target die described later.
  • the block management table 840 of a certain block includes the block number (Block #) 841 indicating the block, the status 842 of the block, the total number of pages 843 in the block, and the data in all the pages in the block.
  • In-use 844 that is the number of pages that are storing (in use)
  • Valid 845 that is the number of valid pages in the used pages
  • Invalid 846 that is the number of invalid pages in the used pages .
  • Status 842 indicates “Allocated” if the block is usable and stores data, and indicates “Unallocated” if the block is usable and does not store data. Further, Status 842 indicates “failure” when the block has a failure, and indicates “life” when the number of rewrites of the block exceeds a threshold.
  • a failure mainly in units of dies, planes, and blocks will be described as an example.
  • the occurrence of failures in other physical units such as DMA and chips may be managed.
  • FIG. 11 shows a failure address list 750.
  • the FM-CTL 500 detects a failed part which is a physical storage area where a failure has occurred in the FMPK 300, generates a failed address list 750 indicating a logical address area (logical address range) corresponding to the failed part, and sends it to the storage controller 400.
  • the fault address list 750 has an entry for each fault area that is a logical address area in the FMPK logical address space corresponding to the physical storage area where the fault has occurred in the FMPK 300.
  • An entry has a failure address 751 that is the start LBA of the failure area, and a length 752 that is the length of the failure area.
  • the FM-CTL 500 cannot restore lost data. Therefore, the FM-CTL 500 identifies the logical address area corresponding to the physical storage area where the failure has occurred and notifies the storage controller 400 so that the storage controller 400 uses the RAID to delete the lost data from the other FMPK 300. Can be restored. Since the storage controller 400 cannot recognize a failure in the physical storage area, if the logical address area cannot be acquired from the FM-CTL 500, it is necessary to restore all data in the FMPK 300. The larger the capacity of the FMPK 300, the longer the data restoration process takes place, and the redundancy is lowered during that time.
  • the FM-CTL 500 notifies the storage controller 400 of a specific logical address area as in the present embodiment, data in an appropriate range can be restored, so that the data restoration process is completed in a short time.
  • the reliability of the storage system can be improved by reducing the time when the redundancy is reduced.
  • the FM I / F 540 includes an ECC generation circuit that generates an ECC (Error Correction Code) based on data, a data loss detection circuit that detects data loss using ECC, and an ECC correction circuit that corrects data using ECC.
  • ECC Error Correction Code
  • the ECC I / F 540 adds ECC to the data and writes the data, and corrects an error when the data is read based on the ECC.
  • one page 583 stores a predetermined number of ECC CWs (Code Words).
  • One ECC CW includes data and ECC based on the data.
  • the error correction capability in this case is represented by the number of correctable failure bits, which is the number of correctable failure bits in one ECC CW.
  • the error correction capability of ECC differs depending on the type of ECC.
  • the FM I / F 540 corrects the failure bit in the ECC CW (collectable error).
  • the FM I / F 540 determines that a UE has occurred.
  • FIG. 12 shows the first process of the fault notification process.
  • FIG. 13 shows a second process after the first process of the failure notification process.
  • the storage controller 400 transmits a read request to the FMPK 300 in response to a command from the host 200 or the like. Thereafter, in S120, the FM-CTL 500 reads data from the physical mapping corresponding to the page mapping management table 720 and the designated LBA designated by the read request. Here, it is assumed that FM-CTL 500 detects the UE by the lead. Thereafter, in S140, the FM-CTL 500 transmits a normal UE response indicating the UE to the storage controller 400. Thereafter, in S150, the storage controller 400 receives the normal UE response and recognizes the UE. Here, the storage controller 400 counts the number of normal UE responses received from the FMPK 300 within a predetermined time. When the number of normal UE responses exceeds a predetermined UE number threshold, the storage controller 400 disconnects the FMPK 300 and reconstructs the RG using the spare FMPK 300 prepared in advance instead of the FMPK 300.
  • the FM-CTL 500 specifies a physical page where the UE is generated as a UE page, selects a die 571 including the UE page as a diagnostic part, and starts a die diagnostic process for diagnosing the diagnostic part.
  • the FM-CTL 500 changes the status 832 of the die at the diagnosis site to “under diagnosis” in the FMPK status management table 730.
  • the FM-CTL 500 also starts die diagnosis processing when it detects a UE during internal processing such as reclamation. Further, for diagnosis of the FMPK 300, the storage controller 400 may periodically select a page according to a predetermined rule and transmit a read request for designating the page to the FMPK 300.
  • the storage controller 400 transmits a read request in S210 during die diagnosis processing.
  • the FM-CTL 500 receives the read request and reads data from the physical page corresponding to the designated LBA designated by the read request. If the FM-CTL 500 completes reading normally, a normal response is transmitted to the storage controller 400.
  • FM-CTL 500 detects the UE by the lead.
  • the FM-CTL 500 determines whether or not the physical page is included in the diagnostic part.
  • the FM-CTL 500 determines that the physical page is included in the diagnostic part when the FMPK status management table 730 indicates that the Status 832 of the die including the physical page is “under diagnosis”. For example, when the storage controller 400 transmits a read request by retry according to the above-described recognition of the UE, the physical page is included in the diagnostic part.
  • the FM-CTL 500 sends a special UE response requesting the storage controller 400 not to count the UE to the storage controller 400. Send. Thereafter, in S250, the storage controller receives the special UE response and recognizes the UE, but does not count this UE.
  • the FM-CTL 500 transmits a normal UE response indicating the UE to the storage controller 400 in S340. Thereafter, in S350, the storage controller 400 receives the normal UE response, recognizes the UE, and counts the UE of the FMPK 300. Thereafter, in S360, the FM-CTL 500 determines a new UE page and a new diagnostic part, and starts a die diagnosis process for the new diagnostic part. In the die diagnosis process, the FM-CTL 500 detects a faulty part and generates a faulty address list 750 indicating the LBA corresponding to the faulty part.
  • the storage controller 400 transmits a read or write request to the FMPK 300 in S410. Thereafter, in S420, the FM-CTL 500 receives this I / O request and performs processing according to this I / O request. Thereafter, in S430, the FM-CTL 500 transmits a response indicating the result of this process and the result of the die diagnosis process to the storage controller 400. Note that the FM-CTL 500 may transmit the result of die diagnosis processing to the storage controller 400 in accordance with other commands from the storage controller 400 such as diagnostic commands in addition to I / O requests.
  • the storage controller 400 receives this response, recognizes that there is a diagnosis result, and transmits a failure address list request for requesting the failure address list 750 to the FM-CTL 500. Thereafter, when the FM-CTL 500 receives this fault address list request, in S450, the FM-CTL 500 transmits a fault address list 750 indicating the LBA of the fault area corresponding to the fault site detected by the die diagnosis process to the storage controller 400. To do. Thereafter, the FM-CTL 500 deletes the transmitted fault address list 750.
  • the storage controller 400 receives the failure address list 750, recognizes the failure area (LBA range) storing the lost data based on the failure address list 750, and uses the RG including the FMPK 300. Data that has been lost due to collection is restored, and a write request for writing the restored data back to the failure area and the restored data are transmitted to the FM-CTL 500. Thereafter, in S470, the FM-CTL 500 receives the write request and the restored data, writes the restored data to the designated LBA, and transmits a response to the write request to the storage controller 400. Here, the FM-CTL 500 allocates a normal physical page to the designated LBA and writes the restored data to the physical page.
  • the storage controller 400 repeats S460 and S470 until the restoration and writing back of all the data indicated in the failure address list 750 is completed.
  • the FMPK 300 can diagnose the die in which the UE has occurred in response to the detection of the UE. Further, the storage controller 400 can receive the failure address list 750 from the FM-CTL 500 to recover the data lost by the UE using the RG and write the recovered data back to the FMPK 300.
  • the FMPK returns a special UE response to the storage controller 400, whereby the storage controller 400 counts the number of UEs of the FMPK. prevent.
  • the storage controller 400 can access other than the diagnostic part in the FMPK even if the FMPK is in the die diagnosis process.
  • the FMPK 300 when using a protocol that the FMPK 300 responds in response to a request from the storage controller 400, such as SCSI, the FMPK 300 adds the result of the die diagnosis process to another request, thereby the result of the die diagnosis process is added to the storage controller. 400 can be notified.
  • the storage controller 400 and the FMPK 300 use a protocol that can send a notification from the FMPK 300 to the storage controller 400, such as FICON (Fiber Connection), the FMPK 300 does not wait for a request from the storage controller 400 and performs die diagnosis processing. May be notified to the storage controller 400.
  • FIG. 14 shows the die diagnosis process
  • the FM-CTL 500 starts the die diagnosis process through S160 and S360 described above.
  • the FM-CTL 500 identifies a block including the UE page as a UE block, and reads data stored in all pages in the UE block. Thereafter, in S530, the FM-CTL 500 determines whether or not a UE has occurred by this read.
  • the FM-CTL 500 registers the UE block as a bad block and ends this flow.
  • the FM-CTL 500 changes the status 842 in the block management table 840 corresponding to the UE block in the FMPK state management table 730 to “failure”, and the bad block in the die management table 830 corresponding to the die including the block. Add 1 to Equation 833.
  • the FM-CTL 500 identifies the page in which the UE has occurred in the UE block as a defective page, and whether or not the defective page satisfies the word line condition Determine whether.
  • the word line condition is that defective pages are distributed only in the range of two word lines adjacent to each other.
  • the FM-CTL 500 can estimate the cause of the UE as the above-mentioned particle and identify the faulty part.
  • the word line condition may be that defective pages are distributed only in the range of three consecutive word lines.
  • the FM-CTL 500 registers the UE block as a defective block in the FMPK state management table 730, and based on the page mapping management table 720. Then, the faulty area corresponding to the defective block is specified, the faulty area is registered in the fault address list 750, and this flow is finished.
  • the FM-CTL 500 identifies a plane including the UE block as a diagnostic plane, and performs plane diagnostic processing for diagnosing the diagnostic plane. Do. Thereafter, in S620, the FM-CTL 500 determines whether or not the diagnosis plane is determined to be defective by this plane diagnosis processing.
  • the FM-CTL 500 sets the UE block and the additional UE block detected by the plane diagnosis process as a defective block in the FMPK state management table.
  • the failure area corresponding to the defective block is specified, the failure area is registered in the failure address list 750, and this flow is finished.
  • the FM-CTL 500 identifies the die including the diagnostic plane as the target die and identifies another plane in the target die as the additional diagnostic plane. Then, plane diagnosis processing for diagnosing the additional diagnosis plane is performed. Thereafter, in S650, the FM-CTL 500 determines whether or not the additional diagnosis plane is determined to be defective by this plane diagnosis processing.
  • step S650 If it is determined in step S650 that the additional diagnosis plane is not defective (No), in S660, the FM-CTL 500 determines that all blocks in the diagnosis plane and the additional UE block detected by this plane diagnosis processing are defective blocks. Is registered in the FMPK state management table 730, the failure area corresponding to the defective block is specified, the failure area is registered in the failure address list 750, and this flow is terminated.
  • the FM-CTL 500 may select a plane sharing a circuit connected to the diagnostic plane as an additional diagnostic plane in S640. Further, the FM-CTL 500 may determine that the target die is defective when two of the three or more planes in the target die are determined to be defective.
  • the FM-CTL 500 can quickly estimate the failure caused by particles based on the structure of the memory cell in the target die and identify the minimum block as the failure site. Can do. Only when the position of the UE generated by reading the data stored in the UE block is distributed more widely than the range of two adjacent word lines, the FM-CTL 500 performs the plane diagnosis process, The load of die diagnosis processing can be reduced. In addition, when the UE is not generated due to the reading of data stored in the UE block, or the position of the generated UE is distributed only within the range of two word lines adjacent to each other, the FM-CTL 500 The UE block can be identified as a failure site. Further, only when it is determined that the plane is defective, the FM-CTL 500 can diagnose the die in a short time by determining whether other planes in the die including the plane are defective. .
  • FIG. 15 shows the plane diagnosis process.
  • the FM-CTL 500 performs plane diagnosis processing.
  • a diagnostic plane or an additional diagnostic plane designated as a target for plane diagnostic processing is referred to as a target plane.
  • the FM-CTL 500 determines whether there is a block that satisfies the selection condition among the blocks not yet selected as the target block in the target plane.
  • the block satisfying the selection condition is a block in which data is written up to the last page. For example, when writing data to a certain block, the FM-CTL 500 writes data in ascending order of page numbers from the first page.
  • the block management table 840 corresponding to the block in the FMPK state management table 730, when the In-use 843 is equal to the total page number 843, the FM-CTL 500 has written data up to the last page of the block. Is determined.
  • a block that satisfies the selection condition is not an open block.
  • An “open block” is a physical block in which data is written up to an intermediate physical page (a physical block in which data is written on at least the first page but an empty page still remains).
  • N is an integer of 2 or more
  • data is written up to the Xth page (X is an integer of 2 or more and smaller than N).
  • Y is an integer of 1 or more
  • the characteristic deterioration due to the open block does not depend on the characteristics of the entire die.
  • the FM-CTL 500 determines that the target plane is not defective and ends this flow.
  • the FM-CTL 500 selects a block satisfying the selection condition as a target block and is stored in all pages in the target block. Read data.
  • the FM-CTL 500 randomly selects one block from the plurality of blocks as the target block.
  • the FM-CTL 500 determines whether or not a UE has occurred due to this read.
  • the FM-CTL 500 determines that the target plane is not defective, and ends this flow.
  • the FM-CTL 500 recognizes the target block as an additional UE block. Thereafter, in S760, the FM-CTL 500 determines whether or not the number of additional UE blocks has reached a predetermined number of diagnostic blocks.
  • the number of diagnostic blocks is 5, for example.
  • the number of diagnostic blocks may be another number and can be represented by an integer L of 2 or more and less than M. The larger the number of additional UE blocks in the target plane, the higher the probability that the target plane is defective. The number of additional UE blocks whose probability is sufficiently high is determined in advance as the number of diagnostic blocks.
  • the FM-CTL 500 determines that the target plane is defective and ends this flow.
  • the case where the target plane is defective is, for example, a case where the target plane cannot be controlled due to a failure of the row decoder 573 or the sense amplifier 574 connected to the target plane.
  • the target die is defective, for example, when the target die cannot be controlled due to a failure of the peripheral circuit 575 connected to the two planes 572 in the target die.
  • the FM-CTL 500 selects a block that satisfies the selection condition in the target plane, reads data stored in the block, and the number of blocks generated by the UE is the number of diagnosis blocks.
  • the target plane it is possible to detect the defect of the plane 572 without reading the data stored in all the pages in the plane 572 by determining that the target plane is defective.
  • the diagnosis time can be reduced, the load on the FM-CTL 500 can be reduced, and the performance degradation of the FMPK 300 can be prevented.
  • a block is selected from the target plane and the UE is detected by the number of blocks to be diagnosed, it is possible to maintain the accuracy of diagnosis of the target plane by determining that the target plane is defective.
  • the FM-CTL 500 changes the status 842 of the block management table 840 of the block in the FMPK status management table 730 to “Bad”, and the die management table of the die including the block The number of bad blocks 833 in 830 is increased.
  • the FM-CTL 500 changes the Status 832 of the die management table 830 of the die in the FMPK state management table 730 to “Bad”, and chip management of the FM chip including the die The number of defective dies 823 in the table 820 is increased.
  • the FM-CTL 500 does not assign a physical page in a block registered as a bad block to a logical page. Thereby, although the update area of the FMPK 300 decreases as the number of defective blocks increases, the FMPK 300 can continue to operate without being totally blocked.
  • the FM-CTL 500 reads and diagnoses the entire data stored in the plane or die in which the UE has occurred, the failure part should be used in response to an I / O request from the storage controller 400 during the diagnosis.
  • the I / O performance to other parts is reduced due to the load of diagnosis.
  • the FM-CTL 500 detects a UE on a certain die, the FM-CTL 500 identifies a faulty part in the die without reading data stored in all pages in the die. be able to.
  • the FM-CTL 500 detects a UE, the FM-CTL 500 can identify a fault site in units of blocks, planes, and dies, and can isolate only the fault site.
  • FM-CTL 500 does not have a function of directly detecting a failure of the circuit such as the row decoder 573, the sense amplifier 574, and the peripheral circuit 575 in the die 571, the failure of those circuits is detected by the die diagnosis process. It is possible to identify the site of failure caused by the problem.
  • the FM-CTL 500 may perform die diagnosis processing in accordance with an error such as a status error in response to a write (program) request or an error at the time of erasure.
  • the storage controller 400 detects a failure based on a response such as a status error.
  • the host 200 can write by retry, the write data is not lost.
  • the UE at the time of reading loses data as described above, but can recover the data by the failure notification process.
  • the configuration of the storage system 100 of the present embodiment is the same as the configuration of the storage system 100 of the first embodiment. Hereinafter, differences from the first embodiment will be mainly described.
  • the storage system 100 of the present embodiment changes the capacity of the FMPK 300 according to the occurrence of a failure in the FMPK 300.
  • the capacity of the update area In flash memory, the greater the capacity of the update area, the less frequent reclamation and the higher the performance. However, if the capacity of the update area is large, the capacity of the user data storage area (user area) is small. That is, the relationship between the capacity of the user area and the capacity of the update area and the data capacity that can be stored in the FMPK 300 by the storage controller 400 and the performance are determined.
  • the capacity of the user area may be referred to as user capacity
  • the capacity of the update area may be referred to as update capacity
  • the sum of the user capacity and update capacity may be referred to as physical capacity.
  • the user capacity and the update capacity change with the occurrence of a failure. In this embodiment, the capacity is changed while the ratio between the user capacity and the update capacity is kept constant. Thereby, even when the capacity is reduced, the performance can be maintained.
  • FIG. 16 shows the configuration of RG and LU (Logical Unit) in the storage system 100.
  • the storage controller 400 constructs an RG using a plurality of PDEVs.
  • the storage controller 400 constructs RG # 0 using PDEV # 0- # 3 from PDEV # 0- # 15, and uses DEV # 8- # 15 to establish RG # Build one.
  • Each RG has a plurality of stripes.
  • Each stripe spans a plurality of PDEVs and includes a plurality of data and a parity generated from the plurality of data.
  • the arrangement of data and parity in a plurality of PDEVs is different for each stripe.
  • one stripe includes three data and parity generated from the three data.
  • the storage controller 400 generates parity.
  • the storage controller 400 allocates a storage area in the RG to the LU. In the example of this figure, the storage controller 400 assigns RG # 0 to LU # 0 and # 1, and assigns RG # 1 to LU # 2.
  • FIG. 17 shows the configuration of LUs and VVOLs (Virtual Volumes) in the storage system 100.
  • the storage controller 400 manages the LU by dividing it into real pages that are logical storage areas of a predetermined size.
  • the storage controller 400 registers and manages real pages in the pool.
  • the storage controller 400 provides VVOL to the host computer 200.
  • the storage controller 400 manages the virtual address space in the VVOL by dividing it into virtual pages that are virtual storage areas of a predetermined size.
  • the storage controller 400 allocates a real page from the pool to the virtual page including the address range in the VVOL specified by the write request in response to the write request from the host computer 200 by the thin provisioning function. When the allocation of the real page to the virtual page is released, the storage controller 400 returns the real page to the pool.
  • the storage controller 400 registers real pages in LU # 0 to # 2 in pools # 0 and # 1. Furthermore, the storage controller 400 assigns the real pages in the pools # 0 and # 1 to the virtual pages in the VVOL # 0 and # 1.
  • FIG. 18 shows information stored in the memory 420 of the storage controller 400.
  • the memory 420 stores a storage control program 610, an RG management table 620, an LU management table 630, a PDEV management table 640, a virtual page mapping management table 650, and a real page state management table 660.
  • the storage control program 610 is a program for causing the CPU 410 to control the storage system 100.
  • FIG. 19 shows the RG management table 620.
  • the RG management table 620 has an entry for each RG.
  • An entry of a certain RG includes an RG number (RG #) 621 indicating the RG, a PDEV number (PDEV #) 622 indicating a PDEV belonging to the RG, a RAID level 623 of the RG, and a PDEV belonging to the RG.
  • RG # RG number
  • PDEV # PDEV number
  • RAID level 623 of the RG a PDEV belonging to the RG.
  • a PDEV type 624 that is a type
  • a PDEV minimum capacity 625 that is a minimum value of the user capacity of the PDEV belonging to the RG.
  • FIG. 20 shows the LU management table 630.
  • the LU management table 630 has an entry for each LU.
  • An entry of an LU includes an LU number (LU #) 631 indicating the LU, an RG number (RG #) 632 indicating an RG allocated to the LU, a stripe size 633 of the LU, and the RG And the LU start address 634 which is the start address of the LU and the LU size 635 which is the size of the LU.
  • FIG. 21 shows a virtual page mapping management table 650.
  • the virtual page mapping management table 650 has an entry for each virtual page.
  • An entry of a virtual page includes a VVOL number (VVOL #) 651 indicating the VVOL to which the virtual page belongs, a virtual page ID 652 indicating the virtual page, and a real page ID 653 indicating a real page assigned to the virtual page. And have. When a real page is not assigned to the virtual page, the real page ID 653 indicates “unassigned”.
  • the virtual page ID 652 is a unique identifier within the storage system 100.
  • the real page ID 653 is a unique identifier within the storage system 100.
  • FIG. 22 shows the real page state management table 660.
  • the real page state management table 660 has an entry for each real page.
  • An entry of a real page has a pool number (POOL #) 661 indicating a pool to which the real page belongs, a real page ID 662 indicating the real page, and a status 663 of the real page.
  • the state 663 indicates whether the virtual page is allocated (in use).
  • FIG. 23 shows the PDEV management table 640.
  • the PDEV management table 640 has an entry for each PDEV.
  • An entry of a PDEV includes a PDEV number (PDEV #) 641 indicating the PDEV, a current user capacity 642 that is the current user capacity of the PDEV, an initial user capacity 643 that is an initial user capacity of the PDEV, It has a start address 644 of the user area in the logical address space of the PDEV (FMPK logical address space) and an end address 645 of the user area in the logical address space of the PDEV.
  • the FMPK logical address space is represented by, for example, LBA (Logical Block Address).
  • FIG. 24 shows information stored in the memory 520 of the FM-CTL 500 of the second embodiment.
  • the memory 520 of this embodiment further includes a user capacity ratio 741, a physical capacity 742, a current user capacity 743, an initial user capacity 744, and a user capacity lower limit. 745 are stored.
  • a user capacity ratio 741, a physical capacity 742, an initial user capacity 744, and a user capacity lower limit 745 are determined in advance and stored in the memory 520.
  • the current user capacity 743 is equal to the initial user capacity 744 at the start of operation, but decreases when a failure occurs in the storage area in the FMPK 300.
  • the user capacity ratio 741 is a ratio of the current user capacity 743 to the total capacity of the storage area (user area and update area) without any failure. In this embodiment, the user capacity ratio 741 is constant.
  • FIG. 25 shows the current user capacity acquisition process.
  • the storage controller 400 executes a current user capacity acquisition process for acquiring the current user capacity of the target FMPK.
  • the storage controller 400 acquires the current user capacity with the FMPK 300 as the target FMPK.
  • the storage controller 400 may periodically perform current user capacity update processing.
  • the storage controller 400 receives the current user capacity from the target FMPK by transmitting a capacity inquiry command to the target FMPK (S4110), and sets the current user capacity 642 of the target FMPK in the PDEV management table 640 according to the received current user capacity. Update (S4120) and end this process.
  • the FM-CTL 500 When receiving the capacity inquiry command from the storage controller 400 (S4210), the FM-CTL 500 transmits the current user capacity 743 in the memory 520 to the storage controller 400 (S4220), and ends this process.
  • the above is the current user capacity acquisition process.
  • the storage controller 400 can acquire the current user capacity of the FMPK 300.
  • FIG. 26 shows the RG creation process
  • the storage controller 400 When the storage controller 400 creates a new RG using a plurality of FMPKs 300, the storage controller 400 determines the capacity used for the RG for each of the plurality of FMPKs 300, and executes an RG creation process for creating an RG.
  • the storage controller 400 detects the minimum value of the current user capacity 642 of the FMPK 300 belonging to the RG from the PDEV management table 640 and sets it as the PDEV minimum capacity of the RG (S4310). Thereafter, the storage controller 400 creates the RG using the logical address area for the minimum PDEV capacity in each of all the FMPKs 300 belonging to the RG, and uses the PDEV minimum capacity as the RG in the RG management table 620. Is input to the minimum PDEV capacity 625 (S4320), and this process is terminated.
  • the above is the RG creation process.
  • the storage controller 400 stripes and stores data for a plurality of PDEVs belonging to the RG.
  • each PDEV in the RG needs to have a free space of the same size. That is, if there is no free space in a certain PDEV, data cannot be stored even if there is free space in another PDEV in the RG. Therefore, when the user capacity of a certain PDEV is reduced, even if other PDEVs in the RG have a free capacity, the RG cannot store data. Therefore, the storage controller 400 creates an RG according to the PDEV minimum capacity.
  • an RG having an appropriate capacity can be created in accordance with the current user capacity of the FMPK 300 belonging to the RG.
  • the storage controller 400 may detect the faulty part by the fault notification process of the first embodiment or may detect the faulty part by the periodic monitoring process when a read request is made to the FMPK 300.
  • FIG. 27 shows the regular monitoring process.
  • the storage controller 400 periodically selects one of the FMPKs 300 as the target FMPK, and executes a periodic monitoring process for acquiring the state of the target PDEV.
  • the storage controller 400 periodically performs a regular monitoring process for each of all PDEVs.
  • the storage controller 400 issues a PDEV monitoring command similar to the failure address list request of the first embodiment to the target FMPK (S2110).
  • the FM-CTL 500 that has received the PDEV monitoring command transmits a failure address list 750 to the storage controller 400 as a response to the PDEV monitoring command.
  • the storage controller 400 receives the failure address list 750 from the target FMPK (S2120).
  • the storage controller 400 determines whether a failure is detected based on the failure address list 750 (S2130). If it is determined that no failure has been detected (S2130: No), the storage controller 400 ends this processing.
  • the storage controller 400 recognizes the target FMPK as a failure FMPK, executes data recovery processing to recover data lost in the failure FMPK (S2140),
  • the RG to which the FMPK belongs is recognized as a failure RG, a capacity degeneration process for reducing the user capacity of the FMPK 300 belonging to the failure RG is executed (S2150), and this process ends.
  • Data recovery processing and capacity degeneration processing will be described later. The above is the periodic monitoring process.
  • the FM-CTL 500 sends a UA (Unit Attention) to the storage controller 400 as a response to the Read command and the Write command as in the first embodiment. By transmitting, the storage controller 400 may be notified that a failure has occurred. In this case, the storage controller 400 may acquire the failure address list 750 by a PDEV monitoring command. Further, the FM-CTL 500 may notify the storage controller 400 of a failure area according to a rule predetermined for the storage controller 400 and the FM-CTL 500.
  • a UA Unit Attention
  • the FM-CTL 500 detects a failure for each logical address area of a report size (for example, 256 kB) that is a predetermined size, and only the start address (LBA) of the logical address area where the failure is detected is stored in the storage controller 400. Send to. Receiving the start address, the storage controller 400 recovers the data in the logical address area of the report size specified by the start address.
  • a report size for example, 256 kB
  • LBA start address
  • FIG. 28 shows data recovery processing
  • the storage controller 400 executes data recovery processing.
  • the storage controller 400 selects one entry in order from the top of the failure address list 750 acquired from the failure FMPK, and recognizes the failure area from the selected entry (S2510). Thereafter, the storage controller 400 identifies the FMPK 300 other than the failed FMPK belonging to the failed RG based on the RG management table 620, identifies the stripe corresponding to the failed area based on the LU management table 630, and identifies the identified stripe
  • the data or parity of the specified FMPK 300 is read and RAID calculation is performed to regenerate data lost in the failure area (failure data) and write the regenerated data to the failure area of the failure FMPK (S2520). ).
  • the FM-CTL 500 of the fault FMPK allocates a normal physical storage area to the fault area and writes data from the storage controller 400 to the physical storage area. Thereafter, the storage controller 400 determines whether or not selection of all entries in the acquired failure address list 750 has been completed (S2530). When it is determined that selection of all entries has been completed (S2530: Yes), the storage controller 400 ends the process. Otherwise, the storage controller 400 shifts the process to S2510. The above is the data recovery process.
  • the FM-CTL 500 identifies the logical address area where the failure has occurred and notifies the storage controller 400, so that the storage controller 400 can recover the data relating to the identified address range.
  • the address range is not specified, it is necessary to recover the data in all logical address areas in the fault FMPK, so that the data recovery time can be shortened in this data recovery process.
  • FIG. 29 shows the capacity degeneration process.
  • the storage controller 400 executes capacity degeneration processing.
  • the storage controller 400 executes data movement processing for moving data in the logical address area reduced by the failure RG (S2620), and executes FMPK capacity change processing for changing the capacity of the FMPK 300 belonging to the failure RG (S2630). This process is terminated. Data movement processing and FMPK capacity change processing will be described later. The above is the capacity degeneration processing.
  • FIG. 30 shows the data movement process
  • the storage controller 400 executes data movement processing.
  • the storage controller 400 determines a reduction area that is a logical address area that is reduced from the failure FMPK (S2710).
  • the storage controller 400 determines a reduction size, which is the size of the reduction area, and a start address (LBA) of the reduction area.
  • the reduction area is, for example, an address range corresponding to the previous reduction size from the end address 645 of each FMPK 300 in the PDEV management table 640.
  • reducing the capacity means limiting the logical address area of the FMPK 300 that can be used by the storage controller 400.
  • the storage controller 400 transmits a normal area capacity inquiry to the fault FMPK.
  • the FM-CTL 500 that has received the inquiry about the normal area capacity calculates a value obtained by multiplying the capacity of the physical storage area excluding the current defective portion (physical capacity 742) by the user capacity ratio as the normal area capacity. Is transmitted to the storage controller 400.
  • the defective part is, for example, a Bad Block.
  • the FMPK 300 in this embodiment closes a die when all the allocated blocks in the die are Bad Blocks, and blocks the die even if some of the allocated blocks in the die are Bad Blocks. do not do. Therefore, in FMPK300, the capacity of all Bad Blocks may be different from the capacity of the blocked part. Therefore, the defective portion may be a closed portion.
  • the storage controller 400 that has received the normal area capacity calculates a value obtained by subtracting the normal area capacity from the current user capacity 642 of the fault FMPK as a reduction size.
  • the storage controller 400 identifies the RG reduction range, which is the logical address area of the stripe corresponding to the reduction area in the RG including the failed FMPK, based on the RG management table 620, the LU management table 630, and the PDEV management table 640. Then, a list of all real pages within the RG reduction range is generated (S2720).
  • the size of the RG reduction range differs depending on the RAID level 623 of the failure RG in the RG management table 620. For example, when the RAID level 623 of the fault RG is 0, 5, or 6, the size of the RG reduction range is the number of data disks (the value obtained by subtracting the number of parity disks from the total number of disks belonging to the fault RG). Multiply value. When the RAID level 623 of the failure RG is 1, the size of the RG reduction range is the reduction size.
  • the storage controller 400 Since the storage controller 400 manages the storage area of the RG in units of real pages, the size of the RG is reduced in units of real pages. Here, the storage controller 400 does not simply set the size of the failed area notified from the FMPK 300 as the reduced size, but determines the reduced size based on the information on the real page. If the size of the failure area includes a fraction in real page units, the storage controller 400 calculates a reduced size by rounding up the size of the failure area to an integral multiple of the real page. The storage controller 400 manages real page information, but the FMPK 300 does not manage real page information. Therefore, the storage controller 400 needs to notify the FMPK 300 of the reduced size by FMPK capacity change processing described later.
  • the storage controller 400 selects the first real page from the list of real pages within the RG reduction range (S2730). Thereafter, the storage controller 400 determines whether or not the real page is in use (assigned to a virtual page) based on the real page state management table 660 (S2740). When it is determined that it is not in use (S2740: No), the storage controller 400 shifts the process to S2760. This is because there is no need to copy data if a real page is not assigned to a virtual page. When it is determined that it is in use (S2740: Yes), the storage controller 400 executes a real page replacement process for replacing the real page with another real page as a replacement original real page by using the Thin Provisioning function (S2750). ).
  • the storage controller 400 determines whether or not selection of all real pages in the list of real pages has been completed (S2760). If selection of all real pages within the RG reduction range has not been completed (S2760: No), the storage controller 400 selects the next real page from the list of real pages (S2770), and shifts the processing to S2740. . When the selection of all real pages within the RG reduction range is completed (S2760: Yes), the storage controller 400 ends this process. The above is the data movement process.
  • FIG. 31 shows the real page replacement process.
  • the storage controller 400 executes a real page replacement process.
  • the storage controller 400 determines the selected real page as a replacement original real page (S2810). Thereafter, the storage controller 400 selects a replacement destination real page from the pool including the unused real pages based on the real page state management table 660 (S2820). Here, the storage controller 400 may select a real page other than the failure RG among the real pages in the pool. Thereafter, the storage controller 400 copies the data of the replacement source real page to the replacement destination real page (S2830).
  • the storage controller 400 allocates the replacement destination real page to the virtual page to which the replacement original real page has been allocated (S2840).
  • the storage controller 400 changes the replacement source real page ID to the replacement destination real page ID in the virtual page mapping management table 650, and changes the status 663 of the replacement source real page to unused in the real page status management table 660. Then, the status 663 of the replacement destination real page is changed to being used.
  • the storage controller 400 issues a PDEV area release command that notifies the target FMPK that the logical page allocated to the replacement original real page in the target FMPK is unused (S2850), and ends this processing. .
  • this PDEV area release command notifies that the target FMPK may discard the data of the logical page.
  • the above is the actual page replacement process.
  • FIG. 32 schematically shows the real page replacement process.
  • the real page # 100 is selected as the replacement original real page, and the replacement original real page is assigned to the virtual page # 002. Thereafter, the real page # 001 is selected from the pool # 0 as a replacement destination real page, and the replacement destination real page is assigned to the virtual page # 002.
  • a real page can be allocated from the pool to a virtual page to which a real page to be reduced in the failure RG is allocated. Thereby, all the real pages reduced in the failure RG can be changed to an unused state, and the capacity of the failure RG can be reduced.
  • the reduction area can be determined based on the current user capacity and the capacity of the physical storage area where the failure in the failure FMPK has occurred. Further, the data stored in the real page corresponding to the reduced area of the failure FMPK is moved, and the real page to be moved is assigned to the virtual page to which the real page has been assigned. As a result, access from the host computer 200 to the address included in the virtual page can be maintained.
  • FIG. 33 shows the FMPK capacity change process.
  • the storage controller 400 executes the FMPK capacity change process by setting all the FMPKs 300 belonging to the failure RG as the target FMPKs.
  • the storage controller 400 transmits a capacity change command for designating the reduction size to the target FMPK (S2910) and receives a response (S2920). Thereafter, the storage controller 400 updates the entry of the target FMPK in the PDEV management table 640 (S2930).
  • the storage controller 400 changes the value stored in the current user capacity 642 of the target FMPK to a value obtained by subtracting the reduction size from the stored value. Further, the storage controller 400 changes the stored address value to a value obtained by subtracting the reduction size from the stored value.
  • the storage controller 400 updates the RG management table 620 and the LU management table 630 (S2940), and ends this processing.
  • the storage controller 400 updates the PDEV minimum capacity 625 of the RG management table 620 and the LU size 635 of the LU management table 630 based on the updated current user capacity 642.
  • the replacement original real page returned to the pool by the page replacement process is deleted from the pool.
  • the FM-CTL 500 When the FM-CTL 500 receives the capacity change command from the storage controller 400 (S3010), the FM-CTL 500 calculates a value obtained by subtracting the reduction size specified in the capacity change command from the current user capacity 743 in the memory 520 as the post-reduction user capacity. Then, it is determined whether the post-reduction user capacity is larger than the user capacity lower limit 745 in the memory 520 (S3020). When it is determined that the post-reduction user capacity is greater than the user capacity lower limit 745 (S3020: Yes), the FM-CTL 500 changes the value of the current user capacity 743 to the post-reduction user capacity and succeeds in the capacity change command. The response shown is transmitted to the storage controller 400 (S3030), and this process ends.
  • the FM-CTL 500 transmits a response indicating failure to the capacity change command to the storage controller 400 (S3030), and ends this process.
  • the storage controller 400 receives a response indicating failure from the FMPK 300, the storage controller 400 blocks the entire FMPK 300. That is, when the user capacity of the FMPK 300 becomes equal to or lower than the user capacity lower limit 745 by the FMPK capacity change process, the FMPK 300 is closed. The above is the FMPK capacity change process.
  • the host computer 200 when changing the capacity of the access destination volume, the host computer 200 needs to stop the operation and re-recognize the volume.
  • the FMPK capacity when the FMPK capacity is reduced, the pool capacity is decreased. More specifically, the number of real pages included in the pool is reduced. A storage area is allocated to the virtual volume from the pool, but the capacity of the virtual volume is not changed. As a result, the host computer 200 does not need to recognize a capacity reduction due to a partial failure inside the FMPK, and can continue accessing the virtual volume.
  • the FMPK 300 other than the fault FMPK belonging to the fault RG may be referred to as a related FMPK, and the logical address area of the related FMPK corresponding to the stripe of the fault FMPK reduction area in the fault RG is referred to as a related area. There is. According to the FMPK capacity change process, it is possible not only to reduce the reduction area of the fault FMPK but also to reduce the related area of the related FMPK.
  • the current user area reduced by the storage controller 400 can be reflected in the FMPK 300.
  • FIG. 34 schematically shows the capacity degeneration process.
  • This figure shows the arrangement of real pages in the fault RG before the capacity degeneration processing and the arrangement of real pages in the RG after the capacity degeneration processing.
  • the storage controller 400 moves the data stored in the real page corresponding to the reduced area of the failure FMPK, and assigns the real page in the pool to the virtual page to which the real page is assigned.
  • the current user capacity of the fault FMPK can be reduced.
  • the FM-CTL 500 can reduce the current user capacity in accordance with an instruction from the storage controller 400.
  • the storage controller 400 when a failure occurs in the FMPK 300, the storage controller 400 reduces the capacity of the FMPK 300 according to the failed part, thereby preventing the entire FMPK 300 from being blocked and continuing to use the FMPK 300. be able to. Further, the part where the failure has occurred can be blocked by the unit of DMA, chip, die or plane in the FMPK 300. Further, when a failure occurs in one of the plurality of FMPKs 300 belonging to the RG, the storage controller 400 can continue to use the RG by reducing the capacity of the RG.
  • the information of the present invention is described using expressions such as “aaa table” and “aaa list”.
  • the information may be expressed in other data structures such as DBs and queues. Good. Therefore, “aaa table”, “aaa list”, “aaaDB”, “aaa queue”, etc. may be referred to as “aaa information” to indicate that they are not dependent on the data structure.
  • program is used as the subject.
  • the program performs processing determined by being executed by the processor using the memory and the communication port.
  • the description may be given using the processor as the subject.
  • the processing disclosed with the program as the subject may be processing performed by a management computer or an information processing apparatus. Further, part or all of the program may be realized by dedicated hardware.
  • Various programs may be installed in each computer by a program distribution server or a storage medium that can be read by the computer.
  • the nonvolatile semiconductor memory in the above embodiment is FM (Flash Memory).
  • the FM in the above embodiment is a type of FM that is erased in units of blocks and read and written in units of pages, typically a NAND flash memory.
  • the FM may be another type of flash memory (for example, NOR type) instead of the NAND type.
  • other types of nonvolatile semiconductor memories such as magnetoresistive memory MRAM (Magnetoresistive random access memory), resistance change type memory ReRAM (Resistance random access memory), ferroelectric memory, etc.
  • a semiconductor memory such as a certain FeRAM (Ferroelectric random access memory) or a phase change memory may be used.
  • FMPK300 etc. may be used as a storage device.
  • An FM chip 570 or the like may be used as the nonvolatile semiconductor memory.
  • the storage controller 400 or the host computer 200 may be used.
  • An FM-CTL 500 or the like may be used as the device controller.
  • the memory circuit a plane 572 or a die 571 in the FM chip 570 may be used.
  • the control circuit a row decoder 573, a sense amplifier 574, a peripheral circuit 575, and the like in the die 571 may be used.
  • a block 581 or the like may be used as the block.
  • a page 583 or the like may be used as the page.
  • I / O read or write may be used.
  • diagnosis processing die diagnosis processing, plane diagnosis processing, or the like may be used.
  • a partial block in the specific storage circuit a UE block in S520, a target block in S720, or the like may be used.
  • LBA or the like may be used as the logical address.
  • a physical page identifier or the like may be used as the physical address.
  • failure information a failure address list 750 or the like may be used.
  • a UE block or the like may be used as the specific block.
  • distribution condition the fact that No in S540 is satisfied may be used.
  • a die 571 or the like in the FM chip 570 is used as a semiconductor substrate, a plane 572 or the like in the die 571 is used as a storage circuit, a diagnostic plane or the like is used as a specific storage circuit, and an additional diagnosis is performed as an additional storage circuit.
  • a plane or the like may be used.
  • a page row or the like connected to the word line 582 may be used as the page row.
  • a special UE response or the like may be used as a response requesting not to count UEs based on the read request.
  • the storage system 100 or the like may be used as the storage device.
  • the storage controller 400 or the like may be used.
  • User capacity or the like may be used as the capacity of the logical storage area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

　不揮発性半導体メモリに障害が発生した場合に障害部位を特定する。デバイスコントローラが、複数の不揮発性半導体メモリの中の特定ページに格納されているデータをリードすることにより、特定ページに格納されているデータのアンコレクタブルエラー（ＵＥ）を検出した場合、デバイスコントローラは診断処理として、特定ページを含む記憶回路である特定記憶回路を特定し、特定記憶回路の中の一部のブロックに格納されているデータをリードし、ブロックに格納されているデータのリードの結果に基づいて、特定記憶回路内の障害部位を特定する。

Description

記憶デバイスおよびストレージ装置
　本発明は、記憶デバイスおよびストレージ装置に関する。
　近年、企業で扱われるデータ量の増大に伴い、ストレージ装置は多数の記憶デバイスを備え、記憶デバイスの容量も年々増大している。記憶デバイスとして、一般にＨＤＤ（Hard　Disk　Drive）が搭載されているが、近年、ＨＤＤに代わって、記憶媒体として不揮発性半導体メモリ（例えば、フラッシュメモリ）を有する記憶デバイス（例えばＳＳＤ：Solid　State　Drive）が注目されている。ＳＳＤは、ＨＤＤに比べて高価であるがＩ／Ｏ処理が非常に高速である。
　フラッシュメモリでは、物理的な記憶領域は、ブロックと呼ばれる単位で管理されており、データの消去はこのブロック単位で行われる。ブロックを消去可能な回数には上限があり、消去回数が増加すると、フラッシュメモリにデータが書き込めなくなる場合や、フラッシュメモリに書き込まれたデータのエラー発生率が増大する場合がある。つまり、フラッシュメモリには寿命があり、多数のフラッシュメモリを有するＳＳＤにも寿命がある。また、フラッシュメモリチップの微細化の進展に伴い、フラッシュメモリチップが大容量化する一方で、信頼性が低下し、ダイやチップなどの単位で品質にばらつきが生じる。品質が悪いダイは、エラー発生率が増大しやすく所定の消去回数未満でも障害により使用できなくなる。複数のダイにこのような障害が発生すると、ユーザデータを格納する記憶領域を確保できなくなり、記憶デバイスを閉塞せざるを得なくなる。このように、所定の期間よりも早期にＳＳＤが使用不能になると、交換の頻度が増加し、ＳＳＤの購入や保守のためのコストが発生する可能性がある。
　例えば、特許文献１には、ＳＳＤ内のブロックに障害が発生した場合のデータ復旧技術が開示されている。複数のＳＳＤを有するストレージ装置において、或るＳＳＤ内のブロックの障害が検出されると、障害ブロックを含むＳＳＤの全データを別のＳＳＤにリビルドする技術が知られている。
米国特許第８０４１９９１号明細書
　特許文献１の技術では、記憶デバイス内の不揮発性半導体メモリの一部に障害が発生した場合、他に品質が良く使用可能な部分（メモリのダイやチップ）が多数存在していても、その記憶デバイスは閉塞されるため、その記憶デバイスを交換する必要があった。記憶デバイスが大容量化すると、部分的に障害が発生しても依然として使用可能な容量も大きいことになる。このため、一部の障害に対して記憶デバイスを閉塞すると、無駄が多い。そこで、障害が発生した場合に、記憶デバイス内のコントローラが不揮発性半導体メモリの全体を検査し、障害部位を特定すれば、記憶デバイスの閉塞を避けられる可能性がある。しかし、不揮発性半導体メモリの全体を検査する処理は、負荷が大きく、記憶デバイスの性能低下につながる。
　上記課題を解決するために、本発明の一態様である記憶デバイスは、複数の不揮発性半導体メモリと、前記複数の不揮発性半導体メモリに接続され、前記複数の不揮発性半導体メモリへのアクセスの指示を発行する上位装置に接続されるデバイスコントローラと、を備える。前記複数の不揮発性半導体メモリの夫々は、複数の記憶回路と、複数の制御回路とを含み、前記複数の記憶回路は、夫々前記複数の制御回路を介して前記デバイスコントローラに接続され、前記複数の記憶回路の夫々は、複数のブロックを含み、前記ブロックは、データの消去単位であり、前記複数のブロックの夫々は、複数のページを含み、前記ページは、データのリード／ライト単位であり、前記デバイスコントローラが、前記複数の不揮発性半導体メモリの中の特定ページに格納されているデータをリードすることにより、前記特定ページに格納されているデータのアンコレクタブルエラー（ＵＥ）を検出した場合、前記デバイスコントローラは診断処理として、前記特定ページを含む記憶回路である特定記憶回路を特定し、前記特定記憶回路の中の一部のブロックに格納されているデータをリードし、前記ブロックに格納されているデータのリードの結果に基づいて、前記特定記憶回路内の障害部位を特定する。
本発明の実施例の計算機システムの構成を示す。 ＦＭＰＫ３００の構成を示す。 ＦＭチップ５７０の構成を示す。 ブロック５８１の構成を示す。 ＦＭ－ＣＴＬ５００のメモリ５２０に格納される情報を示す。 ワード線－ページ対応テーブル７６０を示す。 プレーン－ブロック対応テーブル７７０を示す。 ＦＭＰＫ３００の論理ページ及び物理ページの構成を示す。 ページマッピング管理テーブル７２０を示す。 ＦＭＰＫ状態管理テーブル７３０を示す。 障害アドレスリスト７５０を示す。 障害通知処理の第一処理を示す。 障害通知処理の第一処理の後の第二処理を示す。 ダイ診断処理を示す。 プレーン診断処理を示す。 ストレージシステム１００におけるＲＧ及びＬＵ（Logical　Unit）の構成を示す。 ストレージシステム１００におけるＬＵ及びＶＶＯＬ（Virtual　Volume：仮想ボリューム）の構成を示す。 ストレージコントローラ４００のメモリ４２０に格納される情報を示す。 ＲＧ管理テーブル６２０を示す。 ＬＵ管理テーブル６３０を示す。 仮想ページマッピング管理テーブル６５０を示す。 実ページ状態管理テーブル６６０を示す。 ＰＤＥＶ管理テーブル６４０を示す。 実施例２のＦＭ－ＣＴＬ５００のメモリ５２０に格納される情報を示す。 現在ユーザ容量取得処理を示す。 ＲＧ作成処理を示す。 定期監視処理を示す。 データ回復処理を示す。 容量縮退処理を示す。 データ移動処理を示す。 実ページ張替え処理を示す。 実ページ張替え処理を模式的に示す。 ＦＭＰＫ容量変更処理を示す。 容量縮退処理を模式的に示す。
　実施形態の概要を説明する。本実施形態では、記憶デバイス内の不揮発性半導体メモリ内の特定の記憶回路に障害が発生した場合、その記憶回路に格納されている全てのデータをリードすることなく、記憶デバイス内の障害部位を特定し、記憶デバイス全体を閉塞せずに障害部位だけを閉塞する。本実施形態の詳細は以下に説明する。
　以下、本実施例の計算機システムの構成について説明する。
　図１は、本発明の実施例の計算機システムの構成を示す。
　この計算機システムは、ストレージシステム（ストレージ装置）１００と、複数のホスト計算機２００とを有する。複数のホスト計算機２００の夫々は、ＳＡＮ（Storage　Area　Network)２１０を介して、ストレージシステム１００に接続されている。計算機システムは、一つ以上のホスト計算機２００を有していても良い。
　ストレージシステム１００は、二つのストレージコントローラ（ＤＫＣ：Disk　Controller）４００と、複数のＦＭＰＫ（Flash　Memory　Package）３００とを有する。ストレージコントローラ４００は例えば、複数の記憶デバイスをＲＡＩＤ（Redundant　Arrays　of　Inexpensive　Disks）グループ（RG）として制御するコントローラである。二つのストレージコントローラ４００は、冗長化されており、通常時には一方のストレージコントローラ４００がストレージシステム１００を制御し、そのストレージコントローラ４００の障害発生時に他方のストレージコントローラ４００がストレージシステム１００の制御を継続させる。ＦＭＰＫ３００に加えて、ＳＡＳ（Serial　Attached　Small　Computer　System　Interface）－ＨＤＤ（Hard　Disk　Drive）、ＳＡＴＡ（Serial　Advanced　Technology　Attachment）－ＨＤＤ等、他の記憶デバイスが用いられても良い。以後の説明及び図面において、このような記憶デバイスをＰＤＥＶ（Physical　Device）と呼ぶことがある。
　ストレージコントローラ４００は、ホスト計算機２００に仮想ボリュームを提供する。ストレージコントローラ４００は、ＣＰＵ（Central　Processing　Unit）４１０と、メモリ４２０と、ホストＩ／Ｆ（Interface）４３０と、ディスクＩ／Ｆ４４０とを有する。ストレージコントローラ４００内の各部は、バスを介して互いに接続されている。メモリ４２０は、ストレージシステム１００を制御するためのプログラムを格納する。また、メモリ４２０は、記憶デバイスから読み出されたデータや記憶デバイスに書き込まれるデータを一時的に格納するキャッシュメモリとしての領域を有する。ＣＰＵ４１０は、メモリ４２０に格納されたプログラムに従ってストレージシステム１００を制御する。ホストＩ／Ｆ４３０は、ＳＡＮ２１０に接続され、ホスト計算機２００とのデータの送受信を行う。ディスクＩ／Ｆ４４０は、ＦＭＰＫ３００に接続され、ＦＭＰＫ３００とのデータの送受信を行う。
　図２は、ＦＭＰＫ３００の構成を示す。
　ＦＭＰＫ３００は、ＦＭ－ＣＴＬ（Flash　Memory　Controller、デバイスコントローラ）５００と、複数のメモリモジュール３１０とを有する。ＦＭ－ＣＴＬ５００は、ＣＰＵ５１０と、メモリ５２０と、上位Ｉ／Ｆ５３０と、複数のＦＭ　Ｉ／Ｆ５４０とを有する。ＦＭ－ＣＴＬ５００内の各部は、バスを介して互いに接続されている。メモリ５２０は、ＦＭＰＫ３００を制御するためのプログラムを格納する。また、メモリ５２０は、ＦＭチップから読み出されたデータやＦＭチップに書き込まれるデータを格納する。ＣＰＵ５１０は、メモリ５２０に格納されたプログラムに従ってＦＭＰＫ３００を制御する。
　一つのＦＭ　Ｉ／Ｆ５４０には、一つのメモリモジュール３１０が接続されている。ＦＭ　Ｉ／Ｆ５４０は、複数のＤＭＡ（Direct　Memory　Access）コントローラ５４１を有する。メモリモジュール３１０は、複数のスイッチ（ＳＷ）５６０と、複数のＦＭチップ５７０とを有する。一つのＤＭＡコントローラ５４１には、一つのスイッチ５６０が接続されている。一つのスイッチ５６０には、複数のＦＭチップ５７０が接続されている。ＦＭチップ５７０は、複数のダイ（Die）５７１を有する。ダイ５７１は、複数のブロックを有する。ＤＭＡコントローラ５４１は、ＦＭチップ５７０との通信を制御する。以後の説明及び図面において、ＦＭチップ５７０を単にチップと呼ぶことがあり、ＤＭＡコントローラ５４１を単にＤＭＡと呼ぶことがある。
　チップにおいては、ページ、ブロック、ダイ、プレーン等の単位で障害が発生する可能性がある。障害の発生率は、フラッシュメモリの品質によって異なりうる。また、ＤＭＡが故障すれば、ＤＭＡ単位でチップにアクセスすることができなくなる。本実施例では、各ページの容量、各ブロックの容量、各ダイの容量、各チップの容量、各ＤＭＡに接続されるチップ数は等しいものとする。ただし、それぞれの容量が異なっていてもよい。ＦＭ－ＣＴＬ５００は、ページ、ブロック、プレーン、ダイ、チップ、ＤＭＡに障害が発生した場合、障害部位を特定し、以後障害部位を使用しない。
　ＦＭ－ＣＴＬ５００は、ＦＭＰＫ３００内の論理アドレス空間をストレージコントローラ４００に提供する。論理アドレス空間には、ＦＭＰＫ３００内の物理記憶領域が対応付けられる。ＦＭＰＫ３００の外部に提供される論理記憶空間に対応する物理記憶領域をユーザ領域と呼ぶ。論理アドレス空間は、ＦＭＰＫ３００内部で所定のサイズの論理ページに区切って管理される。ＦＭ－ＣＴＬ５００は、ストレージコントローラ４００から論理アドレスを指定したリード／ライト要求を受信すると、論理アドレスから物理ページを特定し、データのリード／ライトを実行する。また、ＦＭ－ＣＴＬ５００は、ＦＭＰＫ３００に部分的に発生する障害を管理する。
　フラッシュメモリの物理記憶領域は、複数のブロックを含み、各ブロックは複数のページを含む。ブロックはデータの消去の単位であり、ページはデータの書き込み及び読み出しの単位である。つまり、ＦＭ－ＣＴＬ５００は、ブロック単位でデータを消去し、ページ単位でデータの書き込み及び読み出しを制御する。
　また、フラッシュメモリは、データの上書きができないという特性がある。このため、ＦＭ－ＣＴＬ５００は、あるページに格納されているデータを更新するデータ（更新データ）を受信すると、更新データをデータが格納されていない空きページへ書き込む。そして、論理ページと更新前のページの対応関係を、その論理ページと更新後のページの対応関係に変更する。このため、ストレージコントローラ４００はアクセス先の論理アドレスを変更する必要はない。
　そして、ＦＭ－ＣＴＬ５００は、更新前のデータを無効データ、更新後のデータを有効データとして管理する。無効データが消去されると、無効データが格納されていたページは空きページとなり、データを書き込むことが可能になる。ただし、消去はブロック単位で行われる。ブロック内に有効データと無効データが混在している場合、ＦＭ－ＣＴＬ５００は有効データを他の空きページにコピーして、そのブロック内のデータの消去を行う。この有効データのコピーとブロックの消去処理を、リクラメーションと呼ぶ。
　このようにフラッシュメモリでは、空きページが存在しない場合、ブロック単位でデータの消去を行わなければ新たにデータを書き込むことができない。また、消去処理が実行されると、消去処理が終わるまでデータを書き込むことができないため書き込み性能が低下し、消去処理そのもののオーバーヘッドによる性能低下も発生する。そこで、フラッシュメモリを記憶媒体とする記憶デバイスでは、更新データを書き込む領域（更新領域）が設けられる。
　なお、ユーザ領域と更新領域は物理的に区別されている必要はない。例えば、あるブロックがユーザ領域として使用された後に消去された場合、次は更新領域として使用されてもよい。
　図３は、ＦＭチップ５７０の構成を示す。
　ＦＭチップ５７０は、積層された複数のダイ５７１を含む。ダイ５７１は、半導体基板により実現される。ダイ５７１は、複数のプレーン５７２を含む。プレーン５７２は、２次元配列の列方向に並べられた複数のブロック５８１を含む。ダイ５７１は更に、各プレーン５７２に対し、ロウデコーダ５７３とセンスアンプ５７４とを含む。ロウデコーダ５７３は、プレーン５７２に接続され、ＦＭ－ＣＴＬ５００により指定されたアドレスに対応するワード線を選択し、選択されたワード線に電流を流す。センスアンプ５７４は、対応するプレーン５７２から得られる電圧を増幅する。ダイ５７１は更に、２個のセンスアンプ５７４に接続されている周辺回路５７５を含む。周辺回路５７５は、ロウデコーダ５７３及びセンスアンプ５７４に接続されると共に、ＦＭチップ５７０の外のスイッチ５６０に接続され、昇圧や他の回路の制御などを行う。
　本実施例において、ＦＭチップ５７０は、４個のダイ５７１を含む。ダイ５７１は、２個のプレーン５７２を含む。プレーン５７２は、２０４８個のブロックを含む。
　図４は、ブロック５８１の構成を示す。
　ブロック５８１は、複数のページ５８３を有する。具体的には、ブロック５８１には、列方向及び行方向に複数のページ５８３が配列されており、各ページ行（行方向に並んだ複数のページ５８３）に、ワード線（Word　Line：ＷＬ）５８２が接続されている。複数のワード線５８２のうち、アクセス先のページ５８３に接続されているワード線５８２が、そのアクセス先のページ５８３へのアクセスのために選択される。各ページ５８３は、行方向に接続された複数のメモリセル（セルトランジスタ）の集合である。メモリセルは、データを格納する回路であり、例えば、ＳＬＣ（Single-Level　Cell）であれば１ビットのデータを記憶し、ＭＬＣ（Multi-Level　Cell）であれば複数ビットのデータを記憶する。
　本実施例において、ブロック５８１には、６４個のページ行が存在し、故に、ブロック５８１には、６４本のワード線５８２が接続される。１つのページ行に４個のページ５８３が並んでいるので、ブロック５８１は、６４×４＝２５６個のページ５８３を含む。ページ５８３のサイズは、８ｋＢである。ページ５８３は、Program（書き込み、Write）及びRead（読み出し）の単位である。ブロック５８１は、Erase（消去）の単位である。以後、一つのワード線に対応する一つのページ行を、ワード線５８２で表す場合がある。
　このような構成において、製造時等に半導体基板上に載ったパーティクルがＵＥの原因となる場合がある。例えば、互いに隣接する２個のワード線５８２の間がパーティクルによりショートすることにより、それらのワード線５８２に対応するページ５８３に格納されているデータのリードにおいてＵＥが発生する。
　なお、ＦＭチップ５７０内の記憶領域の構成は、この例に限定されない。なお、一つのダイ５７１又は一つのプレーン５７２内のブロック５８１の数は、他の数でも良く、２以上の整数Ｍで表すことができる。一つのブロック５８１内のページ５８３の数は、他の数でも良く、２以上の整数Ｎで表すことができる。一つのブロック５８１内のワード線５８２の数は、他の数でも良く、２以上の整数Ｋで表すことができる。また、一つのダイ５７１が一つのプレーン５７２を有していても良い。
　ブロック５８１内のワード線５８２は、連続するワード線番号により識別される。ブロック５８１内のページ５８３は、連続するページ番号により識別される。
　図５は、ＦＭ－ＣＴＬ５００のメモリ５２０に格納される情報を示す。
　メモリ５２０は、ＦＭＰＫ制御プログラム７１０と、ページマッピング管理テーブル７２０と、ＦＭＰＫ状態管理テーブル７３０と、障害アドレスリスト７５０と、ワード線－ページ対応テーブル７６０と、プレーン－ブロック対応テーブル７７０とを格納する。ＣＰＵ５１０は、ＦＭＰＫ制御プログラム７１０に従ってＦＭＰＫ３００の制御を実行する。
　図６は、ワード線－ページ対応テーブル７６０を示す。
　ワード線－ページ対応テーブル７６０は、１個のブロックに含まれるワード線の数（＃of　WL）が６４である場合を示す。ワード線－ページ対応テーブル７６０は、ワード線毎のエントリを含む。或るワード線のエントリは、ワード線番号（ＷＬ＃）と、ページ番号（Page＃）とを含む。ワード線番号は、当該ワード線を含むブロック内で当該ワード線を示す番号である。ページ番号は、当該ワード線に含まれる複数のページを示し、当該ブロック内でページを示す番号である。１個のワード線番号に、４個のページ番号が関連付けられている。
　図７は、プレーン－ブロック対応テーブル７７０を示す。
　プレーン－ブロック対応テーブル７７０は、一つのダイ５７１に含まれるプレーン５７２の数（＃of　Plane）が２である場合を示す。プレーン－ブロック対応テーブル７７０は、プレーン毎のエントリを含む。或るプレーンのエントリは、プレーン番号（Plane＃）と、ブロック番号（Block＃）とを含む。プレーン番号は、当該プレーンを含むダイ内で当該プレーンを示す番号である。ブロック番号は、当該プレーンに含まれる複数のブロックを示し、当該ダイ内で当該ブロックを示す番号である。２個のプレーン＃０、＃１のうち、プレーン＃０は、ブロック番号が偶数であるブロックを含み、プレーン＃１は、ブロック番号が奇数であるブロックを含む。これにより、ＦＭ－ＣＴＬ５００は、或るブロックが何れのプレーンに属しているかを判定することができる。
　この図は更に、１個のダイ５７１が４個のプレーン５７２を含み、１個のプレーン５７２が４０９６個のブロックを含む場合の、プレーン－ブロック対応テーブル７７０ｂを示す。或るブロック５８１が属するプレーン５７１のプレーン番号は、ブロック番号をプレーン数の４で除したときの剰余である。
　図８は、ＦＭＰＫ３００の論理ページ及び物理ページの構成を示す。
　ＦＭ－ＣＴＬ５００は、論理アドレス空間９１１を、ストレージコントローラ４００に提供し、論理アドレス空間９１１を所定のページサイズ（例えば８ｋＢ）の論理ページ９１２に分割して管理する。ＦＭ－ＣＴＬ５００は、ブロックを、所定のページサイズ（例えば８ｋＢ）の物理ページ９１３に分割して管理する。ここでは、ＦＭチップ５７０内のページを、論理ページ９１２と区別するために、物理ページ９１３と呼ぶ。ＦＭ－ＣＴＬ５００は、物理ページ９１３を論理ページ９１２に割り当てる。ブロック９１４は、所定数（例えば２５６個）の物理ページ９１３を有する。ＦＭ－ＣＴＬ５００は、ＦＭチップ５７０に対するデータの読み書きを物理ページ９１３単位で行い、ＦＭチップ５７０に対する消去をブロック９１４単位で行う。以後、論理アドレスをＬＢＡ（Logical　Block　Address）と呼び、物理ページを単にページと呼ぶことがある。
　図９は、ページマッピング管理テーブル７２０を示す。
　ページマッピング管理テーブル７２０は、論理ページ毎のエントリを有する。或る論理ページのエントリは、当該論理ページの先頭を示すＬＢＡ７２３と、当該論理ページを示す論理ページ識別子７２１と、当該論理ページに割り当てられている物理ページを示す物理ページ識別子７２２とを有する。当該論理ページに物理ページが割り当てられていない場合、物理ページ識別子７２２は、未割当を示す。物理ページ識別子は例えば、ＦＭＰＫ３００内のチップの位置を示すチップ番号と、当該チップ内のダイの位置を示すダイ番号と、当該ダイ内のブロックの位置を示すブロック番号と、当該ブロック内のワード線の位置を示すワード線番号と、当該ブロック内の当該物理ページの位置を示すページ番号との組み合わせを示す。なお、メモリ５２０が、ＦＭＰＫ３００内で一意の物理ページ識別子と、チップ番号とダイ番号とブロック番号とワード線番号とページ番号との関連付けを示す関連情報を格納し、ＦＭ－ＣＴＬ５００が、関連情報に基づいて、物理ページ識別子から、チップ番号とダイ番号とブロック番号とワード線番号とページ番号とを特定しても良い。
　図１０は、ＦＭＰＫ状態管理テーブル７３０を示す。
　ＦＭＰＫ状態管理テーブル７３０は、ＤＭＡ毎のＤＭＡ管理テーブル８１０を有する。
　或るＤＭＡのＤＭＡ管理テーブル８１０は、当該ＤＭＡを示すＤＭＡ番号（DMA＃）８１１と、当該ＤＭＡのStatus８１２と、当該ＤＭＡに属する全てのチップの内の不良チップ数８１３と、当該ＤＭＡに属する総チップ数８１４と、当該ＤＭＡに属するチップ毎のチップ管理テーブル８２０とを有する。Status８１２は、当該ＤＭＡが使用可能であれば「Good」を示し、そうでなければ「Bad」を示す。
　或るチップのチップ管理テーブル８２０は、当該チップを示すチップ番号（Chip＃）８２１と、当該チップのStatus８２２と、当該チップ内の全てのダイの内の不良ダイ数８２３と、当該チップ内の総ダイ数８２４と、当該チップ内のダイ毎のダイ管理テーブル８３０とを有する。Status８２２は、当該チップが使用可能であれば「Good」を示し、そうでなければ「Bad」を示す。
　或るダイのダイ管理テーブル８３０は、当該ダイを示すダイ番号（Die＃）８３１と、当該ダイのStatus８３２と、当該ダイ内の全てのブロックの内の不良ブロック数８３３と、当該ダイ内で論理ページに割り当て済みのブロックの数である割当ブロック数８３４と、当該ダイ内の総ブロック数８３５と、当該ダイ内のブロック毎のブロック管理テーブル８４０とを有する。Status８３２は、当該ダイが使用可能であれば「Good」を示し、使用不可能であれば「Bad」を示し、当該ダイが後述する診断対象ダイであれば「診断中」を示す。
　或るブロックのブロック管理テーブル８４０は、当該ブロックを示すブロック番号（Block＃）８４１と、当該ブロックのStatus８４２と、当該ブロック内の総ページ数８４３と、当該ブロック内の全てのページの内でデータを格納している（使用中）ページの数であるIn-use８４４と、使用中ページの内の有効ページの数であるValid８４５と、使用中ページの内の無効ページの数であるInvalid８４６とを有する。Status８４２は、当該ブロックが使用可能で且つデータを格納していれば「割り当て済（Allocated）」を示し、当該ブロックが使用可能で且つデータを格納していなければ「未割り当て」を示す。更にStatus８４２は、当該ブロックに障害がある場合に「故障」を示し、当該ブロックの書き換え回数が閾値を超過した場合に「寿命」を示す。
　本実施例では、主にダイ、プレーン、ブロックを単位とする障害を例として説明するが、ＤＭＡ、チップなど、他の物理的な単位での障害の発生を管理してもよい。
　図１１は、障害アドレスリスト７５０を示す。
　ＦＭ－ＣＴＬ５００は、ＦＭＰＫ３００内で障害が発生した物理記憶領域である障害部位を検出し、障害部位に対応する論理アドレス領域（論理アドレス範囲）を示す障害アドレスリスト７５０を生成し、ストレージコントローラ４００へ送信する。障害アドレスリスト７５０は、ＦＭＰＫ３００において、障害が発生した物理記憶領域に対応するＦＭＰＫ論理アドレス空間内の論理アドレス領域である障害領域毎のエントリを有する。或るエントリは、当該障害領域の開始ＬＢＡである障害アドレス７５１と、当該障害領域の長さであるレングス７５２とを有する。
　物理記憶領域に障害が発生すると、その物理記憶領域に格納されたデータが消失する。ＦＭ－ＣＴＬ５００は、消失したデータを復元することができない。このため、ＦＭ－ＣＴＬ５００が、障害が発生した物理記憶領域に対応する論理アドレス領域を特定し、ストレージコントローラ４００に通知することで、ストレージコントローラ４００はＲＡＩＤを用いて他のＦＭＰＫ３００から、消失したデータを復元することができる。ストレージコントローラ４００は、物理記憶領域の障害を認識できないため、ＦＭ－ＣＴＬ５００から論理アドレス領域を取得できない場合は、ＦＭＰＫ３００内の全データを復元する必要がある。ＦＭＰＫ３００の容量が大きいほど、データの復元処理には時間がかかり、その間は冗長性が低下した状態となる。しかし、本実施例のようにＦＭ－ＣＴＬ５００がストレージコントローラ４００に特定の論理アドレス領域を通知することで、適切な範囲のデータを復元することができるため、短時間でデータの復元処理を完了することができ、冗長性が低下する時間を短縮することでストレージシステムの信頼性が向上する。
　以下、ストレージシステム１００の動作について説明する。
　ここでは、或るＦＭＰＫ３００のＦＭ－ＣＴＬ５００によりアンコレクタブルエラーが検出された場合に、ＦＭ－ＣＴＬ５００がストレージコントローラ４００へ障害領域を通知する処理である障害通知処理について説明する。以後、アンコレクタブルエラーをＵＥと呼ぶことがある。ＦＭ　Ｉ／Ｆ５４０は、データに基づいてＥＣＣ（Error　Correction　Code）を生成するＥＣＣ生成回路と、ＥＣＣによりデータ損失を検出するデータ損失検出回路と、ＥＣＣによりデータを訂正するＥＣＣ訂正回路とを含む。ＦＭ　Ｉ／Ｆ５４０は、データをメモリモジュール３１０へ書き込むときに、そのデータにＥＣＣを付加して書き込み、そのデータを読み出したときの誤りをＥＣＣに基づいて訂正する。例えば、一つのページ５８３は、予め定められた数のＥＣＣ　ＣＷ（Code　Word）を格納する。一つのＥＣＣ　ＣＷは、データと、それに基づくＥＣＣとを含む。この場合の誤り訂正能力は、一つのＥＣＣ　ＣＷ内の訂正可能な障害ビット数である訂正可能障害ビット数で表される。ＥＣＣの誤り訂正能力は、ＥＣＣの種類によって異なる。読み出されたＥＣＣ　ＣＷ内の障害ビット数が訂正可能障害ビット数以下である場合、ＦＭ　Ｉ／Ｆ５４０は、ＥＣＣ　ＣＷ内の障害ビットを訂正する（コレクタブルエラー）。読み出されたＥＣＣ　ＣＷ内の障害ビット数が訂正可能障害ビット数を超える場合、即ち、読み出されたエラーが誤り訂正能力を超える場合、ＦＭ　Ｉ／Ｆ５４０は、ＵＥが発生したと判定する。
　図１２は、障害通知処理の第一処理を示す。図１３は、障害通知処理の第一処理の後の第二処理を示す。
　Ｓ１１０においてストレージコントローラ４００は、ホスト２００からのコマンド等に応じて、リード要求をＦＭＰＫ３００へ送信する。その後、Ｓ１２０においてＦＭ－ＣＴＬ５００は、ページマッピング管理テーブル７２０、リード要求により指定された指定ＬＢＡに対応する物理ページからデータをリードする。ここでは、ＦＭ－ＣＴＬ５００がリードによりＵＥを検出したとする。その後、Ｓ１４０においてＦＭ－ＣＴＬ５００は、ＵＥを示す通常ＵＥ応答を、ストレージコントローラ４００へ送信する。その後、Ｓ１５０においてストレージコントローラ４００は、通常ＵＥ応答を受信し、ＵＥを認識する。ここでストレージコントローラ４００は、所定の時間内に当該ＦＭＰＫ３００から受信した通常ＵＥ応答の数をカウントする。ストレージコントローラ４００は、通常ＵＥ応答の数が所定のＵＥ数閾値を超えた場合、当該ＦＭＰＫ３００を切り離し、当該ＦＭＰＫ３００の代わりに予め用意されたスペアＦＭＰＫ３００を用いてＲＧを再構築する。
　その後、Ｓ１６０においてＦＭ－ＣＴＬ５００は、ＵＥが発生した物理ページをＵＥページとして特定し、ＵＥページを含むダイ５７１を、診断部位として選択し、診断部位を診断するダイ診断処理を開始する。ここでＦＭ－ＣＴＬ５００は、ＦＭＰＫ状態管理テーブル７３０において診断部位のダイのStatus８３２を「診断中」に変更する。
　なお、ＦＭ－ＣＴＬ５００は、リクラメーション等の内部処理中にＵＥを検出した場合にも、ダイ診断処理を開始する。また、ストレージコントローラ４００がＦＭＰＫ３００の診断のために、定期的に所定の規則でページを選択し、そのページを指定するリード要求をＦＭＰＫ３００へ送信しても良い。
　ダイ診断処理中のＳ２１０において、ストレージコントローラ４００が、リード要求を送信したとする。Ｓ２２０においてＦＭ－ＣＴＬ５００は、リード要求を受信し、リード要求により指定された指定ＬＢＡに対応する物理ページからデータをリードする。もし、ＦＭ－ＣＴＬ５００が正常にリードを完了した場合、正常応答をストレージコントローラ４００へ送信する。ここでは、ＦＭ－ＣＴＬ５００がリードによりＵＥを検出したとする。その後、Ｓ２３０においてＦＭ－ＣＴＬ５００は、当該物理ページが診断部位に含まれるか否かを判定する。ここでＦＭ－ＣＴＬ５００は、ＦＭＰＫ状態管理テーブル７３０において、当該物理ページを含むダイのStatus８３２が「診断中」であることを示す場合、当該物理ページが診断部位に含まれると判定する。例えば、ストレージコントローラ４００が前述のＵＥの認識に応じてリトライによるリード要求を送信した場合、当該物理ページが診断部位に含まれることになる。
　Ｓ２３０の結果、当該物理ページが診断部位に含まれると判定された場合（Ｙｅｓ）、Ｓ２４０においてＦＭ－ＣＴＬ５００は、ＵＥをカウントしないことをストレージコントローラ４００に要求する特殊ＵＥ応答を、ストレージコントローラ４００へ送信する。その後、Ｓ２５０においてストレージコントローラは、特殊ＵＥ応答を受信し、ＵＥを認識するが、このＵＥをカウントしない。
　Ｓ２３０の結果、当該物理ページが診断部位に含まれないと判定された場合（Ｎｏ）、Ｓ３４０においてＦＭ－ＣＴＬ５００は、ＵＥを示す通常ＵＥ応答を、ストレージコントローラ４００へ送信する。その後、Ｓ３５０においてストレージコントローラ４００は、通常ＵＥ応答を受信し、ＵＥを認識し、当該ＦＭＰＫ３００のＵＥをカウントする。その後、Ｓ３６０においてＦＭ－ＣＴＬ５００は、新たなＵＥページ及び新たな診断部位を決定し、新たな診断部位に対するダイ診断処理を開始する。ダイ診断処理においてＦＭ－ＣＴＬ５００は、障害部位を検出し、障害部位に対応するＬＢＡを示す障害アドレスリスト７５０を生成する。
　Ｓ１６０で開始されたダイ診断処理が完了した後、Ｓ４１０においてストレージコントローラ４００がリード又はライトの要求を当該ＦＭＰＫ３００へ送信したとする。その後、Ｓ４２０においてＦＭ－ＣＴＬ５００は、このＩ／Ｏ要求を受信し、このＩ／Ｏ要求に応じた処理を行う。その後、Ｓ４３０においてＦＭ－ＣＴＬ５００は、この処理の結果と、ダイ診断処理の結果とを示す応答を、ストレージコントローラ４００へ送信する。なお、ＦＭ－ＣＴＬ５００は、Ｉ／Ｏ要求以外に、診断コマンド等、ストレージコントローラ４００からの他のコマンドに応じてダイ診断処理の結果をストレージコントローラ４００へ送信しても良い。
　その後、Ｓ４４０においてストレージコントローラ４００は、この応答を受信し、診断結果があることを認識し、障害アドレスリスト７５０を要求する障害アドレスリスト要求をＦＭ－ＣＴＬ５００へ送信する。その後、ＦＭ－ＣＴＬ５００がこの障害アドレスリスト要求を受信すると、Ｓ４５０においてＦＭ－ＣＴＬ５００は、ダイ診断処理により検出された障害部位に対応する障害領域のＬＢＡを示す障害アドレスリスト７５０をストレージコントローラ４００へ送信する。その後、ＦＭ－ＣＴＬ５００は、送信された障害アドレスリスト７５０を削除する。
　その後、Ｓ４６０において、ストレージコントローラ４００は、障害アドレスリスト７５０を受信し、障害アドレスリスト７５０に基づいて消失したデータを格納する障害領域（ＬＢＡの範囲）を認識し、当該ＦＭＰＫ３００を含むＲＧを用いたコレクションにより消失したデータを復元し、復元されたデータを当該障害領域へ書き戻すライト要求と復元されたデータとをＦＭ－ＣＴＬ５００へ送信する。その後、Ｓ４７０においてＦＭ－ＣＴＬ５００は、このライト要求と復元されたデータとを受信し、復元されたデータを、指定されたＬＢＡへ書き込み、そのライト要求に対する応答をストレージコントローラ４００へ送信する。ここでＦＭ－ＣＴＬ５００は、指定されたＬＢＡに正常な物理ページを割り当て、復元されたデータをその物理ページへ書き込む。
　ストレージコントローラ４００は、障害アドレスリスト７５０に示された全てのデータの復元及び書き戻しが完了するまで、Ｓ４６０及びＳ４７０を繰り返す。
　以上の障害通知処理によれば、ＦＭＰＫ３００は、ＵＥの検出に応じて、ＵＥが発生したダイを診断することができる。また、ストレージコントローラ４００は、ＦＭ－ＣＴＬ５００から障害アドレスリスト７５０を受信することにより、ＵＥにより消失したデータを、ＲＧを用いて回復し、回復されたデータをＦＭＰＫ３００へ書き戻すことができる。
　また、ストレージコントローラ４００がリトライ等によりＦＭＰＫ３００に対し診断部位へのリード要求を発行しても、当該ＦＭＰＫが特殊ＵＥ応答をストレージコントローラ４００へ返すことにより、ストレージコントローラ４００による当該ＦＭＰＫのＵＥ数のカウントを防ぐ。これにより、ストレージコントローラ４００がダイ診断処理中のＵＥにより当該ＦＭＰＫを切り離すことを防ぐことができ、当該ＦＭＰＫの使用を継続することができる。また、ストレージコントローラ４００は、当該ＦＭＰＫがダイ診断処理中であっても、当該ＦＭＰＫ内の診断部位以外へアクセスすることができる。
　また、ＳＣＳＩのようにストレージコントローラ４００からの要求に応じてＦＭＰＫ３００が応答するプロトコルを用いる場合、ＦＭＰＫ３００は、他の要求にダイ診断処理の結果を追加することにより、ダイ診断処理の結果をストレージコントローラ４００へ通知することができる。なお、ストレージコントローラ４００及びＦＭＰＫ３００が、ＦＩＣＯＮ（Fiber　Connection）のようにＦＭＰＫ３００からストレージコントローラ４００へ通知を送ることができるプロトコルを用いる場合、ＦＭＰＫ３００は、ストレージコントローラ４００からの要求を待たずにダイ診断処理の結果をストレージコントローラ４００へ通知しても良い。
　図１４は、ダイ診断処理を示す。
　前述のＳ１６０、Ｓ３６０により、ＦＭ－ＣＴＬ５００は、ダイ診断処理を開始する。
　Ｓ５２０においてＦＭ－ＣＴＬ５００は、ＵＥページを含むブロックをＵＥブロックとして特定し、ＵＥブロック内の全ページに格納されているデータをリードする。その後、Ｓ５３０においてＦＭ－ＣＴＬ５００は、このリードにより、ＵＥが発生したが否かを判定する。
　Ｓ５３０の結果、ＵＥが発生していないと判定された場合（Ｎｏ）、Ｓ５６０においてＦＭ－ＣＴＬ５００は、ＵＥブロックを不良ブロックとして登録し、このフローを終了する。ここでＦＭ－ＣＴＬ５００は、ＦＭＰＫ状態管理テーブル７３０において、ＵＥブロックに対応するブロック管理テーブル８４０内のStatus８４２を「故障」に変更し、そのブロックを含むダイに対応するダイ管理テーブル８３０内の不良ブロック数８３３に１を加える。
　Ｓ５３０の結果、ＵＥが発生したと判定された場合（Ｙｅｓ）、Ｓ５５０においてＦＭ－ＣＴＬ５００は、ＵＥブロック内でＵＥが発生したページを不良ページとして特定し、不良ページがワード線条件を満たすか否かを判定する。ここで、ワード線条件は、不良ページが、互いに隣接する２個のワード線の範囲だけに分布していることである。この場合、ＦＭ－ＣＴＬ５００は、ＵＥの原因を前述のパーティクルと推定し、障害部位を特定することができる。なお、ワード線条件は、不良ページが、連続する３個のワード線の範囲だけに分布していることであっても良い。
　Ｓ５５０の結果、不良ページがワード線条件を満たすと判定された場合（Ｙｅｓ）、Ｓ５６０においてＦＭ－ＣＴＬ５００は、ＵＥブロックを不良ブロックとしてＦＭＰＫ状態管理テーブル７３０へ登録し、ページマッピング管理テーブル７２０に基づいてその不良ブロックに対応する障害領域を特定し、その障害領域を障害アドレスリスト７５０へ登録し、このフローを終了する。
　Ｓ５５０の結果、不良ページがワード線条件を満たさないと判定された場合（Ｎｏ）、Ｓ６１０においてＦＭ－ＣＴＬ５００は、ＵＥブロックを含むプレーンを診断プレーンとして特定し、診断プレーンを診断するプレーン診断処理を行う。その後、Ｓ６２０においてＦＭ－ＣＴＬ５００は、このプレーン診断処理により診断プレーンが不良と判定されたか否かを判定する。
　Ｓ６２０の結果、診断プレーンが不良と判定されなかった場合（Ｎｏ）、Ｓ６３０においてＦＭ－ＣＴＬ５００は、ＵＥブロックと、このプレーン診断処理により検出された追加ＵＥブロックとを、不良ブロックとしてＦＭＰＫ状態管理テーブル７３０へ登録し、その不良ブロックに対応する障害領域を特定し、その障害領域を障害アドレスリスト７５０へ登録し、このフローを終了する。
　Ｓ６２０の結果、診断プレーンが不良と判定された場合（Ｙｅｓ）、Ｓ６４０においてＦＭ－ＣＴＬ５００は、診断プレーンを含むダイを対象ダイと特定し、対象ダイ内の別のプレーンを追加診断プレーンとして特定し、追加診断プレーンを診断するプレーン診断処理を行う。その後、Ｓ６５０においてＦＭ－ＣＴＬ５００は、このプレーン診断処理により追加診断プレーンが不良と判定されたか否かを判定する。
　Ｓ６５０の結果、追加診断プレーンが不良と判定されなかった場合（Ｎｏ）、Ｓ６６０においてＦＭ－ＣＴＬ５００は、診断プレーン内の全ブロックと、このプレーン診断処理により検出された追加ＵＥブロックとを、不良ブロックとしてＦＭＰＫ状態管理テーブル７３０へ登録し、その不良ブロックに対応する障害領域を特定し、その障害領域を障害アドレスリスト７５０へ登録し、このフローを終了する。
　Ｓ６５０の結果、追加診断プレーンが不良と判定された場合（Ｙｅｓ）、Ｓ６７０においてＦＭ－ＣＴＬ５００は、対象ダイを切り離し（閉塞し）、このフローを終了する。
　なお、対象ダイが３個以上のプレーンを含む場合、Ｓ６４０においてＦＭ－ＣＴＬ５００は、診断プレーンに接続された回路を共有するプレーンを追加診断プレーンとして選択しても良い。また、ＦＭ－ＣＴＬ５００は、対象ダイ内の３個以上のプレーンのうち、２個のプレーンが不良と判定された場合に、対象ダイを不良と判定しても良い。
　以上のダイ診断処理によれば、ＦＭ－ＣＴＬ５００は、対象ダイ内のメモリセルの構造に基づいて、パーティクルを原因とする障害を短時間で推定し、最小限のブロックを障害部位として特定することができる。ＵＥブロックに格納されているデータのリードにより発生したＵＥの位置が、互いに隣接する２個のワード線の範囲より広く分布している場合のみ、ＦＭ－ＣＴＬ５００は、プレーン診断処理を行うことにより、ダイ診断処理の負荷を低減することができる。また、ＵＥブロックに格納されているデータのリードによりＵＥが発生しない、又は発生したＵＥの位置が、互いに隣接する２個のワード線の範囲内だけに分布している場合、ＦＭ－ＣＴＬ５００は、ＵＥブロックを障害部位として特定することができる。また、プレーンが不良であると判定された場合のみ、ＦＭ－ＣＴＬ５００は、そのプレーンを含むダイ内の他のプレーンが不良であるかを判定することにより、短時間でダイを診断することができる。
　図１５は、プレーン診断処理を示す。
　前述のＳ６１０及びＳ６４０において、ＦＭ－ＣＴＬ５００は、プレーン診断処理を行う。ここでは、プレーン診断処理の対象として指定された診断プレーン又は追加診断プレーンを対象プレーンと呼ぶ。
　Ｓ７１０においてＦＭ－ＣＴＬ５００は、対象プレーン内で未だ対象ブロックとして選択されていないブロックの中に、選択条件を満たすブロックがあるか否かを判定する。ここで選択条件を満たすブロックは、最後のページまでデータが書き込まれているブロックである。例えば、ＦＭ－ＣＴＬ５００は、或るブロックへデータを書き込むとき、先頭のページからページ番号の昇順にデータを書き込む。ＦＭＰＫ状態管理テーブル７３０の中の、当該ブロックに対応するブロック管理テーブル８４０において、In-use８４３が総ページ数８４３に等しい場合、ＦＭ－ＣＴＬ５００は、当該ブロックの最後のページまでデータが書き込まれていると判定する。また、選択条件を満たすブロックは、オープンブロックでない。「オープンブロック」とは、途中の物理ページまでデータが書き込まれている物理ブロック（少なくとも先頭ページにデータがライトされているが空きページが未だ残っている物理ブロック）である。例えば、１つの物理ブロックがＮ個の物理ページ（Ｎは２以上の整数）で構成されていて、Ｘページ目までデータがライトされているとする（Ｘは２以上の整数且つＮより小さい）。この場合、所定数Ｙを用いると、（Ｘ－Ｙ）ページ目～Ｘページ目（最後にデータがライトされたページから前にＹページ程度）の特性が悪くなる（エラー発生率が高くなる）傾向がある（Ｙは１以上の整数）。全ページにライト済みならこのような特性劣化は発生しない。そして、オープンブロックによる特性劣化は、ダイ全体の特性に依存するものではない。オープンブロックでないブロックを対象ブロックとして選択することにより、プレーン診断処理においてオープンブロックによるエラーの影響を除くことができる。また、１ページも書き込まれていないブロックは、リードできないブロックであり、選択条件を満たさない。
　Ｓ７１０の結果、選択条件を満たすブロックがないと判定された場合（Ｎｏ）、Ｓ７９０においてＦＭ－ＣＴＬ５００は、対象プレーンが不良でないと判定し、このフローを終了する。
　Ｓ７１０の結果、選択条件を満たすブロックがあると判定された場合（Ｙｅｓ）、Ｓ７３０においてＦＭ－ＣＴＬ５００は、選択条件を満たすブロックを対象ブロックとして選択し、対象ブロック内の全ページに格納されているデータをリードする。ここで、複数のブロックが選択条件を満たすと判定された場合、ＦＭ－ＣＴＬ５００は、それら複数のブロックの中からランダムに１個のブロックを対象ブロックとして選択する。その後、Ｓ７４０においてＦＭ－ＣＴＬ５００は、このリードによりＵＥが発生したか否かを判定する。
　Ｓ７４０の結果、ＵＥが発生していないと判定された場合（Ｎｏ）、Ｓ７９０においてＦＭ－ＣＴＬ５００は、対象プレーンが不良でないと判定し、このフローを終了する。
　Ｓ７４０の結果、ＵＥが発生したと判定された場合（Ｙｅｓ）、Ｓ７５０においてＦＭ－ＣＴＬ５００は、対象ブロックを追加ＵＥブロックとして認識する。その後、Ｓ７６０においてＦＭ－ＣＴＬ５００は、追加ＵＥブロックの数が所定の診断ブロック数に達したか否かを判定する。診断ブロック数は例えば、５である。なお、診断ブロック数は、他の数でも良く、２以上Ｍ未満の整数Ｌで表すことができる。対象プレーン内の追加ＵＥブロック数が大きい程、対象プレーンが不良である確率が高くなる。その確率が十分高くなる追加ＵＥブロック数が、診断ブロック数として予め決定される。
　Ｓ７６０の結果、追加ＵＥブロックの数が診断ブロック数に達していないと判定された場合（Ｎｏ）、ＦＭ－ＣＴＬ５００は、処理をＳ７１０へ移行させる。
　Ｓ７６０の結果、追加ＵＥブロックの数が診断ブロック数に達したと判定された場合（Ｙｅｓ）、Ｓ７７０においてＦＭ－ＣＴＬ５００は、対象プレーンが不良であると判定し、このフローを終了する。
　対象プレーンが不良である場合は例えば、対象プレーンに接続されているロウデコーダ５７３やセンスアンプ５７４の故障により、対象プレーンを制御することができなくなった場合である。対象ダイが不良である場合は例えば、対象ダイ内の２個のプレーン５７２に接続された周辺回路５７５の故障により、対象ダイを制御することができなくなった場合である。
　以上のプレーン診断処理によれば、ＦＭ－ＣＴＬ５００は、対象プレーン内で選択条件を満たすブロックを選択し、そのブロックに格納されているデータをリードし、ＵＥが発生したブロックの数が診断ブロック数に達した場合に、対象プレーンを不良と判定することにより、プレーン５７２内の全てのページに格納されているデータをリードすることなく、プレーン５７２の不良を検出することができる。これにより、プレーン５７２内の全てのページに格納されているデータをリードすることに比べ、診断の時間を抑え、ＦＭ－ＣＴＬ５００の負荷を抑え、ＦＭＰＫ３００の性能低下を防ぐことができる。また、対象プレーンからブロックを選択し、診断ブロック数のブロックでＵＥを検出した場合に、対象プレーンを不良と判定することにより、対象プレーンの診断の精度を保つことができる。
　ダイ診断処理において不良ブロックが特定された場合、ＦＭ－ＣＴＬ５００は、ＦＭＰＫ状態管理テーブル７３０内の当該ブロックのブロック管理テーブル８４０のStatus８４２を「Bad」に変更し、当該ブロックを含むダイのダイ管理テーブル８３０の不良ブロック数８３３を増加させる。ダイ診断処理において不良ダイが特定された場合、ＦＭ－ＣＴＬ５００は、ＦＭＰＫ状態管理テーブル７３０内の当該ダイのダイ管理テーブル８３０のStatus８３２を「Bad」に変更し、当該ダイを含むＦＭチップのチップ管理テーブル８２０の不良ダイ数８２３を増加させる。
　ダイ診断処理の後、ＦＭ－ＣＴＬ５００は、不良ブロックと登録されたブロック内の物理ページを、論理ページに割り当てない。これにより、不良ブロックの増加に応じてＦＭＰＫ３００の更新領域が減少するものの、ＦＭＰＫ３００は、全体が閉塞することなく、継続して動作することができる。
　もし、ＦＭ－ＣＴＬ５００が、ＵＥが発生したプレーンやダイに格納されているデータの全体をリードして診断する場合、診断中に、ストレージコントローラ４００からのＩ／Ｏ要求により障害部位を使用することや、診断の負荷により他の部位へのＩ／Ｏ性能が低下することが考えられる。本実施例によれば、ＦＭ－ＣＴＬ５００は、或るダイでＵＥを検出した場合に、そのダイ内の全てのページに格納されているデータをリードすることなく、ダイ内の障害部位を特定することができる。また、ＦＭ－ＣＴＬ５００は、ＵＥを検出した場合に、ブロック、プレーン、ダイの単位で障害部位を特定し、その障害部位だけを切り離すことができる。また、ＦＭ－ＣＴＬ５００は、ダイ５７１内の、ロウデコーダ５７３、センスアンプ５７４、及び周辺回路５７５等の回路の故障を直接検出する機能を持たなくても、ダイ診断処理により、それらの回路の故障を原因とする障害部位を特定することができる。
　なお、ＦＭ－ＣＴＬ５００は、ライト（プログラム）要求に対するステータスエラー等のエラーや、消去時のエラーに応じて、ダイ診断処理を行っても良い。ストレージコントローラ４００は、ステータスエラー等の応答により、障害を検出するが、ホスト２００によりリトライでライトすることができるため、ライトデータを消失しない。また、ブロックの消去時にエラーが発生した場合も、有効なデータを消失することはない。一方、リード時のＵＥは、前述したように、データを消失するが、障害通知処理によりそのデータを回復することができる。
　本実施例のストレージシステム１００の構成は、実施例１のストレージシステム１００の構成と同様である。以下、主に実施例１との相違点について説明する。本実施例のストレージシステム１００は、ＦＭＰＫ３００内の障害の発生に応じてＦＭＰＫ３００の容量を変更する。
　フラッシュメモリにおいては、更新領域の容量が大きいほど、リクラメーションの頻度が小さくなり、性能が維持される。ただし、更新領域の容量が大きいと、ユーザデータを格納する領域（ユーザ領域）の容量は小さくなる。つまり、ユーザ領域の容量と更新領域の容量の比率によって、ストレージコントローラ４００がＦＭＰＫ３００に格納可能なデータ容量と性能の関係が決まることになる。以下の説明及び図面において、ユーザ領域の容量をユーザ容量と呼び、更新領域の容量を更新容量と呼び、ユーザ容量と更新容量の合計を物理容量と呼ぶことがある。本実施例において、障害の発生に伴いユーザ容量及び更新容量は変化する。本実施例では、ユーザ容量と更新容量の比率を一定に保って、容量を変化させる。これにより、容量を削減した場合であっても、性能を維持することができる。
　以下、ストレージシステム１００における記憶領域の関連付けについて説明する。
　図１６は、ストレージシステム１００におけるＲＧ及びＬＵ（Logical　Unit）の構成を示す。
　ストレージコントローラ４００は、複数のＰＤＥＶを用いてＲＧを構築する。この図の例において、ストレージコントローラ４００は、ＰＤＥＶ＃０～＃１５の中から、ＰＤＥＶ＃０～＃３を用いて、ＲＧ＃０を構築し、ＰＤＥＶ＃８～＃１５を用いて、ＲＧ＃１を構築する。各ＲＧは、複数のストライプを有する。各ストライプは、複数のＰＤＥＶに跨り、複数のデータと複数のデータから生成されるパリティを含む。例えばＲＡＩＤ５の場合、複数のＰＤＥＶにおけるデータとパリティの配置はストライプ毎に異なる。３Ｄ＋１ＰのＲＡＩＤ５の構成であれば、１つのストライプには３つのデータと３つのデータから生成されるパリティとが含まれる。ストレージコントローラ４００が、パリティの生成を行う。更にストレージコントローラ４００は、ＲＧ内の記憶領域をＬＵに割り当てる。この図の例において、ストレージコントローラ４００は、ＲＧ＃０をＬＵ＃０、＃１に割り当て、ＲＧ＃１をＬＵ＃２に割り当てる。
　図１７は、ストレージシステム１００におけるＬＵ及びＶＶＯＬ（Virtual　Volume：仮想ボリューム）の構成を示す。
　ストレージコントローラ４００は、ＬＵを所定のサイズの論理記憶領域である実ページに分割して管理する。ストレージコントローラ４００は、実ページをプールに登録して管理する。ストレージコントローラ４００は、ホスト計算機２００に対してＶＶＯＬを提供する。ストレージコントローラ４００は、ＶＶＯＬ内の仮想的なアドレス空間を所定のサイズの仮想記憶領域である仮想ページに分割して管理する。ストレージコントローラ４００は、Thin　Provisioning機能により、ホスト計算機２００からの書き込み要求に応じて、書き込み要求で指定されたＶＶＯＬ内のアドレスの範囲が含まれる仮想ページへ、プールから実ページを割り当てる。ストレージコントローラ４００は、実ページの仮想ページへの割り当てを解除すると、その実ページをプールへ戻す。この図の例において、ストレージコントローラ４００は、ＬＵ＃０～＃２内の実ページをプール＃０、＃１に登録する。更にストレージコントローラ４００は、プール＃０、＃１内の実ページをＶＶＯＬ＃０、＃１内の仮想ページに割り当てる。
　以下、ストレージシステム１００により管理される情報について説明する。
　図１８は、ストレージコントローラ４００のメモリ４２０に格納される情報を示す。
　メモリ４２０は、ストレージ制御プログラム６１０と、ＲＧ管理テーブル６２０と、ＬＵ管理テーブル６３０と、ＰＤＥＶ管理テーブル６４０と、仮想ページマッピング管理テーブル６５０と、実ページ状態管理テーブル６６０とを格納する。
　ストレージ制御プログラム６１０は、ストレージシステム１００の制御をＣＰＵ４１０に実行させるためのプログラムである。
　図１９は、ＲＧ管理テーブル６２０を示す。
　ＲＧ管理テーブル６２０は、ＲＧ毎のエントリを有する。或るＲＧのエントリは、当該ＲＧを示すＲＧ番号（ＲＧ＃）６２１と、当該ＲＧに属するＰＤＥＶを示すＰＤＥＶ番号（ＰＤＥＶ＃）６２２と、当該ＲＧのＲＡＩＤレベル６２３と、当該ＲＧに属するＰＤＥＶの種別であるＰＤＥＶ種別６２４と、当該ＲＧに属するＰＤＥＶのユーザ容量の最小値であるＰＤＥＶ最小容量６２５とを有する。
　図２０は、ＬＵ管理テーブル６３０を示す。
　ＬＵ管理テーブル６３０は、ＬＵ毎のエントリを有する。或るＬＵのエントリは、当該ＬＵを示すＬＵ番号（ＬＵ＃）６３１と、当該ＬＵに割り当てられているＲＧを示すＲＧ番号（ＲＧ＃）６３２と、当該ＬＵのストライプサイズ６３３と、当該ＲＧ内の論理アドレス空間で当該ＬＵの開始アドレスであるＬＵ開始アドレス６３４と、当該ＬＵのサイズであるＬＵサイズ６３５とを有する。
　図２１は、仮想ページマッピング管理テーブル６５０を示す。
　仮想ページマッピング管理テーブル６５０は、仮想ページ毎のエントリを有する。或る仮想ページのエントリは、当該仮想ページが属するＶＶＯＬを示すＶＶＯＬ番号（ＶＶＯＬ＃）６５１と、当該仮想ページを示す仮想ページＩＤ６５２と、当該仮想ページに割り当てられている実ページを示す実ページＩＤ６５３とを有する。当該仮想ページに実ページが割り当てられていない場合、実ページＩＤ６５３は「未割り当て」であることを示す。仮想ページＩＤ６５２は、ストレージシステム１００内でユニークな識別子である。実ページＩＤ６５３は、ストレージシステム１００内でユニークな識別子である。
　図２２は、実ページ状態管理テーブル６６０を示す。
　実ページ状態管理テーブル６６０は、実ページ毎のエントリを有する。或る実ページのエントリは、当該実ページが属するプールを示すプール番号（ＰＯＯＬ＃）６６１と、当該実ページを示す実ページＩＤ６６２と、当該実ページの状態６６３とを有する。状態６６３は、仮想ページに割り当てられている（使用中）か否かを示す。
　図２３は、ＰＤＥＶ管理テーブル６４０を示す。
　ＰＤＥＶ管理テーブル６４０は、ＰＤＥＶ毎のエントリを有する。或るＰＤＥＶのエントリは、当該ＰＤＥＶを示すＰＤＥＶ番号（ＰＤＥＶ＃）６４１と、当該ＰＤＥＶの現在のユーザ容量である現在ユーザ容量６４２と、当該ＰＤＥＶの初期のユーザ容量である初期ユーザ容量６４３と、当該ＰＤＥＶの論理アドレス空間（ＦＭＰＫ論理アドレス空間）におけるユーザ領域の開始アドレス６４４と、当該ＰＤＥＶの論理アドレス空間におけるユーザ領域の終端アドレス６４５とを有する。ＦＭＰＫ論理アドレス空間は例えば、ＬＢＡ（Logical　Block　Address）で表される。
　図２４は、実施例２のＦＭ－ＣＴＬ５００のメモリ５２０に格納される情報を示す。
　実施例１のメモリ５２０に格納される情報と比較すると、本実施例のメモリ５２０は更に、ユーザ容量比率７４１と、物理容量７４２と、現在ユーザ容量７４３と、初期ユーザ容量７４４と、ユーザ容量下限７４５とを格納する。ユーザ容量比率７４１と、物理容量７４２と、初期ユーザ容量７４４と、ユーザ容量下限７４５とは予め定められ、メモリ５２０に格納される。現在ユーザ容量７４３は、動作開始時には初期ユーザ容量７４４と等しいが、ＦＭＰＫ３００内の記憶領域に障害が発生すると減少する。ユーザ容量比率７４１は、障害の無い記憶領域（ユーザ領域及び更新領域）の全容量に対する現在ユーザ容量７４３の比率である。本実施例において、ユーザ容量比率７４１は、一定である。
　以下、ストレージシステム１００の動作について説明する。
　図２５は、現在ユーザ容量取得処理を示す。
　ストレージコントローラ４００は、対象ＦＭＰＫの現在ユーザ容量を取得する現在ユーザ容量取得処理を実行する。ストレージコントローラ４００は、ＦＭＰＫ３００をストレージシステム１００へインストールする場合に、そのＦＭＰＫ３００を対象ＦＭＰＫとして現在ユーザ容量を取得する。ストレージコントローラ４００は、定期的に現在ユーザ容量更新処理を行ってもよい。
　ストレージコントローラ４００は、対象ＦＭＰＫへ容量問い合わせコマンドを送信することにより、対象ＦＭＰＫから現在ユーザ容量を受信し（Ｓ４１１０）、受信された現在ユーザ容量によりＰＤＥＶ管理テーブル６４０において対象ＦＭＰＫの現在ユーザ容量６４２を更新し（Ｓ４１２０）、この処理を終了する。
　ＦＭ－ＣＴＬ５００は、ストレージコントローラ４００から容量問い合わせコマンドを受信すると（Ｓ４２１０）、メモリ５２０内の現在ユーザ容量７４３をストレージコントローラ４００へ送信し（Ｓ４２２０）、この処理を終了する。以上が現在ユーザ容量取得処理である。
　現在ユーザ容量取得処理によれば、ストレージコントローラ４００は、ＦＭＰＫ３００の現在ユーザ容量を取得することができる。
　図２６は、ＲＧ作成処理を示す。
　ストレージコントローラ４００は、複数のＦＭＰＫ３００を用いて新たなＲＧを作成する場合に、複数のＦＭＰＫ３００の夫々についてＲＧに用いる容量を決定し、ＲＧを作成するＲＧ作成処理を実行する。
　ストレージコントローラ４００は、ＰＤＥＶ管理テーブル６４０から、ＲＧに属するＦＭＰＫ３００の現在ユーザ容量６４２の最小値を検出して、当該ＲＧのＰＤＥＶ最小容量とする（Ｓ４３１０）。その後、ストレージコントローラ４００は、当該ＲＧに属する全てのＦＭＰＫ３００の夫々の内でＰＤＥＶ最小容量分の論理アドレス領域を用いて当該ＲＧを作成し、そのＰＤＥＶ最小容量を、ＲＧ管理テーブル６２０内の当該ＲＧのＰＤＥＶ最小容量６２５へ入力し（Ｓ４３２０）、この処理を終了する。以上がＲＧ作成処理である。ストレージコントローラ４００は、ＲＧに属する複数のＰＤＥＶに対して、データをストライピングして格納する。ストライピングしてデータを格納するためには、ＲＧ内の各ＰＤＥＶに同じサイズの空き容量が必要となる。つまり、あるＰＤＥＶに空き容量がなければ、ＲＧ内の他のＰＤＥＶに空き容量があってもデータを格納することはできない。よって、あるＰＤＥＶのユーザ容量が削減されると、ＲＧ内の他のＰＤＥＶに空き容量があっても、ＲＧとしてはデータを格納できない。このため、ストレージコントローラ４００は、ＰＤＥＶ最小容量にあわせて、ＲＧを作成する。
　ＲＧ作成処理によれば、ＲＧに属するＦＭＰＫ３００の現在ユーザ容量に合わせて、適切な容量のＲＧを作成することができる。
　ストレージコントローラ４００は、ＦＭＰＫ３００へのリード要求時に、実施例１の障害通知処理により、障害部位を検出しても良いし、定期監視処理により障害部位を検出しても良い。
　図２７は、定期監視処理を示す。
　ストレージコントローラ４００は、定期的に、ＦＭＰＫ３００の一つを対象ＦＭＰＫとして選択し、対象ＰＤＥＶの状態を取得する定期監視処理を実行する。ストレージコントローラ４００は、定期的に、全ＰＤＥＶのそれぞれに対して、定期監視処理を実行する。
　ストレージコントローラ４００は、実施例１の障害アドレスリスト要求と同様のＰＤＥＶ監視コマンドを対象ＦＭＰＫへ発行する（Ｓ２１１０）。ＰＤＥＶ監視コマンドを受信したＦＭ－ＣＴＬ５００は、ＰＤＥＶ監視コマンドの応答として障害アドレスリスト７５０をストレージコントローラ４００へ送信する。その後、ストレージコントローラ４００は、対象ＦＭＰＫから障害アドレスリスト７５０を受信する（Ｓ２１２０）。その後、ストレージコントローラ４００は、障害アドレスリスト７５０に基づいて障害を検出したか否かを判定する（Ｓ２１３０）。障害を検出していないと判定された場合（Ｓ２１３０：Ｎｏ）、ストレージコントローラ４００は、この処理を終了する。障害を検出したと判定された場合（Ｓ２１３０：Ｙｅｓ）、ストレージコントローラ４００は、対象ＦＭＰＫを障害ＦＭＰＫと認識し、障害ＦＭＰＫで失われたデータを回復するデータ回復処理を実行し（Ｓ２１４０）、障害ＦＭＰＫが属するＲＧを障害ＲＧと認識し、障害ＲＧに属するＦＭＰＫ３００のユーザ容量を削減する容量縮退処理を実行し（Ｓ２１５０）、この処理を終了する。データ回復処理及び容量縮退処理については後述する。以上が定期監視処理である。
　なお、ＦＭ－ＣＴＬ５００は、障害が発生し、ダイ診断処理により障害アドレスリスト７５０が作成された場合、実施例１と同様、Ｒｅａｄコマンド及びＷｒｉｔｅコマンドの応答としてＵＡ（Unit　Attention）をストレージコントローラ４００へ送信することにより、障害が発生していることをストレージコントローラ４００に知らせても良い。この場合、ストレージコントローラ４００は、ＰＤＥＶ監視コマンドにより障害アドレスリスト７５０を取得しても良い。また、ストレージコントローラ４００とＦＭ－ＣＴＬ５００に予め定められたルールに従って、ＦＭ－ＣＴＬ５００が障害領域をストレージコントローラ４００へ通知しても良い。例えば、ＦＭ－ＣＴＬ５００は、予め定められたサイズである報告サイズ（例えば２５６ｋＢ）の論理アドレス領域毎に障害を検出し、障害が検出された論理アドレス領域の開始アドレス（ＬＢＡ）だけをストレージコントローラ４００へ送信する。開始アドレスを受信したストレージコントローラ４００は、開始アドレスにより特定される報告サイズの論理アドレス領域のデータを回復する。
　図２８は、データ回復処理を示す。
　前述のＳ２１４０において、ストレージコントローラ４００はデータ回復処理を実行する。
　ストレージコントローラ４００は、障害ＦＭＰＫから取得された障害アドレスリスト７５０の先頭から順に、一つのエントリを選択し、選択されたエントリから障害領域を認識する（Ｓ２５１０）。その後、ストレージコントローラ４００は、ＲＧ管理テーブル６２０に基づいて、障害ＲＧに属する障害ＦＭＰＫ以外のＦＭＰＫ３００を特定し、ＬＵ管理テーブル６３０に基づいて、障害領域に対応するストライプを特定し、特定されたストライプの特定されたＦＭＰＫ３００のデータ又はパリティを読み出しＲＡＩＤ計算を実行することにより、障害領域で失われたデータ（障害データ）を再生成し、再生成されたデータを障害ＦＭＰＫの障害領域へ書き込む（Ｓ２５２０）。この処理に対して障害ＦＭＰＫのＦＭ－ＣＴＬ５００は、障害領域に正常な物理記憶領域を割り当て、ストレージコントローラ４００からのデータをその物理記憶領域へ書き込む。その後、ストレージコントローラ４００は、取得された障害アドレスリスト７５０の全てのエントリの選択が終了したか否かを判定する（Ｓ２５３０）。全てのエントリの選択が終了したと判定された場合（Ｓ２５３０：Ｙｅｓ）、ストレージコントローラ４００は、処理を終了する。そうでない場合、ストレージコントローラ４００は、処理をＳ２５１０へ移行させる。以上がデータ回復処理である。
　データ回復処理によれば、障害ＦＭＰＫの中の障害が発生した部分に格納されていたデータを回復させることができる。ＦＭ－ＣＴＬ５００は、障害の発生した論理アドレス領域を特定してストレージコントローラ４００に通知することで、ストレージコントローラ４００は特定されたアドレス範囲に関するデータの回復を行うことができる。これにより、アドレス範囲が特定されない場合は、障害ＦＭＰＫ内の全論理アドレス領域のデータを回復する必要があるため、本データ回復処理ではデータ回復の時間を短縮できる。
　図２９は、容量縮退処理を示す。
　前述のＳ２１５０において、ストレージコントローラ４００は容量縮退処理を実行する。
　ストレージコントローラ４００は、障害ＲＧで削減される論理アドレス領域内のデータを移動させるデータ移動処理を実行し（Ｓ２６２０）、障害ＲＧに属するＦＭＰＫ３００の容量を変更するＦＭＰＫ容量変更処理を実行し（Ｓ２６３０）、この処理を終了する。データ移動処理及びＦＭＰＫ容量変更処理については後述する。以上が容量縮退処理である。
　図３０は、データ移動処理を示す。
　前述のＳ２６２０において、ストレージコントローラ４００はデータ移動処理を実行する。
　ストレージコントローラ４００は、障害ＦＭＰＫから削減される論理アドレス領域である削減領域を決定する（Ｓ２７１０）。ここでストレージコントローラ４００は、削減領域のサイズである削減サイズと、削減領域の開始アドレス（ＬＢＡ）とを決定する。削減領域は、例えば、ＰＤＥＶ管理テーブル６４０における各ＦＭＰＫ３００の終端アドレス６４５から前の削減サイズ分のアドレス範囲である。つまり、容量を削減するとは、ストレージコントローラ４００が使用可能なＦＭＰＫ３００の論理アドレス領域を制限することである。例えば、ストレージコントローラ４００は、正常領域容量の問い合わせを障害ＦＭＰＫへ送信する。正常領域容量の問い合わせを受信したＦＭ－ＣＴＬ５００は、現在の不良部分を除いた物理記憶領域の容量（物理容量７４２）に、ユーザ容量比率を乗じた値を正常領域容量として算出し、正常領域容量をストレージコントローラ４００へ送信する。不良部分は例えば、Bad　Block（不良ブロック）である。なお、本実施例におけるＦＭＰＫ３００は、ダイ内の全ての割り当て済みブロックがBad　Blockである場合にそのダイを閉塞し、ダイ内の割り当て済みブロックの一部がBad　Blockであってもそのダイを閉塞しない。従って、ＦＭＰＫ３００において、全てのBad　Blockの容量は、閉塞された部分の容量と異なる場合がある。そこで、不良部分は閉塞された部分であっても良い。正常領域容量を受信したストレージコントローラ４００は、障害ＦＭＰＫの現在ユーザ容量６４２から正常領域容量を減じた値を削減サイズとして算出する。
　その後、ストレージコントローラ４００は、ＲＧ管理テーブル６２０とＬＵ管理テーブル６３０とＰＤＥＶ管理テーブル６４０とに基づいて、障害ＦＭＰＫを含むＲＧ内で削減領域に対応するストライプの論理アドレス領域であるＲＧ削減範囲を特定し、ＲＧ削減範囲内の全ての実ページの一覧を生成する（Ｓ２７２０）。ＲＧ削減範囲のサイズは、ＲＧ管理テーブル６２０における障害ＲＧのＲＡＩＤレベル６２３によって異なる。例えば、障害ＲＧのＲＡＩＤレベル６２３が０、５、又は６である場合、ＲＧ削減範囲のサイズは、削減サイズにデータディスク数（障害ＲＧに属する全ディスク数からパリティディスク数を除いた値）を乗じた値になる。また、障害ＲＧのＲＡＩＤレベル６２３が１である場合、ＲＧ削減範囲のサイズは、削減サイズになる。
　ストレージコントローラ４００は、ＲＧの記憶領域を実ページ単位で管理しているため、実ページ単位でＲＧのサイズを削減する。ここで、ストレージコントローラ４００は、単にＦＭＰＫ３００から通知された障害領域のサイズを削減サイズとするのではなく、実ページの情報に基づいて削減サイズを決定する。障害領域のサイズが実ページ単位で端数を含んでいれば、ストレージコントローラ４００は、障害領域のサイズを実ページの整数倍に切り上げた削減サイズを算出する。ストレージコントローラ４００は、実ページの情報を管理しているが、ＦＭＰＫ３００は、実ページの情報を管理していない。従って、ストレージコントローラ４００は、後述するＦＭＰＫ容量変更処理により、削減サイズをＦＭＰＫ３００へ通知する必要がある。
　その後、ストレージコントローラ４００は、ＲＧ削減範囲内の実ページの一覧から先頭の実ページを選択する（Ｓ２７３０）。その後、ストレージコントローラ４００は、実ページ状態管理テーブル６６０に基づいて、当該実ページが使用中である（仮想ページに割り当てられている）か否かを判定する（Ｓ２７４０）。使用中でないと判定された場合（Ｓ２７４０：Ｎｏ）、ストレージコントローラ４００は、処理をＳ２７６０へ移行させる。実ページが仮想ページに割り当てられていなければ、データをコピーする必要がないためである。使用中であると判定された場合（Ｓ２７４０：Ｙｅｓ）、ストレージコントローラ４００は、Thin　Provisioning機能により、当該実ページを張替え元実ページとして別の実ページに張り替える実ページ張替え処理を実行する（Ｓ２７５０）。実ページ張替え処理については後述する。その後、ストレージコントローラ４００は、実ページの一覧の全ての実ページの選択を終了したか否かを判定する（Ｓ２７６０）。ＲＧ削減範囲内の全ての実ページの選択を終了していない場合（Ｓ２７６０：Ｎｏ）、ストレージコントローラ４００は、実ページの一覧から次の実ページを選択し（Ｓ２７７０）、処理をＳ２７４０へ移行させる。ＲＧ削減範囲内の全ての実ページの選択を終了した場合（Ｓ２７６０：Ｙｅｓ）、ストレージコントローラ４００は、この処理を終了する。以上がデータ移動処理である。
　図３１は、実ページ張替え処理を示す。
　前述のＳ２７５０において、ストレージコントローラ４００は、実ページ張替え処理を実行する。
　ストレージコントローラ４００は、選択された実ページを張替え元実ページとして決定する（Ｓ２８１０）。その後、ストレージコントローラ４００は、実ページ状態管理テーブル６６０に基づいて、未使用の実ページを含むプールから張替え先実ページを選択する（Ｓ２８２０）。ここでストレージコントローラ４００は、プール内の実ページの中で障害ＲＧ以外の実ページを選択しても良い。その後、ストレージコントローラ４００は、張替え元実ページのデータを張替え先実ページへコピーする（Ｓ２８３０）。
　その後、ストレージコントローラ４００は、張替え元実ページを割り当てられていた仮想ページに、張替え先実ページを割り当てる（Ｓ２８４０）。ここでストレージコントローラ４００は、仮想ページマッピング管理テーブル６５０において、張替え元実ページＩＤを張替え先実ページＩＤに変更し、実ページ状態管理テーブル６６０において、張替え元実ページの状態６６３を未使用に変更し、張替え先実ページの状態６６３を使用中に変更する。
　その後、ストレージコントローラ４００は、対象ＦＭＰＫ内で張替え元実ページに割り当てられている論理ページが未使用であることを通知するＰＤＥＶ領域解放コマンドを対象ＦＭＰＫへ発行し（Ｓ２８５０）、この処理を終了する。言い換えれば、このＰＤＥＶ領域解放コマンドは、対象ＦＭＰＫが当該論理ページのデータを破棄しても良いことを通知する。以上が実ページ張替え処理である。
　図３２は、実ページ張替え処理を模式的に示す。
　この図の実ページ張替え処理において、実ページ＃１００が張替え元実ページとして選択されており、張替え元実ページは、仮想ページ＃００２に割り当てられている。その後、プール＃０から実ページ＃００１が張替え先実ページとして選択され、張替え先実ページが仮想ページ＃００２に割り当てられる。
　実ページ張替え処理によれば、障害ＲＧ内で削減される実ページを割り当てられている仮想ページへ、プールから実ページを割り当てることができる。これにより、障害ＲＧ内で削減される全ての実ページを未使用の状態に変更することができ、障害ＲＧの容量を削減することができる。
　データ移動処理によれば、現在ユーザ容量と、障害ＦＭＰＫにおける障害が発生した物理記憶領域の容量とに基づいて、削減領域を決定することができる。また、障害ＦＭＰＫの削減領域に対応する実ページに格納されているデータを移動させると共に、その実ページを割り当てられていた仮想ページに、移動先の実ページを割り当てる。これにより、ホスト計算機２００からその仮想ページに含まれるアドレスへのアクセスを維持することができる。
　図３３は、ＦＭＰＫ容量変更処理を示す。
　前述のＳ２６３０において、ストレージコントローラ４００は、障害ＲＧに属する全てのＦＭＰＫ３００の夫々を対象ＦＭＰＫとしてＦＭＰＫ容量変更処理を実行する。
　ストレージコントローラ４００は、削減サイズを指定する容量変更コマンドを、対象ＦＭＰＫへ送信し（Ｓ２９１０）、その応答を受信する（Ｓ２９２０）。その後、ストレージコントローラ４００は、ＰＤＥＶ管理テーブル６４０において対象ＦＭＰＫのエントリを更新する（Ｓ２９３０）。ここでストレージコントローラ４００は、対象ＦＭＰＫの現在ユーザ容量６４２において、格納されている値から削減サイズを減じた値へ変更する。更にストレージコントローラ４００は、終端アドレス６４５において、格納されている値から削減サイズを減じた値へ変更する。
　その後、ストレージコントローラ４００は、ＲＧ管理テーブル６２０及びＬＵ管理テーブル６３０を更新し（Ｓ２９４０）、この処理を終了する。ここでストレージコントローラ４００は、更新した現在ユーザ容量６４２に基づいて、ＲＧ管理テーブル６２０のＰＤＥＶ最小容量６２５と、ＬＵ管理テーブル６３０のＬＵサイズ６３５とを更新する。これにより、ページ張替え処理でプールに戻された張替え元実ページは、プールから削除される。
　ＦＭ－ＣＴＬ５００は、ストレージコントローラ４００から容量変更コマンドを受信すると（Ｓ３０１０）、メモリ５２０内の現在ユーザ容量７４３から、容量変更コマンドに指定された削減サイズを減じた値を削減後ユーザ容量として算出し、削減後ユーザ容量が、メモリ５２０内のユーザ容量下限７４５より大きいか否かを判定する（Ｓ３０２０）。削減後ユーザ容量がユーザ容量下限７４５より大きいと判定された場合（Ｓ３０２０：Ｙｅｓ）、ＦＭ－ＣＴＬ５００は、現在ユーザ容量７４３の値を削減後ユーザ容量に変更し、容量変更コマンドに対して成功を示す応答をストレージコントローラ４００へ送信し（Ｓ３０３０）、この処理を終了する。そうでない場合（Ｓ３０２０：Ｎｏ）、ＦＭ－ＣＴＬ５００は、容量変更コマンドに対して失敗を示す応答をストレージコントローラ４００へ送信し（Ｓ３０３０）、この処理を終了する。ストレージコントローラ４００は、ＦＭＰＫ３００から失敗を示す応答を受信した場合、そのＦＭＰＫ３００の全体を閉塞する。つまり、ＦＭＰＫ容量変更処理によりＦＭＰＫ３００のユーザ容量がユーザ容量下限７４５以下になった場合、そのＦＭＰＫ３００は閉塞する。以上がＦＭＰＫ容量変更処理である。
　一般に、ホスト計算機２００は、アクセス先のボリュームの容量を変更する場合、業務を停止して、ボリュームを再認識する必要がある。本実施例では、ＦＭＰＫの容量が削減された場合は、プールの容量を減少させる。より具体的には、プールに含まれる実ページの数を減少させる。仮想ボリュームにはプールから記憶領域が割当てられるが、仮想ボリュームの容量が変更されることはない。これにより、ホスト計算機２００は、ＦＭＰＫ内部の部分的な障害による容量削減を認識する必要がなく、仮想ボリュームへのアクセスを継続することができる。
　以後の説明及び図面において、障害ＲＧに属する障害ＦＭＰＫ以外のＦＭＰＫ３００を関連ＦＭＰＫと呼ぶことがあり、障害ＲＧにおいて障害ＦＭＰＫの削減領域のストライプに対応する関連ＦＭＰＫの論理アドレス領域を関連領域と呼ぶことがある。ＦＭＰＫ容量変更処理によれば、障害ＦＭＰＫの削減領域を削減するだけでなく、関連ＦＭＰＫの関連領域を削減することができる。
　ＦＭＰＫ容量変更処理によれば、ストレージコントローラ４００により削減された現在ユーザ領域を、ＦＭＰＫ３００に反映することができる。
　図３４は、容量縮退処理を模式的に示す。
　この図は、容量縮退処理前の障害ＲＧにおける実ページの配置と、容量縮退処理後のＲＧにおける実ページの配置とを示す。容量縮退処理により、障害ＲＧに属するＦＭＰＫ３００において、削減されたユーザ容量より後のアドレス範囲の実ページに格納されているデータは別の実ページに移動する。これにより、障害ＲＧに属する全てのＦＭＰＫ３００において、先頭から現在ユーザ容量までのアドレス範囲が障害ＲＧに割り当てられる。また、障害ＲＧに属する全てのＦＭＰＫ３００において、現在ユーザ容量より後のアドレス範囲は、障害ＲＧに用いられない未使用領域（Free　Area）となる。
　容量縮退処理によれば、ストレージコントローラ４００は、障害ＦＭＰＫの削減領域に対応する実ページに格納されているデータを移動し、その実ページを割り当てられている仮想ページへ、プール内の実ページを割り当てることにより、障害ＦＭＰＫの現在ユーザ容量を削減することができる。また、削減領域及び関連領域を削減することにより、障害ＲＧに属するＦＭＰＫ３００の現在ユーザ容量を合わせ、障害ＲＧの容量を削減することができる。また、ＦＭ－ＣＴＬ５００は、ストレージコントローラ４００からの指示に従って、現在ユーザ容量を削減することができる。
　本実施例によれば、ストレージコントローラ４００は、ＦＭＰＫ３００に障害が発生した場合に、障害部分に応じてＦＭＰＫ３００の容量を削減することにより、そのＦＭＰＫ３００全体の閉塞を防ぎ、そのＦＭＰＫ３００の使用を継続することができる。また、ＦＭＰＫ３００内のＤＭＡ、チップ、ダイ又はプレーンの単位で、障害が発生した部分を閉塞することができる。また、ストレージコントローラ４００は、ＲＧに属する複数のＦＭＰＫ３００の一つに障害が発生した場合に、そのＲＧの容量を削減することにより、そのＲＧの使用を継続することができる。
　なお、以上の説明では「ａａａテーブル」、「ａａａリスト」等の表現にて本発明の情報を説明するが、これら情報は、それ以外のデータ構造であるＤＢ、キュー等で表現されていてもよい。そのため、データ構造に依存しないことを示すために「ａａａテーブル」、「ａａａリスト」、「ａａａＤＢ」、「ａａａキュー」等について「ａａａ情報」と呼ぶことがある。
　更に、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ＩＤ」という表現を用いるが、これらについてはお互いに置換が可能である。
　以上の説明では「プログラム」を主語として説明を行う場合があるが、プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポートを用いながら行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は管理計算機や情報処理装置が行う処理としてもよい。また、プログラムの一部または全ては専用ハードウェアによって実現されてもよい。
　また、各種プログラムはプログラム配布サーバや、計算機が読み取り可能な記憶メディアによって各計算機にインストールされてもよい。
　以上の実施例における不揮発性半導体メモリは、ＦＭ（Flash　Memory）である。以上の実施例におけるＦＭは、ブロック単位で消去が行われ、ページ単位でリード及びライトが行われる種類のＦＭ、典型的にはＮＡＮＤ型のフラッシュメモリである。しかし、ＦＭは、ＮＡＮＤ型に代えて他種のフラッシュメモリ（例えばＮＯＲ型）でも良い。また、ＦＭに代えて、他種の不揮発性半導体メモリ、例えば、磁気抵抗メモリであるＭＲＡＭ（Magnetoresistive　random　access　memory）や、抵抗変化型メモリであるＲｅＲＡＭ（Resistance　random　access　memory）、強誘電体メモリであるＦｅＲＡＭ（Ferroelectric　random　access　memory）等の半導体メモリや、相変化メモリが使用されても良い。
　記憶デバイスとして、ＦＭＰＫ３００等が用いられても良い。不揮発性半導体メモリとして、ＦＭチップ５７０等が用いられても良い。上位装置として、ストレージコントローラ４００又はホスト計算機２００等が用いられても良い。デバイスコントローラとして、ＦＭ－ＣＴＬ５００等が用いられても良い。記憶回路として、ＦＭチップ５７０内のプレーン５７２又はダイ５７１等が用いられても良い。制御回路として、ダイ５７１内のロウデコーダ５７３、センスアンプ５７４、周辺回路５７５等が用いられても良い。ブロックとして、ブロック５８１等が用いられても良い。ページとして、ページ５８３等が用いられても良い。Ｉ／Ｏとして、リード又はライト等が用いられても良い。診断処理として、ダイ診断処理又はプレーン診断処理等が用いられても良い。特定記憶回路の中の一部のブロックとして、Ｓ５２０のＵＥブロック又はＳ７２０の対象ブロック等が用いられても良い。論理アドレスとして、ＬＢＡ等が用いられてもよい。物理アドレスとして、物理ページ識別子等が用いられても良い。障害情報として、障害アドレスリスト７５０等が用いられても良い。特定ブロックとして、ＵＥブロック等が用いられても良い。分布条件として、Ｓ５４０のＮｏが成立すること等が用いられても良い。半導体基板として、ＦＭチップ５７０内のダイ５７１等が用いられ、記憶回路として、ダイ５７１内のプレーン５７２等が用いられ、特定記憶回路として、診断プレーン等が用いられ、追加記憶回路として、追加診断プレーン等が用いられても良い。ページ行として、ワード線５８２に接続されたページ行等が用いられても良い。リード要求に基づくＵＥをカウントしないことを要求する応答として、特殊ＵＥ応答等が用いられても良い。ストレージ装置として、ストレージシステム１００等が用いられても良い。ストレージコントローラとして、ストレージコントローラ４００等が用いられても良い。論理記憶領域の容量として、ユーザ容量等が用いられても良い。
　本発明は、以上の実施例に限定されるものでなく、その趣旨から逸脱しない範囲で、他の様々な形に変更することができる。
　１００…ストレージシステム　２００…ホスト計算機　３００…ＦＭＰＫ　３１０…メモリモジュール　４００…ストレージコントローラ　４１０…ＣＰＵ　４２０…メモリ　５００…ＦＭ－ＣＴＬ　５１０…ＣＰＵ　５２０…メモリ　５４１…ＤＭＡコントローラ　５７０…ＦＭチップ　５７１…ダイ　５７２…プレーン　５８１…ブロック　５８２…ワード線　５８３…ページ
 

Claims (14)

  1. 　複数の不揮発性半導体メモリと、
    　前記複数の不揮発性半導体メモリに接続され、前記複数の不揮発性半導体メモリへのアクセスの指示を発行する上位装置に接続されるデバイスコントローラと、
    を備え、
    　前記複数の不揮発性半導体メモリの夫々は、複数の記憶回路と、複数の制御回路とを含み、　前記複数の記憶回路は、夫々前記複数の制御回路を介して前記デバイスコントローラに接続され、
    　前記複数の記憶回路の夫々は、複数のブロックを含み、
    　前記ブロックは、データの消去単位であり、
    　前記複数のブロックの夫々は、複数のページを含み、
    　前記ページは、データのリード／ライト単位であり、
    　前記デバイスコントローラが、前記複数の不揮発性半導体メモリの中の特定ページに格納されているデータをリードすることにより、前記特定ページに格納されているデータのアンコレクタブルエラー（ＵＥ）を検出した場合、前記デバイスコントローラは診断処理として、前記特定ページを含む記憶回路である特定記憶回路を特定し、前記特定記憶回路の中の一部のブロックに格納されているデータをリードし、前記一部のブロックに格納されているデータのリードの結果に基づいて、前記特定記憶回路内の障害部位を特定する、
    記憶デバイス。
  2. 　前記デバイスコントローラは、論理アドレスを指定するＩ／Ｏ要求を前記上位装置から受け付け、前記論理アドレスを、前記複数の不揮発性半導体メモリの中の位置を示す物理アドレスに変換し、前記Ｉ／Ｏ要求に基づいて前記物理アドレスに対するＩ／Ｏを行い、
    　前記デバイスコントローラは、前記障害部位に対応する論理アドレスを示す障害情報を、前記上位装置へ通知する、
    請求項１に記載の記憶デバイス。
  3. 　前記デバイスコントローラは、前記特定ページを含むブロックである特定ブロックを特定し、前記特定ブロックに格納されているデータをリードし、前記特定ブロックに格納されているデータのリードの結果が所定の分布条件を満たすか否かを判定し、前記特定ブロックに格納されているデータのリードの結果が前記分布条件を満たさないと判定された場合、前記特定ブロックが前記障害部位であると判定する、
    請求項２に記載の記憶デバイス。
  4. 　前記特定ブロックに格納されているデータのリードの結果が前記分布条件を満たすと判定された場合、前記デバイスコントローラは、前記特定記憶回路の中の一部のブロックを選択ブロックとして選択し、前記選択ブロックに格納されているデータをリードし、前記選択ブロックに格納されているデータのリードの結果に基づいて、前記特定記憶回路が前記障害部位であるか否かを判定する、
    請求項３に記載の記憶デバイス。
  5. 　Ｌ個の選択ブロックの夫々が所定の選択条件を満たし、且つ前記Ｌ個の選択ブロックの夫々に格納されているデータのリードによりＵＥが検出された場合、前記デバイスコントローラは、前記特定記憶回路が前記障害部位であると判定し、
    　Ｌは、２以上であり、且つ前記複数のブロックの数より小さい、
    請求項４に記載の記憶デバイス。
  6. 　前記選択条件を満たすブロックは、全体に亘ってデータを書き込まれているブロックである、
    請求項５に記載の記憶デバイス。
  7. 　前記複数の不揮発性半導体メモリの夫々は、複数の半導体基板を含み、
    　前記複数の半導体基板の夫々は、前記複数の記憶回路と、前記複数の制御回路とを含み、
    　前記デバイスコントローラは、前記診断処理において、前記特定記憶回路を含む半導体基板を特定半導体基板として特定し、前記特定記憶回路が前記障害部位であると判定された場合、前記特定半導体基板の中の他の記憶回路を追加記憶回路として選択し、前記追加記憶回路の中の一部のブロックを追加ブロックとして選択し、前記追加ブロックに格納されているデータをリードし、前記追加ブロックに格納されているデータのリードの結果に基づいて、前記追加記憶回路が前記障害部位であるか否かを判定することにより、前記特定半導体基板内の障害部位を特定する、
    請求項６に記載の記憶デバイス。
  8. 　前記デバイスコントローラは、前記診断処理中に前記上位装置からのリード要求に応じたリードによりＵＥを検出し、且つ前記リード要求により指定された論理アドレスが前記特定半導体基板内の物理アドレスに対応する場合、前記リード要求に基づくＵＥをカウントしないことを要求する応答を、前記上位装置へ通知する、
    請求項７に記載の記憶デバイス。
  9. 　前記複数のブロックの夫々は、２次元配列の列方向に並べられた複数のページ行を含み、　前記複数のページ行の夫々は、行方向に接続された複数のページを含み、
    　前記複数のページの夫々は、行方向に接続された複数のメモリセルを含み、
    　前記メモリセルは、データを格納する回路であり、
    　前記デバイスコントローラは、前記特定ブロックに格納されているデータのリードによるＵＥの位置が、互いに隣接する２個のページ行より広い範囲に分布している場合、前記特定ブロックに格納されているデータのリードの結果が前記分布条件を満たすと判定する、
    請求項３に記載の記憶デバイス。
  10. 　前記デバイスコントローラは、前記障害部位の特定の後、前記上位装置から要求を受け付けた場合、前記要求に対する応答と前記障害部位の特定の結果とを前記上位装置へ通知する、
    請求項２に記載の記憶デバイス。
  11. 　複数の記憶デバイスと、
    　前記複数の記憶デバイスに接続されるストレージコントローラと、
    を備え、
    　前記複数の記憶デバイスは、
    　　複数の不揮発性半導体メモリと、
    　　前記複数の不揮発性半導体メモリ及び前記ストレージコントローラに接続されるデバイスコントローラと、
    を含み、
    　前記複数の不揮発性半導体メモリの夫々は、複数の記憶回路と、複数の制御回路とを含み、
    　前記複数の記憶回路は、夫々前記複数の制御回路を介して前記デバイスコントローラに接続され、
    　前記複数の記憶回路の夫々は、複数のブロックを含み、
    　前記ブロックは、データの消去単位であり、
    　前記複数のブロックの夫々は、複数のページを含み、
    　前記ページは、データのリード／ライト単位であり、
    　前記デバイスコントローラは、前記複数の不揮発性半導体メモリの中の特定ページに格納されているデータをリードすることにより、前記特定ページに格納されているデータのアンコレクタブルエラー（ＵＥ）を検出した場合、前記特定ページを含む記憶回路である特定記憶回路を特定し、前記特定記憶回路の中の一部のブロックに格納されているデータをリードし、前記一部のブロックに格納されているデータのリードの結果に基づいて、前記特定記憶回路内の障害部位を特定する、
    ストレージ装置。
  12. 　前記デバイスコントローラは、論理アドレスを指定するＩ／Ｏ要求を前記ストレージコントローラから受け付け、前記論理アドレスを、前記複数の不揮発性半導体メモリの中の位置を示す物理アドレスに変換し、前記Ｉ／Ｏ要求に基づいて前記物理アドレスに対するＩ／Ｏを行い、
    　前記デバイスコントローラは、前記障害部位に対応する論理アドレスを示す障害情報を、前記ストレージコントローラへ通知する、
    請求項１１に記載のストレージ装置。
  13. 　前記ストレージコントローラは、前記複数の記憶デバイスを含むＲＡＩＤグループを構築し、
    　前記ストレージコントローラは、前記記憶デバイスから前記障害情報を受け付けた場合、前記ＲＡＩＤグループに基づいて前記障害部位に格納されたデータを復元する、
    請求項１２に記載のストレージ装置。
  14. 　前記ストレージコントローラは、前記記憶デバイスから前記障害情報を受け付けた場合、前記障害情報に基づいて前記記憶デバイスの論理記憶領域の容量を削減する、
    請求項１３に記載のストレージ装置。
     
PCT/JP2014/072428 2014-08-27 2014-08-27 記憶デバイスおよびストレージ装置 WO2016030992A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/425,556 US10204003B2 (en) 2014-08-27 2014-08-27 Memory device and storage apparatus
PCT/JP2014/072428 WO2016030992A1 (ja) 2014-08-27 2014-08-27 記憶デバイスおよびストレージ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/072428 WO2016030992A1 (ja) 2014-08-27 2014-08-27 記憶デバイスおよびストレージ装置

Publications (1)

Publication Number Publication Date
WO2016030992A1 true WO2016030992A1 (ja) 2016-03-03

Family

ID=55398932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/072428 WO2016030992A1 (ja) 2014-08-27 2014-08-27 記憶デバイスおよびストレージ装置

Country Status (2)

Country Link
US (1) US10204003B2 (ja)
WO (1) WO2016030992A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205483B2 (en) * 2016-04-11 2021-12-21 SK Hynix Inc. Memory system having dies and operating method of the memory system outputting a command in response to a status of a selected die
US11023605B1 (en) * 2017-04-20 2021-06-01 EMC IP Holding Company LLC Data access threat detection and prevention
US10901866B2 (en) * 2017-08-01 2021-01-26 Seagate Technology, Llc Failure detection and data recovery in a storage system
TWI657336B (zh) * 2017-08-28 2019-04-21 慧榮科技股份有限公司 用以檢測資料儲存裝置之資料儲存方法及其資料儲存裝置
KR102480464B1 (ko) * 2017-12-20 2022-12-23 에스케이하이닉스 주식회사 메모리 컨트롤러, 메모리 컨트롤러를 포함하는 메모리 시스템, 및 메모리 컨트롤러의 동작 방법
KR20190074691A (ko) * 2017-12-20 2019-06-28 에스케이하이닉스 주식회사 반도체 장치 및 이를 포함하는 반도체 시스템
KR20210030599A (ko) * 2019-09-10 2021-03-18 에스케이하이닉스 주식회사 데이터를 분산 리드할 수 있는 메모리 시스템 및 메모리 시스템의 동작방법
US11188432B2 (en) * 2020-02-28 2021-11-30 Pure Storage, Inc. Data resiliency by partially deallocating data blocks of a storage device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58130500A (ja) * 1982-01-29 1983-08-03 Fujitsu Ltd 予防診断方式
JP2004272476A (ja) * 2003-03-06 2004-09-30 Tdk Corp メモリコントローラ及びメモリコントローラを備えるフラッシュメモリシステム、並びに、フラッシュメモリの制御方法
JP2013037631A (ja) * 2011-08-10 2013-02-21 Nec Computertechno Ltd 診断装置、診断方法および診断プログラム診断方法
WO2013046463A1 (ja) * 2011-09-30 2013-04-04 株式会社日立製作所 不揮発半導体記憶システム
WO2013094041A1 (ja) * 2011-12-21 2013-06-27 株式会社日立製作所 計算機システム、及び管理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110050404A (ko) * 2008-05-16 2011-05-13 퓨전-아이오, 인크. 결함 있는 데이터 저장소를 검출하고 교체하는 장치, 시스템 및 프로그램 제품
US8041991B2 (en) 2008-11-18 2011-10-18 Lsi Corporation System and method for recovering solid state drive data
US8281227B2 (en) * 2009-05-18 2012-10-02 Fusion-10, Inc. Apparatus, system, and method to increase data integrity in a redundant storage system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58130500A (ja) * 1982-01-29 1983-08-03 Fujitsu Ltd 予防診断方式
JP2004272476A (ja) * 2003-03-06 2004-09-30 Tdk Corp メモリコントローラ及びメモリコントローラを備えるフラッシュメモリシステム、並びに、フラッシュメモリの制御方法
JP2013037631A (ja) * 2011-08-10 2013-02-21 Nec Computertechno Ltd 診断装置、診断方法および診断プログラム診断方法
WO2013046463A1 (ja) * 2011-09-30 2013-04-04 株式会社日立製作所 不揮発半導体記憶システム
WO2013094041A1 (ja) * 2011-12-21 2013-06-27 株式会社日立製作所 計算機システム、及び管理システム

Also Published As

Publication number Publication date
US20160259675A1 (en) 2016-09-08
US10204003B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
US11726688B2 (en) Storage system managing metadata, host system controlling storage system, and storage system operating method
US10372558B2 (en) Storage device, an operating method of the storage device and an operating method of a computing system including the storage device and a host device
WO2016030992A1 (ja) 記憶デバイスおよびストレージ装置
US10459639B2 (en) Storage unit and storage system that suppress performance degradation of the storage unit
US10445200B2 (en) Storage device having various recovery methods and recovery modes
US9946616B2 (en) Storage apparatus
US8069301B2 (en) Apparatus, storage system, and computer program product for prevention of data loss
US8516343B2 (en) Apparatus, system, and method for retiring storage regions
US8489806B2 (en) Storage apparatus and method of managing data storage area
JP6055544B2 (ja) ストレージ装置およびストレージ装置制御方法
US10002042B2 (en) Systems and methods of detecting errors during read operations and skipping word line portions
US8239714B2 (en) Apparatus, system, and method for bad block remapping
JP4901968B2 (ja) 半導体記憶装置
US9891989B2 (en) Storage apparatus, storage system, and storage apparatus control method for updating stored data stored in nonvolatile memory
US10120769B2 (en) Raid rebuild algorithm with low I/O impact
JPWO2009130848A1 (ja) ストレージシステム及びストレージシステムの制御方法
US20180275894A1 (en) Storage system
US8370688B2 (en) Identifying a storage device as faulty for a first storage volume without identifying the storage device as faulty for a second storage volume
WO2014045329A1 (en) Storage system and storage control method
WO2018002999A1 (ja) 記憶デバイス及びストレージ装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14425556

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14900488

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14900488

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP