WO2014103489A1 - 特性の異なる複数種類のキャッシュメモリを有する情報処理装置 - Google Patents

特性の異なる複数種類のキャッシュメモリを有する情報処理装置 Download PDF

Info

Publication number
WO2014103489A1
WO2014103489A1 PCT/JP2013/078731 JP2013078731W WO2014103489A1 WO 2014103489 A1 WO2014103489 A1 WO 2014103489A1 JP 2013078731 W JP2013078731 W JP 2013078731W WO 2014103489 A1 WO2014103489 A1 WO 2014103489A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
cache
memory
segment
ram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/078731
Other languages
English (en)
French (fr)
Inventor
定広 杉本
山本　彰
繁雄 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to US14/430,643 priority Critical patent/US20150254186A1/en
Priority to JP2014554203A priority patent/JP6000376B2/ja
Publication of WO2014103489A1 publication Critical patent/WO2014103489A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0895—Caches characterised by their organisation or structure of parts of caches, e.g. directory or tag array
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0813—Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1021—Hit rate improvement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/152—Virtualized environment, e.g. logically partitioned system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/20—Employing a main memory using a specific memory technology
    • G06F2212/205—Hybrid memory, e.g. using both volatile and non-volatile memory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/21—Employing a record carrier using a specific recording technology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/22—Employing cache memory using specific memory technology
    • G06F2212/222—Non-volatile memory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/22—Employing cache memory using specific memory technology
    • G06F2212/225—Hybrid cache memory, e.g. having both volatile and non-volatile portions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/28—Using a specific disk cache architecture
    • G06F2212/283—Plural cache memories
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/31—Providing disk cache in a specific location of a storage system
    • G06F2212/313—In storage device

Definitions

  • the present invention relates to a data cache control technique.
  • a flash memory that is a semiconductor nonvolatile memory
  • the flash memory can easily increase the storage density and can reduce the cost per capacity (bit cost) as compared with a volatile memory (hereinafter referred to as RAM) such as DRAM and SRAM. Further, the flash memory can access data at a higher speed than a magnetic disk or the like. Therefore, it is possible to make an inexpensive large-capacity disk cache by using the flash memory as a disk cache.
  • flash memory has the following limitations. First, updating of each bit of the flash memory is limited to one direction from 1 to 0 (or 0 to 1). When the reverse change is necessary for the bit, it is necessary to erase the data from the block and temporarily set the entire block to 1 (or 0).
  • a plurality of blocks (physical blocks) included in the flash memory are referred to as blocks. Each block is composed of a plurality of pages (physical pages).
  • the upper limit of the number of erases is about 10,000 to 100,000
  • MLC Multiple Level Cell
  • the upper limit of the number of erasures is about several thousand times. For this reason, when the flash memory is used as a disk cache, if the rewriting is performed frequently, the number of times of erasure reaches the upper limit in a relatively short time, and there is a possibility that it cannot be used.
  • the access performance of the flash memory is lower than that of the RAM, if the flash memory is used for the disk cache instead of the RAM, the disk cache may become a bottleneck in system performance.
  • non-volatile semiconductor memories such as phase change memory, magnetoresistive memory, and resistance change memory have also been developed, and these non-volatile semiconductor memories are also easier to increase the storage density than RAM, compared to RAM. There is a possibility that it will be cheap and large capacity memory. However, these non-volatile semiconductor memories are generally slower or have a shorter life than RAM.
  • a technology related to the cache for example, a technology that uses a volatile memory such as a RAM as a temporary storage destination and a nonvolatile memory as an auxiliary device is known, as in the technology disclosed in Patent Document 1, for example.
  • Non-volatile semiconductor memory such as flash memory generally has characteristics that access performance is lower than RAM and access performance is higher than HDD. Therefore, as in Patent Document 1, a method is used in which a flash memory is used as a cache between a RAM cache and a final storage destination (final storage device) of data such as an HDD.
  • a nonvolatile semiconductor memory such as a flash memory has a limitation on the number of times of erasure, and when high-frequency rewriting is performed, the number of times of erasure reaches the upper limit within a relatively short period of time and cannot be used ( That is, it has a short life).
  • the access frequency of the disk cache is higher than the access frequency of the final storage device such as the HDD, so that when the flash memory is used as the disk cache, it cannot be used earlier than when the flash memory is used as the final storage device ( There is a high possibility that it cannot withstand long-term use).
  • the cache method having a hierarchical structure of RAM and flash memory as in Patent Document 1 for example, when read target data is stored in the flash memory, the read target data is once staged in the RAM cache and then the data is stored. Since it is transmitted to the host computer, overhead of staging processing occurs. In view of the recent increase in performance required for storage systems, this processing overhead cannot be ignored, and an I / O processing method with a smaller processing overhead is required.
  • a disk cache using the nonvolatile semiconductor memory may become a bottleneck in system performance.
  • the information processing apparatus of the present invention has a plurality of types of cache memories having different characteristics, determines the type of cache memory to be a data cache destination based on the access characteristics of the data to be cached, and determines the determined type of cache memory Cache data in memory.
  • the information processing apparatus may be, for example, a storage apparatus having a plurality of storage devices and a controller connected to the plurality of storage devices.
  • the controller may include a plurality of types of cache memories described above and a control device connected to the plurality of types of cache memories.
  • Each of the plurality of storage devices may be, for example, a final storage device described later.
  • flash memory and RAM are used as a plurality of types of cache memories having different characteristics. Comparing the characteristics of the flash memory and the RAM, the information processing apparatus is stored in the cache memory because the flash memory has different characteristics such as lower access performance and a limited number of rewrites than the RAM. Data whose data conforms to the characteristics of the RAM is cached in a cache memory using the RAM, and data conforming to the characteristics of the flash memory is cached in a cache memory using the flash memory. Specifically, for example, data that is determined to have high throughput or that is determined to have a high update frequency is controlled not to be written in a cache memory using a flash memory but directly cached in a cache memory using a RAM.
  • a storage medium such as a flash memory having a lower price than a RAM and having a higher access performance than an HDD can be appropriately used as a cache.
  • An information processing apparatus including a cache having a capacity can be provided.
  • FIG. 1 is a conceptual diagram showing an outline of a caching destination selection process according to the present invention.
  • FIG. 2 is a diagram illustrating a first configuration example of the information system according to the first embodiment.
  • FIG. 3 is a diagram illustrating a second configuration example of the information system according to the first embodiment.
  • FIG. 4 is a configuration diagram of the FM board according to the first embodiment.
  • FIG. 5 is a configuration diagram of the RAM of the storage controller according to the first embodiment.
  • FIG. 6 is a configuration diagram of an access monitor table according to the first embodiment.
  • FIG. 7 is a conceptual diagram of a cache management data structure according to the first embodiment.
  • FIG. 8 is a diagram illustrating a partial data structure of the cache management data structure according to the first embodiment.
  • FIG. 9 is a diagram illustrating a data structure of the dirty queue and the clean queue according to the first embodiment.
  • FIG. 10 is a diagram illustrating a data structure of the FM free queue and the RAM free queue according to the first embodiment.
  • FIG. 11 is a flowchart of read command processing according to the first embodiment.
  • FIG. 12 is a flowchart of the staging process according to the first embodiment.
  • FIG. 13 is a flowchart of data transmission processing according to the first embodiment.
  • FIG. 14 is a flowchart of the cache allocation process according to the first embodiment.
  • FIG. 15 is a flowchart of FM priority segment allocation processing according to the first embodiment.
  • FIG. 16 is a flowchart of RAM priority segment allocation processing according to the first embodiment.
  • FIG. 17 is a flowchart of the access monitor totaling process according to the first embodiment.
  • FIG. 18 is a diagram illustrating the determination threshold value calculation method according to the first embodiment.
  • FIG. 19 is a flowchart of write command processing according to the first embodiment.
  • FIG. 20 is a flowchart of data reception processing (RAM) according to the first embodiment.
  • FIG. 21 is a flowchart of data reception processing (FM) according to the first embodiment.
  • FIG. 22 is a flowchart of the FM data reading process according to the first embodiment.
  • FIG. 23 is a flowchart of the FM data writing process according to the first embodiment.
  • FIG. 24 is a configuration diagram of the information system according to the second embodiment.
  • FIG. 25 is a diagram illustrating an overview of data input / output processing according to the second embodiment.
  • FIG. 25 is a diagram illustrating an overview of data input / output processing according to the second embodiment.
  • FIG. 26 is a diagram illustrating the configuration of the information system according to the third embodiment.
  • FIG. 27 is a diagram illustrating an overview of data input / output processing according to the third embodiment.
  • FIG. 28 is a configuration diagram of a job control table according to the fourth embodiment.
  • FIG. 29 is a first flowchart of read command processing according to the fourth embodiment.
  • FIG. 30 is a second flowchart of the read command process according to the fourth embodiment.
  • FIG. 31 is a flowchart of the staging process according to the fourth embodiment.
  • FIG. 32 is a flowchart of data transmission processing according to the fourth embodiment.
  • FIG. 33 is a flowchart of a memory type review process according to the fifth embodiment.
  • FIG. 34 is a conceptual diagram showing the relationship between logical volumes and cache management data according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram showing an outline of a caching destination selection process in a storage system which is an example of an information processing apparatus of the present invention.
  • the storage system is provided with a cache (disk cache) in order to improve its access performance.
  • a cache has a random access memory (hereinafter referred to as “RAM”) such as a DRAM or SRAM, which is a storage medium having a higher access performance than a hard disk or the like as a final storage destination (final storage device) of data.
  • RAM random access memory
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • the disadvantage of RAM is that it is expensive (high bit cost). If many caches using RAM are installed in the storage system, the average performance of the storage system can be improved, but it will be expensive. There's a problem.
  • the storage system includes an FM 321 and a RAM 34 as a cache on the storage controller 30, and stores data stored in the HDD 40 or SSD 41, which is the final storage device, in either the FM 321 or the RAM 34.
  • FM has a lower bit cost than RAM, it can provide a large-capacity cache storage area at a low price.
  • the RAM 34 is selected as the cache destination for data that conforms to the characteristics of the RAM, and the FM 321 is selected as the cache destination for data that conforms to the characteristics of the flash memory.
  • the data access characteristics for example, the access frequency of the cache target data, the access pattern, etc. are used.
  • the storage controller 30 can store the data that is required to have high throughput or that the update frequency is high as flash memory.
  • the RAM 34 is selected as the cache destination without being written in the cache memory using the.
  • the storage system of the present invention is particularly suitable for use in a computer system in which a business application that performs data access to a large amount of data such as online transaction processing (OLTP) or ERP (Enterprise Resource Planning) is executed.
  • OLTP online transaction processing
  • ERP Enterprise Resource Planning
  • program may be used as the subject, but the program is defined by being executed by a control device including a processor (typically a CPU (Central Processing Unit)). Since the processing is performed using the memory and the I / F (interface), the description may be made with the processor or the control device as the subject.
  • the control device may be a processor, or may include a processor and a hardware circuit.
  • the processing disclosed with the program as the subject may be processing performed by the host computer or the storage system. Further, part or all of the program may be realized by dedicated hardware.
  • Various programs may be installed in each computer by a program distribution server or a computer-readable storage medium. As the storage medium, for example, an IC card, an SD card, a DVD, or the like may be used.
  • FIG. 2 is a diagram illustrating a first configuration example of the information system according to the first embodiment.
  • the information system includes a host computer 10 and a storage system 20 (an example of an information processing apparatus) connected to the host computer directly or via a network.
  • the storage system 20 includes a storage controller 30 and an HDD (Hard Disk Drive) 40 and / or an SSD (Solid State Drive) 41 connected to the storage controller 30.
  • the HDD 40 and / or the SSD 41 is an example of a storage device.
  • the HDD 40 and / or the SSD 41 may be built in the storage controller 30.
  • the storage controller 30 includes one or more front-end interface (FE I / F) 31, one or more back-end interface (BE I / F) 35, one or more FM (flash memory) boards 32, a CPU 33, and RAM (Random Access Memory) 34 is included.
  • the RAM 34 is a memory (memory device) and is an example of a cache memory.
  • the storage controller 30 forms one or a plurality of logical volumes (substantial logical volumes) from a plurality of storage devices (HDD 40 or SSD 41) and provides them to the host computer 10 (host computer 10 can recognize the formed logical volume).
  • the host computer 10 is provided with a logical volume (virtual logical volume, and a storage area is dynamically allocated to each area in the virtual logical volume) formed by so-called thin provisioning technology. To do.
  • the host computer 10 designates the provided logical volume (substantial logical volume or virtual logical volume) and the position in the logical volume (logical block number; may be abbreviated as LBA).
  • a command (write command or read command) is issued to perform data read / write processing on the logical volume.
  • the storage controller 30 does not provide a logical volume, for example, the storage system 20 provides the host computer 10 with each HDD 40 and each SSD 41 as a single storage device, the present invention is not limited to this. It is valid.
  • a logical volume recognized by the host computer is sometimes called a logical unit (Logical Unit. LU), and unless otherwise specified in this specification, a logical volume and a logical unit.
  • the term (LU) is used to mean the same concept.
  • the FE I / F 31 is an interface device for communicating with the host computer 10.
  • the BE I / F 35 is an interface device for communicating with the HDD 40 or the SSD 41.
  • the BE I / F 35 is a SAS or Fiber Channel interface device, for example.
  • the FM board 32 is a board on which an FM chip 321 (see FIG. 4) is mounted.
  • the CPU 33 executes various processes.
  • the RAM 34 stores programs executed by the CPU 33 and various tables.
  • the RAM 34 includes a cache memory area, and the cache memory area is composed of a plurality of cache segments.
  • the cache segment is a unit area managed by the CPU 33. For example, in the cache memory area in the RAM 34, area reservation, data reading, and data writing may be performed in units of cache segments.
  • the final storage device is a storage device that stores data to be I / Oed by the storage controller 30 in accordance with the I / O destination specified by the I / O command. Specifically, for example, data in accordance with an I / O command (write command) is temporarily stored in a cache memory area, but then configures a logical unit (logical volume) specified by the I / O command. Storage device area (in the case where the logical volume is a virtual logical volume, the storage device area is allocated to the logical volume area).
  • the final storage device means a storage device that forms this logical volume. In this embodiment, the final storage device is an HDD or an SSD, but it may be another type of storage device, for example, an external storage system having a plurality of storage devices.
  • each component of the information system is illustrated one by one, but a plurality of components may be provided for redundancy, high performance, or large capacity.
  • Each component may be connected via a network.
  • the network may include switches and expanders.
  • a configuration as shown in FIG. 3 can be considered.
  • FIG. 3 is a diagram illustrating a second configuration example of the information system according to the first embodiment.
  • the information system shown in FIG. 3 includes two storage controllers 30 (storage controller A and storage controller B), and these storage controllers 30 are connected via a node interface (node I / F) 36.
  • the node interface 36 may be a network interface device such as Infiniband, Fiber Channel (FC), or Ethernet (registered trademark), or may be a bus interface device such as PCI Express.
  • SAN Storage Area Network
  • the information system has a drive enclosure 60.
  • the drive enclosure 60 stores a plurality of HDDs 40 and SSDs 41.
  • the plurality of HDDs 40 and SSDs 41 are connected to an expander 42 in the drive enclosure 60.
  • the expander 42 is connected to the BE I / F 35 of each storage controller 30.
  • the expander 42 is, for example, a SAS Expander.
  • the expander 42 is, for example, an FC switch. .
  • the storage system 20 includes one drive enclosure 60, but may include a plurality of drive enclosures 60.
  • each drive enclosure 60 may be directly connected to each of a plurality of ports of BE I / F 35, or a plurality of drive enclosures 60 may be connected to a port of BE I / F 35 via a switch. May be.
  • a plurality of drive enclosures 60 may be connected in cascade by connecting the expanders 42 of each drive enclosure 60 in cascade, and may be connected to a port of the BE I / F 35.
  • FIG. 4 is a configuration diagram of the FM board according to the first embodiment.
  • the FM board 32 includes one or more flash memory (FM) chips 321, an FM adapter 320, a bus connector 322, a buffer memory 323, and a battery 324.
  • FM flash memory
  • the FM board 32 which is a memory board including the flash memory chip 321 will be described as a representative example.
  • a nonvolatile semiconductor memory other than the flash memory,
  • a memory board including a PRAM (phase change memory), MRAM (magnetoresistance memory), or ReRAM (resistance change memory) chip may be used.
  • a memory board such as the FM board 32 is a memory (memory device) and is an example of a cache memory.
  • the FM chip 321 is, for example, a NAND flash memory chip.
  • the plurality of FM chips 321 are used as a cache memory area, and are managed as a plurality of cache segments by the CPU 33.
  • the size of one cache segment is, for example, the size of a plurality of blocks which are erase units of the FM chip 321.
  • the FM chip 321 has characteristics that the access performance is lower than that of the RAM 34 and that the number of data erasures is limited.
  • One FM chip 321 is composed of a plurality of blocks (physical blocks).
  • One physical block is composed of a plurality of pages (physical pages).
  • the bus connector 322 is a connection terminal for connecting the FM board 32 to a bus such as PCI Express on the storage controller 30.
  • a bus such as PCI Express
  • the bus connector 322 may be omitted.
  • the buffer memory 323 is, for example, a RAM such as DRAM or SRAM, and is used as a buffer at the time of data transfer from the outside to the FM chip 321 or data transfer from the FM chip 321 to the outside.
  • the buffer memory 323 may store programs executed by the FM processor 320b and data used by the FM processor 320b, the DMAC 320d, and the like.
  • the battery 324 is a battery for performing power backup necessary for storing data by the buffer memory 323. Therefore, the buffer memory 323 can continuously store data by the power of the battery 324 even when the external power supply is interrupted.
  • the FM adapter 320 includes an FM controller 320a, an FM processor 320b, a bus controller 320c, a DMA (Direct Memory Access) controller (DMAC) 320d, and a RAM controller 320e.
  • the FM adapter 320 is an integrated circuit such as an ASIC, for example.
  • the FM adapter 320 includes a circuit group of each configuration in one integrated circuit, but these circuits may be divided into a plurality of integrated circuits and mounted. Further, the function of a certain circuit (for example, DMAC 320d) may be replaced with another circuit (for example, FM processor 320b).
  • FIG. 5 is a configuration diagram of the RAM of the storage controller according to the first embodiment.
  • the RAM 34 is a random access memory such as DRAM or SRAM.
  • the RAM 34 stores a storage control program 340 executed by the CPU 33, cache control information 341, an access monitor table 342, and a job control table 344.
  • the RAM 34 stores a plurality of cache segments 343 for caching and managing data. Data stored in the HDD 40 or the SSD 41 or data read from the HDD 40 or the SSD 41 can be cached in the cache segment 343.
  • the storage control program 340 is an example of a cache control program, and executes various control processes related to the cache. Details of the process will be described later.
  • the cache control information 341 includes the cache directory 100 (see FIG. 7), the clean queue (see FIG. 9), the dirty queue (see FIG. 9), the FM free queue 200 (see FIG. 7), and the RAM free queue 300 (see FIG. 7). 7). A data structure related to the cache control information 341 will be described later.
  • a memory module such as a DIMM in which a plurality of RAM memory chips are mounted on a board is configured, and this memory module is connected to a memory slot on the main board of the storage controller 30. It may be.
  • the RAM is mounted on a board different from the main board of the storage controller 30
  • maintenance replacement and RAM capacity expansion can be performed independently of the main board of the storage controller 30.
  • a battery is provided so that the stored contents on the RAM 34 can be maintained even during a power failure. Also good.
  • FIG. 6 is a configuration diagram of an access monitor table according to the first embodiment.
  • the access monitor table 342 stores information for counting the frequency of access to each partial area in the logical unit (logical volume) in the storage system 20 and the speed of data reading / writing, and also stores the counting result. It is a table.
  • the access monitor table 342 includes, for example, a read speed 342a, a write speed 342b, a read frequency 342c, a write frequency 342d, a read amount (byte number) counter 342e, and a write amount counter 342f for each partial area in the logical unit.
  • the read command counter 342g, the write command counter 342h, and the monitor start time 342i are stored.
  • the size of the partial area (that is, the unit for counting access frequency and access speed in one access monitor table 342).
  • the size of the partial area may be the same size as the cache segment or an integer multiple of the cache segment. ,preferable.
  • the read speed 342a is a read speed for a partial area in the logical unit (for example, the unit is MB / Sec).
  • the write speed 342b is a write speed (for example, the unit is MB / Sec) for a partial area in the logical unit.
  • the read frequency 342c is the frequency of occurrence of reads for partial areas in the logical unit.
  • the write frequency 342d is a write frequency for a partial area in the logical unit.
  • the read amount counter 342e is a data amount counter of the data read in the partial area in the logical unit.
  • the write amount counter 342f is a data amount counter of data written in the partial area in the logical unit.
  • the read command counter 342g is a counter of the number of commands read in the partial area in the logical unit.
  • the write command counter 342h is a counter of the number of commands that have been written in a partial area in the logical unit.
  • the monitor start time 342i is the time at which monitoring for a partial area in the logical unit is started.
  • a read amount counter 342e, a write amount counter 342f, a read command counter 342g, and a write command counter 342h are counting counters, and a read speed 342a, a write speed 342b, a read frequency 342c, and a write frequency 342d are total results. .
  • About the access monitor totaling process see FIG. 17 for counting the access frequency (read frequency, write frequency) to each partial area in the logical unit in the storage system 20 and the data read / write speed (read speed, write speed). Will be described later.
  • FIG. 34 is a conceptual diagram showing the relationship between logical volumes, slots, and cache segments in the embodiment of the present invention.
  • the minimum access unit is a block (for example, 512 bytes), and each block of the logical volume has a logical block address (LBA. In this specification, it is called a logical address.
  • LBA logical block address
  • FIG. 34 represents a logical block address
  • the storage system 20 performs exclusive control when accessing a storage area on a logical volume, but the concept of slot 1100 is defined as a unit of exclusive control.
  • the size of the slot 1100 is 256 KB (that is, 512 blocks), but other sizes may be adopted.
  • Each slot 1100 is assigned a unique identification number, which is called a slot ID.
  • an element 1110 is a slot ID, and the relationship between the logical block address 1010 and the slot ID 1100 is as shown in FIG. For example, when converting a logical block address designated by an I / O command received from the host computer 10 into a slot ID, a value obtained by dividing the designated logical block address by 512 becomes the slot ID.
  • the logical block address specified by the I / O command is found to be the start position of the slot (specified by the slot ID), and the remainder is 0.
  • the remainder R has a block specified by the logical block address at the R-th position from the first block of the slot (specified by the slot ID). This is information indicating that it is a block (hereinafter, this information R is referred to as an in-slot relative address).
  • a storage area on the RAM 34 or FM chip 321 is secured as a cache area, but a cache segment (or segment) (elements 1201, 1202, 1203, and 1204 in FIG. 34 are cache segments).
  • cache segments 1201, 1202, 1203, and 1204 are collectively referred to as “cache segment 1200”), and a cache area is secured.
  • the size of the cache segment 1200 is 64 KB, and four cache segments 1201, 1202, 1203, 1204 are associated with each slot.
  • FIG. 34 shows a concept in which an area (cache segment 1200) on the RAM 34 or the FM chip 321 is associated with the slot 1100.
  • the storage system 20 uses the slot control table 110 (details will be described when FIG. 7 is described) as slot management information. 1 exists for each slot 1100), and the information of the cache segment 1200 associated with the slot in the slot control table 110 (precisely, for managing the cache segment 1200) (Pointer to information) is stored.
  • the storage system 20 manages the association between the slot 1100 and the cache segment 1200 by creating and managing the slot control table 110. Note that the size of the cache segment 1200 can be set to a size other than 64 KB, and the number of cache segments 1200 associated with one slot 1100 can be set to a value other than four.
  • the outline of processing related to the management of the cache area when the host computer 10 accesses the area on the logical volume 1000 (read or write) is as follows.
  • the host computer 10 provides the storage system 20 with an I / O specifying a logical unit number (a number identifying a logical unit / logical volume, generally abbreviated as LUN [Logical Unit Number]) and a logical block address 1010. Issue a command.
  • the storage system 20 converts the logical block address included in the received I / O command into a pair of a slot ID 1110 and an in-slot relative address, and refers to the slot control table 110 specified by the slot ID 1110 obtained by the conversion. To do.
  • the cache segment 1200 is secured for the area on the logical volume specified by the I / O command (the area specified by the logical block address). If the cache segment 1200 is not secured, processing for securing a new cache segment 1200 is performed.
  • FIG. 7 is a conceptual diagram of a cache management data structure according to the first embodiment.
  • the cache management data structure includes a cache directory 100, an FM free queue 200, a RAM free queue 300, a dirty queue, and a clean queue (see FIG. 9).
  • cache segments (343, 325) are managed in the RAM 34 and the FM chip 321.
  • Each cache segment is managed by a segment control table 120 (SGCT: Segment Control Table).
  • the SGCT 120 is managed in one-to-one correspondence with each of the cache segments managed by the RAM 34 and all the FM chips 321.
  • the cache directory 100 indicates the correspondence between the logical address of the data to be cached (logical block address of the logical volume that is the storage destination of data stored in the cache segment) and the physical address on the memory (RAM 34 and FM chip 321). Data structure to be managed.
  • the cache directory 100 is a hash table having, for example, a logical address of cache target data (or information derived from a logical address such as a slot ID) as a key, and has a pointer for indicating the SGCT 120 as an entry.
  • the SGCT 120 manages pointers to the cache segments (325, 343) corresponding to the SGCT 120.
  • the cache directory 100 manages the cache segment 343 of the RAM 34 and the cache segments 325 of all the FM chips 321 together. Therefore, by referring to the cache directory 100, it is possible to easily perform cache hit determination in the RAM 34 and the FM chip 321.
  • the FM free queue 200 is control information for managing a free segment of the FM chip 321, that is, a cache segment 325 in which no data is stored.
  • the FM free queue 200 is configured as a bidirectional link list having, for example, an SGCT 120 corresponding to a free segment of the FM chip 321 as an entry.
  • the data structure of the control information for managing the free segment is not necessarily a queue, and a stack or the like may be used.
  • the RAM free queue 300 is control information for managing free segments in the RAM 34.
  • the RAM free queue 300 is configured as a bidirectional link list having SGCT 120 corresponding to the free segment of the RAM 34 as an entry, for example.
  • the data structure of the control information for managing the free segment is not necessarily a queue, and a stack or the like may be used.
  • the SGCT 120 is connected to one of the cache directory 100, the FM free queue 200, or the RAM free queue 300 depending on the state and type of the cache segment corresponding to the SGCT 120. Specifically, the SGCT 120 corresponding to the cache segment 325 of the FM chip 321 is connected to the FM free queue 200 when the cache segment 325 is not used, and when the cache segment 325 is allocated for data storage, 100. On the other hand, the SGCT 120 corresponding to the cache segment 343 of the RAM 34 is connected to the RAM free queue 300 when the cache segment 343 is not used, and is connected to the cache directory 100 when the cache segment 343 is allocated for data storage. .
  • FIG. 8 is a diagram illustrating a partial data structure of the cache management data structure according to the first embodiment.
  • the cache directory 100 is a hash table using, for example, a slot ID as a key.
  • the entry 100a (directory entry) of the cache directory 100 stores a directory entry pointer indicating a slot control table 110 (SLCT: Slot Control Table) corresponding to the slot ID.
  • SLCT Slot Control Table
  • the slot is a data unit (lock unit) for performing exclusive control.
  • one slot can contain multiple cache segments. If only a part of the slot stores data, only one cache segment may be included.
  • the SLCT 110 includes a directory entry pointer 110a, a forward pointer 110b, a backward pointer 110c, a slot ID 110d, a slot status 110e, and an SGCT pointer 110f.
  • the directory entry pointer 110a is a directory entry pointer that points to the SLCT 110 corresponding to the next entry in the hash table.
  • the forward pointer 110b is a pointer indicating the previous SLCT 110 in the clean queue or dirty queue.
  • the backward pointer 110c is a pointer indicating the SLCT 110 in the subsequent order in the clean queue or the dirty queue.
  • the slot ID 110d is identification information of a slot corresponding to the SLCT 110.
  • the slot status 110e is information indicating the state of the slot.
  • the slot state includes, for example, “locking” indicating that the slot is locked.
  • the SGCT pointer 110f is a pointer that points to the SGCT 120 corresponding to the cache segment included in the slot. When no cache segment is assigned to the slot, the SGCT pointer 110f has a value (for example, NULL) indicating that the pointer (address) is invalid.
  • each SGCT 120 is managed as a linked list, and the SGCT pointer 110f is a pointer pointing to the SGCT 120 corresponding to the first cache segment in the linked list.
  • SGCT 120 includes an SGCT pointer 120a, a segment ID 120b, a memory type 120c, a segment address 120d, a staging bitmap 120e, and a dirty bitmap 120f.
  • the SGCT pointer 120a is a pointer that points to the SGCT 120 corresponding to the next cache segment included in the same slot.
  • the segment ID 120b is identification information of the cache segment, and is information indicating the number of the cache segment positioned in the slot. In the present embodiment, since up to four cache segments are allocated to one slot, any one of 0, 1, 2, and 3 is stored in the segment ID 120b of each cache segment (positioned at the head of the slot).
  • the segment ID 120b of the cache segment to be assigned is 0, and the segment IDs 120b of 1, 2, and 3 are assigned in order, for example, taking the cache segments 1201 to 1204 in FIG.
  • the segment ID 120b of the cache segment 1201 is 0, and the segment IDs 120b of the cache segments 1202, 1203, and 1204 are 1, 2, and 3 respectively.
  • the memory type 120c is a type of cache memory in which a cache segment corresponding to the SGCT 120 is stored. As a type of cache memory, there are FM and RAM.
  • the segment address 120d is a cache segment address.
  • the staging bitmap 120e is a bitmap showing an area where clean data, that is, data matching the data of the drive (40, 41) is cached in the cache segment.
  • each bit corresponds to each area in the cache segment, the bit corresponding to the area where valid data (the same data as the drive) is cached is set to ON (1), and the valid data is Bits corresponding to uncached areas are set to OFF (0).
  • the dirty bitmap 120f is a bitmap indicating an area in the cache segment where dirty data, that is, data that does not match the drive data (data not yet reflected in the drive) is cached.
  • each bit corresponds to each area in the cache segment, the bit corresponding to the area where the dirty data is cached is set to ON (1), and corresponds to the area where the dirty data is not cached. The bit is set to OFF (0).
  • FIG. 9 is a diagram illustrating a data structure of the dirty queue and the clean queue according to the first embodiment.
  • Dirty queues and clean queues are part of the cache data management structure.
  • the dirty queue is a queue for connecting the SLCT 110 corresponding to the slot including dirty data.
  • the clean queue is a queue for connecting the SLCT 110 corresponding to the slot containing only clean data.
  • Dirty queues and clean queues are used for cache replacement and destage scheduling, and can take various structures depending on the cache replacement and destage scheduling schemes. In the present embodiment, an algorithm used for cache replacement and destage scheduling will be described as LRU (Least Recently Used). Note that the dirty queue and the clean queue are the same in the basic configuration of the queue except that the SLCT 110 to be connected is different, and here, the dirty queue will be described as an example.
  • the dirty queue is configured as a bidirectional linked list.
  • the dirty queue connects the SLCT 110 corresponding to the slot containing the recently used dirty data (the slot having the latest use time) to the forward pointer of the MRU (Most Recently Used) terminal 150, and thereafter the forward pointer 110b of the SLCT 110.
  • the SLCT 110 of the next sequential slot (the slot containing the most recently used dirty data) is sequentially connected, and the LRU terminal 160 is connected to the forward pointer 110b of the last sequential SCLT 110, while the backward pointer of the LRU terminal 160 is connected.
  • the SLCT 110 of the last order is connected to the backward pointer 110c of the SCLT 110 of the subsequent order, and the SLCT 110 of the previous order is sequentially connected to the MRU terminal 150.
  • SLCTs 110 are arranged from the MRU terminal 150 side in the order of the last use time.
  • FIG. 10 is a diagram illustrating a data structure of the FM free queue and the RAM free queue according to the first embodiment.
  • the FM free queue 200 is a queue for managing the free cache segment 325 stored in the FM chip 321, and the RAM free queue 300 is a queue for managing the free cache segment 343 of the RAM 34. It is the link list which connected SGCT120 of the cache segment with the pointer.
  • the FM free queue 200 and the RAM free queue 300 are the same except for the SGCT 120 to be managed.
  • the free queue pointer 201 (301) of the FM free queue 200 (RAM free queue 300) points to the SGCT 120 at the head of the queue.
  • the SGCT pointer 120a of the SGCT 120 points to the SGCT 120 of the next free cache segment.
  • FIG. 11 is a flowchart of read command processing according to the first embodiment.
  • the read command process is executed when the storage controller 30 receives a read command from the host computer 10.
  • the CPU 33 of the storage controller 30 that has received the read command has a cache segment corresponding to the logical block address (hereinafter referred to as “read target address”) of the read target block on the logical volume specified by the read command. It is determined whether it has been assigned (step S1). Specifically, as described above, the logical block address is converted into a set of slot ID and in-slot relative address, and the SGCT pointer 110f in the SLCT 110 having the slot ID 110d obtained by the conversion is referred to. If the SGCT pointer 110f is an invalid (eg, NULL) value, it is determined that the cache segment is unallocated. If the SGCT pointer 110f contains a valid value, it is found that at least one cache segment is allocated.
  • the SGCT pointer 110f contains a valid value, it is found that at least one cache segment is allocated.
  • the SGCT pointer 110f is traced to the position in the slot specified by the relative address in the slot.
  • Check whether a cache segment is allocated Specifically, by checking whether there is an SGCT 120 having the same segment ID 120b as the result (integer value) obtained by “relative address in slot ⁇ 128”, it is confirmed whether a cache segment is allocated. (By calculating the relative address in the slot ⁇ 128, an integer value of 0 to 3 can be obtained, so the cache segment to which any segment ID of 0 to 3 is assigned as the relative address in the slot.
  • step S1 YES
  • the CPU 33 advances the process to step S3, while if the cache segment has not been allocated (step S1: NO), the cache allocation process (FIG. 14). (Refer to step S2), and the process proceeds to step S3.
  • step S2 a process of allocating the cache segment of the FM chip 321 or the cache segment of the RAM 34 is performed according to the access characteristics of the cached data.
  • step S3 the CPU 33 locks the slot including the cache segment corresponding to the read target address. Specifically, the CPU 33 indicates that the slot is locked by turning on a bit indicating “locking” in the slot status 110e of the SLCT 110 of the slot including the cache segment.
  • the CPU 33 determines whether or not the read target data is stored in the cache segment, that is, whether or not it is a cache hit (step S4). Specifically, the CPU 33 examines the staging bitmap 120e and the dirty bitmap 120f of the SGCT 120 corresponding to the cache segment to be read, and for all the blocks to be read, the bit or dirty of the staging bitmap 120e corresponding to the block. If any of the bits of the bitmap 120f is ON, it is determined that a cache hit has occurred. On the other hand, the CPU 33 determines that there is a cache miss when there is one block in which the corresponding bits of the dirty bitmap 120f and the staging bitmap 120e are both OFF within the range to be read.
  • step S4 YES
  • the CPU 33 advances the process to step S6.
  • step S4: NO the staging process (see FIG. 12) is executed (step S5) The process proceeds to step S6.
  • the staging process data is read from the drive (HDD 40 or SSD 41) to the cache segment (325 or 343).
  • the read target data is stored in the cache segment (325 or 343).
  • step S6 the CPU 33 executes a data transmission process (see FIG. 13) for transmitting the data stored in the cache segment to the host computer 10.
  • the CPU 33 transmits a command completion status to the host computer 10 (step S7).
  • the CPU 33 returns an error status (for example, CHECK CONDITION) if an error occurs during command processing and the read processing is not completed normally, while if the read processing is completed normally, the normal status (GOOD )return it.
  • an error status for example, CHECK CONDITION
  • the CPU 33 releases (unlocks) the locked slot (step S8), updates the access monitor table 342 (step S9), and ends the read command processing.
  • the update of the access monitor table 342 includes, for example, adding the data amount read by the current read command to the read amount counter 342e and incrementing the read command counter 342g.
  • FIG. 12 is a flowchart of the staging process according to the first embodiment.
  • the staging process corresponds to the process of step S5 of the read command process of FIG.
  • the CPU 33 checks the cache memory type of the cache segment corresponding to the read target address, and determines whether or not the cache segment is a cache segment (RAM segment) 343 on the RAM 34 (step S11).
  • the type of the cache memory on which the cache segment is based can be specified by referring to the memory type 120c of the corresponding SGCT 120.
  • step S11: YES the CPU 33 advances the process to step S12.
  • step S11: NO the process proceeds to step S13. Proceed to
  • step S12 the CPU 33 reads data to be read (target for staging) from the drive (HDD 40 or SSD 41), stores it in the RAM segment 343, and ends the staging process.
  • step S13 since the cache segment is not the RAM segment 343, that is, the cache segment (FM segment) 325 on the FM chip 321, the data read from the drive is not directly written to the FM chip 321, but once, After the data is stored in the buffer memory 323 of the FM board 32, the data is written from the buffer memory 323 to the FM chip 321. Since the writing speed of the FM chip 321 is slow, if the data read from the drive is directly written to the FM chip 321, the operation of the BE I / F 35 of the storage controller 30 is slowed down due to the speed, and the storage system This is to prevent the throughput performance of 20 from being lowered.
  • the BE I / F 35 receives data from the CPU 33 and stores data from the drive to the buffer memory 323 of the FM board 32. Therefore, the CPU 33 can execute other processes after giving an instruction to the BE I / F 35. Further, after storing data from the drive to the buffer memory 323 of the FM board 32, the BE I / F 35 is released from this process and can execute other processes.
  • step S13 the CPU 33 secures an area (buffer) for storing data read from the drive in the buffer memory 323. That is, the CPU 33 allocates a sufficient area in the buffer memory 323 to store the data to be staged.
  • the CPU 33 reads out the data to be staged from the drive and stores it in the buffer (step S14).
  • the BE I / F 35 receives data from the CPU 33 and stores data from the drive to the buffer of the buffer memory 323 of the FM board 32.
  • the CPU 33 requests the FM processor 320b to store the data on the buffer of the buffer memory 323 in the FM chip 321 (step S15).
  • the FM processor 320b executes FM data write processing (see FIG. 23).
  • the FM processor 320b finishes the FM data writing process, it returns a completion response to the request to the CPU 33.
  • the CPU 33 receives a completion response to the request from the FM processor 320b (step S16), releases the buffer of the buffer memory 323 (step S17), and ends the staging process.
  • FIG. 13 is a flowchart of data transmission processing according to the first embodiment.
  • the data transmission process corresponds to the process of step S6 of the read command process shown in FIG.
  • the data transmission process when data is transmitted from the FM segment 325, the data is temporarily stored in the buffer memory 323, and the data is transferred from the buffer memory 323 to the host computer 10. This is because the reading speed of the FM chip 321 is slow, and if it is directly transferred from the FM chip 321, the operation of the FE I / F 31 of the storage controller 30 is slowed down due to the speed, and the throughput performance of the storage system 20 is lowered. This is to prevent that.
  • the CPU 33 checks the type of the cache memory that is the basis of the cache segment corresponding to the read target address, and determines whether or not the cache segment is the RAM segment 343 (step S21).
  • the type of the cache memory on which the cache segment is based can be specified by referring to the memory type 120c of the corresponding SGCT 120.
  • step S21: YES if the cache segment is the RAM segment 343 (step S21: YES), the CPU 33 advances the process to step S22. On the other hand, if the cache segment is not the RAM segment 343 (step S21: NO), the process proceeds to step S23. Proceed to
  • step S22 the CPU 33 transfers the read target (transmission target) data from the RAM segment 343 to the host computer 10 and ends the data transmission process.
  • step S23 the CPU 33 secures an area (buffer) for storing the transmission target data read from the FM chip 321 in the buffer memory 323. That is, the CPU 33 allocates a sufficient area in the buffer memory 323 to store data to be transmitted.
  • the CPU 33 requests the FM processor 320b to read data on the FM chip 321 to the buffer memory 323 (step S24).
  • the FM processor 320b executes FM data read processing (see FIG. 22).
  • the transmission target data is stored in the buffer memory 323.
  • the FM processor 320b finishes the FM data reading process, it returns a completion response to the request to the CPU 33.
  • the CPU 33 receives a completion response to the request from the FM processor 320b (step S25), and transmits data to be transmitted from the buffer memory 323 to the host computer 10 (step S26).
  • the FE I / F 31 transmits the data to be transmitted from the buffer of the buffer memory 323 to the host computer 10 in response to an instruction from the CPU 33 (for example, an address on the buffer memory 323 of the data to be read). is doing.
  • the CPU 33 releases the buffer in the buffer memory 323 (step S27), and ends the data transmission process.
  • FIG. 14 is a flowchart of the cache allocation process according to the first embodiment.
  • the cache allocation process corresponds to the process of step S2 of the read command process shown in FIG. 11 and the process of step S72 of the write command process shown in FIG.
  • the cache segment of the FM chip 321 or the cache segment of the RAM 34 is allocated to the data cached by the CPU 33 according to the access characteristics for the data.
  • the memory type of the cache segment to be allocated that is, the criterion for selecting the FM chip 321 or the RAM 34
  • the FM chip 321 has characteristics that (1) access performance is lower than that of the RAM 34 and (2) there is an upper limit on the number of rewrites
  • the CPU 33 has data characteristics.
  • the cache segment using the RAM 34 is selected, and the data is compatible with the characteristics of the flash memory. (Not so high performance is required, and the update frequency of the cache segment is not high) performs control to select a cache segment using the FM chip 321.
  • the memory type of the cache segment to be allocated is selected based on the following criteria.
  • A In the case of data with a high access frequency (read frequency / write frequency) or data that requires high throughput, the CPU 33 preferentially selects the RAM 34.
  • the update frequency of the FM chip 321 increases. If the update frequency is high, rewriting occurs frequently and the life of the FM chip 321 is shortened, so it is better to preferentially select the RAM 34. Thereby, shortening of the lifetime of the FM chip 321 can be appropriately suppressed. Further, as data requiring high throughput, for example, a large amount of data read for use in an in-memory database is applicable.
  • data for this purpose is often data having a long transfer length or data for sequential access. Therefore, the RAM 34 is preferentially selected for data determined to have a long transfer length. Thereby, high throughput can be realized.
  • the CPU 33 preferentially selects the RAM 34. For example, data stored in the SSD 41 may be used as data for which the performance effect due to the cache hit is not obtained. According to this, it is possible to appropriately obtain the effect of the cache hit.
  • C If data with a small access unit is a cache target, the CPU 33 preferentially selects the RAM 34.
  • the size of the read / write unit (page) in the FM chip 321 is larger than the minimum access unit in the RAM 34 (for example, 8 KB), and the efficiency of referring / updating data in a small unit is poor.
  • metadata such as control information is usually about 16 B in size, and is smaller than the size of the read / write unit of the FM chip 321, so it should be cached in the RAM 34.
  • D When data that is immediately discarded from the cache is a cache target, the CPU 33 preferentially selects the RAM 34. The reason is that the FM chip 321 is erased immediately when it is discarded, and if it is immediately discarded, the capacity consumption is temporary even if it is placed in the RAM 34, and the influence is small.
  • What kind of data is discarded preferentially is set as a policy of the storage system. For example, data stored in a temporary cache segment allocated for data copy is discarded from the cache when the copy process is completed. As another example, there is data to be sequentially read and data to be sequentially written. For data to be sequentially read, it is basically not read from the beginning in order, and the data of the same part is not read immediately after reading. For example, when the data to be sequentially written is stored in RAID, the data is destaged when necessary parity is prepared, and then discarded from the cache. (E) When data that satisfies conditions other than the above (a) to (d) is a cache target, the CPU 33 preferentially selects the FM chip 321.
  • the CPU 33 determines whether the data to be accessed (read target or write target) is data to be accessed at high speed (step S31). Specifically, for example, the CPU 33 compares the access speed threshold obtained in advance with the read speed 342a and write speed 342b of the area where the access target data recorded in the access monitor table 342 is stored. It is determined whether the data to be accessed is data that is accessed at high speed. The counting method of the read speed 342a and the write speed 342b will be described later. However, when the data access frequency is high or when the data having a long transfer length is accessed, the read speed 342a and the write speed 342b that are tabulated in this embodiment are high.
  • the access frequency (the read frequency 342c or the write frequency 342d of the area in which the access target data is stored, which is recorded in the access monitor table 342) may be compared with a threshold value for determination. If the determination result in step S31 is true (step S31: YES), the CPU 33 advances the process to step S37, while if false (step S31: NO), the process advances to step S32.
  • step S32 the CPU 33 determines whether or not the access pattern for the access target data is sequential access. This determination can be realized by the CPU 33 determining whether or not the read command to be processed is part of a series of commands that sequentially read consecutive addresses. Specifically, for example, the CPU 33 performs sequential access by determining whether an address obtained by adding the transfer length of the command to the target address of the previous read command is the target address of the current read command. It is determined whether or not. As a result, when it is determined that the access is sequential (step S32: YES), the CPU 33 advances the process to step S37. On the other hand, when it is determined that the access is false (step S32: NO), the CPU 33 performs the process. Proceed to step S33.
  • step S33 the CPU 33 determines whether or not the access target data is data that is finally stored in the SSD 41, that is, whether or not the final storage device of the access target data is the SSD 41.
  • whether or not the final storage device of the access target data is the SSD 41 is determined based on, for example, the logical volume specified by the read command based on the information indicating the correspondence relationship between the logical volume and the device stored in advance. This can be realized by specifying the device type corresponding to the volume. If the logical volume conforms to thin provisioning, it is determined whether or not the final storage device of the access target data is the SSD 41 by specifying the device type of the device that provides the real page allocated to the logical volume. can do. If the result is true (step S33: YES), the CPU 33 advances the process to step S37, and if false, advances the process to step S34.
  • step S34 the CPU 33 determines whether the data to be accessed is metadata.
  • the metadata here includes control information that is saved / stored in the drive (40, 41) from the RAM 34 of the storage controller 30 or saved / stored.
  • whether or not the access target data is metadata can be determined, for example, based on whether or not the access destination is a predetermined area in which control information in the logical volume is stored. Note that the address of the area where the control information in the logical volume is stored can be obtained from the host computer 10 or the like that uses the logical volume. If the result is true (step 34: YES), the CPU 33 advances the process to step S37, and if false, advances the process to step S35.
  • step S35 the CPU 33 determines whether or not the cache segment corresponding to the access target data is a temporary cache segment (temporary segment).
  • the temporary segment is one of the following. (1) A segment allocated for storing old data or old parity when old data or old parity has a cache miss in parity generation. (2) A segment temporarily allocated for a process of copying data of a drive (for example, a final storage device). (3) A segment temporarily allocated for processing of transmitting / receiving data to / from another storage apparatus (for example, for remote copy processing).
  • the CPU 33 receives information indicating whether the throughput is high throughput or information indicating the priority of the I / O from the host computer 10 when allocating the cache segment to the data, and determines whether the data is the high throughput.
  • the information indicating or the information indicating the priority of I / O may be stored in association with the cache segment, and based on the information, it may be determined whether or not the cache segment is a temporary segment. .
  • step 35 If the result is true (step 35: YES), the CPU 33 advances the process to step S37, and if false, advances the process to step S36.
  • step S36 the CPU 33 executes FM priority segment allocation processing (see FIG. 15) for preferentially allocating the cache segment 325 of the FM chip 321 and ends the cache allocation processing.
  • step S37 the CPU 33 executes a RAM priority segment allocation process (see FIG. 16) for preferentially allocating the cache segment 343 of the RAM 34, and ends the cache allocation process.
  • one of the cache segments of the FM chip 321 or the RAM 34 is allocated to the data to be accessed.
  • FIG. 15 is a flowchart of FM priority segment allocation processing according to the first embodiment.
  • FM priority segment allocation processing is processing corresponding to step S36 of the cache allocation processing shown in FIG.
  • step S41 the CPU 33 determines whether there is an available FM segment 325 (step S41).
  • An available FM segment 325 is a cache segment 325 that is free or clean and not locked. Note that whether there is an available FM segment 325 can be determined by referring to the cache management data structure.
  • step S41: YES the CPU 33 advances the process to step 42, whereas when false (step S41: NO), the process advances to step S43.
  • step S42 the CPU 33 performs FM segment allocation processing.
  • the CPU 33 separates the cache segment from the clean queue and the cache directory 100 to make a free segment, and then performs an FM segment allocation process.
  • the CPU 33 sets a segment ID 120b and a memory type 120c (FM) corresponding to the cache segment secured in the SGCT 120. Then, the CPU 33 sets a pointer to the SGCT 120 of the cache segment in the SGCT pointer 110f of the SLCT 110 corresponding to the slot including the cache segment. If the corresponding SLCT 110 is not connected to the cache directory 100, the CPU 33 first sets the contents of the SLCT 110, connects the SLCT 110 to the cache directory 100, and then connects the SGCT 120 to the SLCT 110.
  • FM memory type 120c
  • the CPU 33 connects the SGCT 120 of the reserved cache segment to the terminal SGCT 120 connected to the SLCT 110. . Note that after the FM segment allocation process ends, the FM priority segment allocation process ends.
  • step S43 the CPU 33 determines whether there is a usable RAM segment 343. If the determination result is true (step S43: YES), the CPU 33 advances the process to step S45. If the determination result is false (step S43: NO), the CPU 33 waits until one of the cache segments becomes usable. (Step S44), the process proceeds to Step S41.
  • step S45 the CPU 33 performs a RAM segment allocation process.
  • the RAM segment 343 is allocated to the one allocated to the FM segment 325 in the FM segment allocation process in step S42.
  • the FM priority segment allocation process ends.
  • the FM segment 325 is preferentially allocated.
  • FIG. 16 is a flowchart of RAM priority segment allocation processing according to the first embodiment.
  • the RAM priority segment allocation process is a process corresponding to step S37 of the cache allocation process shown in FIG.
  • the RAM priority segment allocation process is a process in which the FM segment and the RAM segment in the FM priority segment allocation process shown in FIG. 15 are interchanged, and will be briefly described here.
  • step S51 determines whether there is a usable RAM segment 343 (step S51). If this determination result is true (step S51: YES), the CPU 33 advances the process to step S52, whereas if false (step S51: NO), the process advances to step S53.
  • step S52 the CPU 33 performs a RAM segment allocation process.
  • This RAM segment allocation process is the same process as step S45 of FIG. After the RAM segment allocation process ends, the RAM priority segment allocation process ends.
  • step S53 the CPU 33 determines whether there is an available FM segment 325 or not. If the determination result is true (step S53: YES), the CPU 33 advances the process to step S55. If the determination result is false (step S53: NO), the CPU 33 waits until one of the cache segments becomes usable. (Step S54), the process proceeds to Step S51.
  • step S55 the CPU 33 performs FM segment allocation processing.
  • This FM segment allocation process is the same process as step S42 of FIG. After the FM segment allocation process ends, the RAM priority segment allocation process ends.
  • the RAM segment 343 is preferentially allocated.
  • FIG. 17 is a flowchart of access monitor tabulation processing according to the first embodiment.
  • the access monitor tabulation process is a process that is executed, for example, at a fixed time period, and updates the access monitor table 342 by tabulating the read / write amount and the read / write frequency during that period.
  • the CPU 33 updates the read speed 342a of the access monitor table 342 (step S61). That is, the CPU 33 sets the value obtained by dividing the value of the read amount counter 342e by the time from the monitor start time 342i to the present time (hereinafter referred to as monitor time) as the read speed in the read speed 342a of the access monitor table 342. To do.
  • the CPU 33 updates the write speed 342b of the access monitor table 342 (step S62). That is, the CPU 33 sets the value obtained by dividing the value of the write amount counter 342f by the monitor time as the write speed in the write speed 342b of the access monitor table 342.
  • the CPU 33 updates the read frequency 342c of the access monitor table 342 (step S63). That is, the CPU 33 sets a value obtained by dividing the value of the read command counter 342g by the monitor time as a read frequency in the read frequency 342c of the access monitor table 342.
  • the CPU 33 updates the write frequency 342d of the access monitor table 342 (step S64). That is, the CPU 33 sets a value obtained by dividing the value of the write command counter 342h by the monitor time as the write frequency in the write frequency 342d of the access monitor table 342.
  • the CPU 33 sets the current time to the monitor start time 342i of the access monitor table 342 (step S65), and sets the values of the read amount counter 342e, the write amount counter 342f, the read command counter 342g, and the write command counter 342h to 0. Reset (step S66) and end the access monitor tabulation process.
  • This access monitor tabulation process can appropriately grasp the write speed, read speed, write frequency, and read frequency for each partial area in the logical unit.
  • the read speed and the write speed are calculated by dividing the read amount / write amount by the monitor time.
  • the access monitor table 342 includes a read command, The accumulation of the write command processing time (the time required from receiving the command to returning the response to the host computer 10) is stored, and the read amount and write amount are respectively processed for the read command and the write command. You may make it divide by accumulation of. Assuming that a command (read or write command) is issued multiple times for a partial area in the logical unit, the transfer length is calculated by calculating the access speed by dividing the read amount / write amount by the monitor time. Even when accessing long data, if the time interval between issued commands is long, the calculated access speed is low.
  • the read speed and write speed are values obtained by dividing the read amount and write amount by the accumulated read command and write command processing time, respectively, the time interval of commands issued to a certain partial area in the logical unit is long. Regardless of the short, when accessing data with a long transfer length, the calculated read speed and write speed increase, so the time interval of commands issued to a certain partial area in the logical unit is If you want to preferentially cache in RAM when accessing data with long transfer length, regardless of whether it is long or short, divide the read amount and write amount by the accumulated processing time of the read command and write command, respectively. These values should be used as the read speed and write speed.
  • the access monitor table 342 is provided for each partial area in the logical unit, and the access frequency and access speed are totaled for each partial area. As described above, various sizes can be selected as the size of the partial area (that is, the unit for counting access frequency and access speed in one access monitor table 342). However, in the storage system of the present invention, the access monitor In order to determine the memory type to be allocated as the cache segment based on the information in the table 342, when the memory type to be allocated as the cache segment is determined, the processing in FIG. 14 and the like is determined in units of cache segments. As a result, the memory type assigned to each partial area unit is determined.
  • the size of the partial area when it is desired to select the type of cache memory to be allocated for each area as small as possible, it is preferable to reduce the size of the partial area. For example, if the size of the partial area is the same size as the cache segment, memory allocation according to the access characteristics for each cache segment becomes possible. However, if the size of the partial area is small, the amount of the access monitor table 342 to be maintained increases, so it may be an integer multiple of the cache segment size (for example, the slot size) or an integer multiple of the slot size.
  • the access monitor table 342 and the access monitor aggregation process in the first embodiment are provided exclusively for performing the cache allocation process, but as another embodiment, other than the cache allocation process in the storage system 20
  • the information aggregated by the means may be used.
  • a storage device that provides a logical volume in accordance with so-called thin provisioning includes each partial area (page and page) of a logical volume.
  • the access frequency information tabulated for each page is stored. It may be used to determine cache allocation.
  • FIG. 18 is a diagram illustrating the determination threshold value calculation method according to the first embodiment.
  • the threshold used as a reference when determining whether or not the target data is accessed at high speed is that the life of the FM chip 321 used in the FM board 32 is excessively short. It is desirable to set a value so that the update / erase frequency for the FM chip 321 does not become too high. Therefore, the threshold value is determined in consideration of the number of rewrites and capacity of the FM chip 321 used, the performance of the storage system 20 (for example, the write frequency from the host computer 10), and the like. This threshold value may be a predetermined fixed value, but may be dynamically determined using the value of the access monitor table 342 as described below. In this way, a threshold value that is more suitable for the situation can be set.
  • the CPU 33 sorts the areas (partial areas) at the write speed as shown in the left graph of FIG. 18 in the descending order of the write speed, as shown in the right graph of FIG.
  • each area is a partial area managed by the access monitor table 342.
  • the write speeds of the respective areas are added in order, and when the total exceeds the allowable total write speed obtained by Expression (1), it is determined whether or not the target data is accessed at high speed based on the write speed of the areas.
  • the threshold value is used as a reference. That is, an area having a write speed lower than the write speed of the area is an area suitable for caching by the FM chip 321 (FM appropriate area), and this area is cached in the FM chip 321 and other areas are cached. Is not cached in the FM chip 321.
  • Allowable total write speed Remaining write capacity / (Remaining usage period x Margin)-Other FM update speed (1)
  • the remaining writable amount is the number of remaining rewritable times and capacity of the FM chip 321, and WA (Write Amplification: an index indicating how many times the write amount to the flash memory is amplified by reclamation or wear leveling) It depends on.
  • the other FM update speed is a speed at which the FM chip 321 is updated by processing other than the write from the host computer 10, for example, cache replacement or destage.
  • the remaining use period corresponds to a period up to a date assumed to replace the FM chip 321.
  • the allocation of the cache to the FM board 32 on which the FM chip 321 is mounted can be stopped and replaced with a new FM board 32.
  • the CPU 33 sets the allowable total write speed to zero. By doing so, the FM segment is not assigned.
  • the CPU 33 displays a message prompting the replacement of the FM board 32 on the management terminal or sends an e-mail to the administrator to notify the administrator that the FM board 32 needs to be replaced. Inform.
  • the CPU 33 When replacing the FM board 32, the CPU 33 first writes out the dirty data remaining on the old FM board 32 to the drive, and then displays a notification that it can be removed, for example, on the management terminal. After the administrator removes the old FM board 32 from the storage controller 30 and inserts the new FM board 32 into the storage controller 30, the CPU 33 initializes the new FM board 32 and initializes the remaining writable amount. Similarly, the allowable total write speed is calculated. As a result, FM segment allocation is performed using the new FM board 32 thereafter.
  • FIG. 19 is a flowchart of the write command process according to the first embodiment.
  • the write command process is executed when the storage controller 30 receives a write command from the host computer 10.
  • the CPU 33 of the storage controller 30 determines whether or not a cache segment corresponding to the logical block address (write target address) of the write target logical volume designated by the write command has been allocated. Determination is made (step S71). Since this process is the same as the read process (S1 in FIG. 11), detailed description thereof is omitted. As a result, if the cache segment has been allocated (step S71: YES), the process proceeds to step S73. On the other hand, if the cache segment has not been allocated (step S71: NO), the cache allocation process (see FIG. 14) is performed. Execute (step S72), and proceed to step S73. In the cache allocation process, a cache segment is allocated from the RAM 34 or the FM chip 321 to the write target address. Note that two cache segments may be allocated in order to ensure reliability by duplicating the written data.
  • step S73 the CPU 33 locks the slot including the cache segment corresponding to the write target address. Specifically, the CPU 33 indicates that the slot is locked by turning on a bit indicating “locking” in the slot status 110e of the SLCT 110 of the slot including the cache segment.
  • the CPU 33 notifies the host computer 10 that, for example, XFER_RDY is transmitted, that data is ready to be received (step S74).
  • the CPU 33 determines whether or not the allocated cache segment is the RAM segment 343 (step S75). As a result, if the allocated cache segment is the RAM segment 343 (step S75: YES), the CPU 33 performs a data reception process (RAM) (see FIG. 20) for storing the data received from the host computer 10 in the RAM segment 343. Execute (step S76), and the process proceeds to step S78. On the other hand, if the allocated cache segment is the FM segment 325 (step S75: NO), the CPU 33 executes data reception processing (FM) (see FIG. 21) for storing the data received from the host computer 10 in the FM segment 325. (Step S77), and the process proceeds to Step S78.
  • RAM data reception process
  • FM data reception processing
  • step S78 the CPU 33 updates the access monitor table 342. That is, the CPU 33 adds the data amount received by the current write command to the write amount counter 342f of the access monitor table 342, and increments the write command counter 342h. Thereafter, the CPU 33 ends the write command process.
  • FIG. 20 is a flowchart of data reception processing (RAM) according to the first embodiment.
  • the data reception process (RAM) corresponds to the process of step S76 of the write command process shown in FIG.
  • the CPU 33 writes the data received from the host computer 10 to the RAM segment 343 (step S81).
  • the CPU 33 sets that the written data is dirty data (step S82). That is, the CPU 33 sets ON the bit corresponding to the block in which the received data is written in the dirty bitmap 120f of the SGCT 120.
  • the CPU 33 transmits a command completion status to the host computer 10, releases (unlocks) the slot including the RAM segment 343 (step S84), and ends the data reception process (RAM).
  • FIG. 21 is a flowchart of data reception processing (FM) according to the first embodiment.
  • the data reception process (FM) corresponds to the process of step S77 of the write command process shown in FIG.
  • the CPU 33 writes the data received from the host computer 10 to the buffer memory 323 of the FM board 32 (step S91).
  • the CPU 33 tests whether the written data can be read from the buffer memory 323 (step S92). At this time, the CPU 33 may confirm that the data is normal by checking a guarantee code such as CRC (Cyclic Redundancy Check) added to the data.
  • CRC Cyclic Redundancy Check
  • the CPU 33 sets the written data as dirty data (step S93). That is, the CPU 33 turns on the bit corresponding to the block in which the received data is written in the dirty bitmap 120f of the SGCT 120.
  • the CPU 33 transmits a command completion status to the host computer 10 and releases a slot including the FM segment 325 (step S95).
  • the CPU 33 requests the FM processor 302b to store the data on the buffer memory 323 in the cache segment 325 of the FM chip 321 (step S96), and ends the data reception process (FM).
  • FIG. 22 is a flowchart of the FM data reading process according to the first embodiment.
  • the FM data reading process is executed when the FM processor 320b receives a request to read data on the FM chip 321 into the buffer in step S24 of the data transmission process shown in FIG.
  • the FM processor 320b converts the logical address designated by the CPU 33 of the storage controller 30 into a physical address representing a data storage position on the FM chip 321 (step S101). Note that the conversion from a logical address to a physical address can be performed based on a mapping table indicating the correspondence between the logical address and the physical address stored in the buffer memory 323.
  • the FM processor 320b reads the target data from the area corresponding to the physical address of the FM chip 321 and stores it in the buffer memory 323 (step S102).
  • the FM processor 320b transmits a completion response to the CPU 33 of the storage controller 30 (step S103), and ends the FM data reading process.
  • FIG. 23 is a flowchart of the FM data writing process according to the first embodiment.
  • the FM data write process is executed when the FM processor 320b receives a request to store the data on the buffer memory 323 in the cache segment 325 of the FM chip 321 in step S96 of the data reception process (FM) shown in FIG. Is done.
  • the FM processor 320b secures a page (also referred to as an FM page) of the FM chip 321 that is a data storage destination (step S111).
  • the FM processor 320b selects an already erased FM page as a data storage destination. If there is no erased FM page, the FM processor 320b selects an empty block of the FM chip 321 (also referred to as an empty FM block), that is, a block of the FM chip 321 that does not store valid data (also referred to as an FM block). Erasing and selecting a necessary amount of FM pages from the top of the FM block as a data storage destination.
  • the FM processor 320b writes the data on the buffer memory 323 to the secured FM page (step S112).
  • the FM processor 320b updates the mapping table representing the correspondence relationship between the logical address and the physical address so that the logical address to be processed this time corresponds to the physical address of the FM page in which data is newly stored.
  • the fact that the FM page storing the old data is invalid is stored (step S1 13).
  • the FM processor 320b manages the FM block as a free FM block.
  • the data of the empty FM block may be erased, or the data of the empty FM block may be erased later as background processing.
  • the FM processor 320b transmits a completion response to the CPU 33 of the storage controller 30 (step S114), and ends the FM data writing process.
  • FIG. 24 is a configuration diagram of an information system according to the second embodiment.
  • symbol is attached
  • FIG. 24 is a configuration diagram of an information system according to the second embodiment.
  • symbol is attached
  • the main difference between the information system according to the second embodiment and the information system according to the first embodiment is that the FM board 32 is mounted on the host computer 80.
  • This host computer 80 is an example of an information processing apparatus.
  • the information system according to the second embodiment includes a host computer 80 and an HDD 40, SSD 41, or storage system 20 connected to the host computer 80 directly or via a network.
  • the host computer 80 includes a CPU 81, a RAM 84, an FM board 32, a storage interface 82, and a network interface 83.
  • the storage interface 82 is an interface for connecting the HDD 40 or the SSD 41.
  • the network interface 83 is an interface for connecting to the storage system 20 via a network.
  • the FM board 32 has the same configuration as the FM board according to the first embodiment shown in FIG.
  • the RAM 84 stores an application program 841 executed by the CPU 81, an operating system 842 (operating system A, operating system B), a hypervisor program 843, a storage control program 340, and cache control information 341.
  • the RAM 84 stores a cache segment 343 for caching data.
  • the hypervisor program 843 is a program for managing a virtual machine (VM) constructed by the host computer 80. Note that the function of the hypervisor program 843 may be implemented as hardware.
  • FIG. 25 is a diagram illustrating an outline of data input / output processing according to the second embodiment.
  • the hypervisor HV constructed by the CPU 81 executing the hypervisor program 843 is located in the lowest hierarchy.
  • the hypervisor HV is a kind of virtualization mechanism.
  • the virtualization mechanism may be a computer having a processor that executes a program.
  • One or more virtual machines (in FIG. 25, a virtual machine A (VMA) and a virtual machine B (VMB) are realized by the hypervisor HV.
  • VMA virtual machine A
  • VMB virtual machine B
  • the storage control program 340 uses the cache segment 343 of the RAM 34 and the cache segment 325 of the FM chip 321.
  • the cache is controlled in the same way as in Example 1.
  • the storage control program 340 also controls data input / output with respect to the HDD 40, SSD 41, or storage system 20 connected to the host computer 80.
  • the application program 841 of the virtual machine A and the storage control program 340 of the virtual machine B communicate with each other by inter-virtual machine communication.
  • This inter-virtual machine communication is virtualized by the hypervisor HV or each operating system 842, and for the application program 841 and the storage control program 340, for example, the same virtual communication as that via a storage interface such as SCSI is used. This may be done using an interface.
  • the host computer 80 can appropriately cache data using the RAM cache segment 343 and the FM cache segment 325.
  • FIG. 26 is a diagram illustrating a configuration of the information system according to the third embodiment.
  • the information system according to the third embodiment is different from the information system according to the second embodiment in the contents managed by the RAM in the host computer.
  • the host computer 90 includes a RAM 91.
  • the host computer 90 is an example of an information processing apparatus.
  • the RAM 91 stores an operating system 911.
  • the operating system 911 includes a storage control program 340 and cache control information 341 as drivers.
  • FIG. 27 is a diagram illustrating an outline of data input / output processing according to the third embodiment.
  • the storage control program 341 included in the operating system 911 processes this input / output request.
  • caching is performed on the RAM cache segment 343 and the FM cache segment 325.
  • the storage control program 341 passes an input / output request for storage to various device drivers (912, 913) in order to input / output to / from the storage.
  • the device driver A 912 controls the storage interface 82 based on the input / output request.
  • the device driver B 913 controls the network interface 83 based on the input / output request.
  • the operating system 911 of the host computer 90 can appropriately cache data by using the RAM cache segment 343 and the FM cache segment 325.
  • the difference between the information system according to the fourth embodiment and the information system according to the first embodiment is a read command processing procedure.
  • the data staged from the drive is first transmitted from the buffer memory 323 to the host computer 10 before being written from the buffer memory 323 to the FM chip 321, and then written to the FM chip 321.
  • the time required for completion of the read command (response time) can be shortened.
  • FIG. 28 is a configuration diagram of a job control table according to the fourth embodiment.
  • the job control table 344 stores a job type 344a, a logical unit number 344b, a logical block address 344c, a transfer length 344d, and a buffer address 344e.
  • the job type 344a represents the type of processing performed by the job.
  • the job type 344a is an ID indicating a job such as “1” for read command processing and “2” for write command processing, for example.
  • the logical unit number 344b, the logical block address 344c, and the transfer length 344d are the logical unit number, logical block address (LBA), and transfer specified for the access target specified in the read / write command received from the host computer 10, respectively. Represents length.
  • the buffer address 344e represents the address of the buffer secured by this job.
  • the buffer address 344e is a value (for example, NULL) indicating that the address is invalid when the buffer is not secured.
  • FIG. 29 is a first flowchart of a read command process according to the fourth embodiment
  • FIG. 30 is a second flowchart of a read command process according to the fourth embodiment.
  • the symbol A in the flowchart of FIG. 29 indicates that it is connected to the symbol A in the flowchart of FIG.
  • the read command process is executed when the storage controller 30 receives a read command from the host computer 10.
  • the CPU 33 of the storage controller 30 determines whether or not a cache segment corresponding to the read target address specified by the read command has been allocated (step S1). As a result, if the cache segment has been allocated (step S1: YES), the CPU 33 advances the process to step S3, while if the cache segment has not been allocated (step S1: NO), the cache allocation process (FIG. 14). (Refer to step S2), and the process proceeds to step S3.
  • the cache allocation process is as described in the first embodiment.
  • step S3 the CPU 33 locks the slot including the cache segment corresponding to the read target address. Specifically, the CPU 33 indicates that the slot is locked by turning on a bit indicating “locking” in the slot status 110e of the SLCT 110 of the slot including the cache segment.
  • the CPU 33 determines whether or not the read target data is stored in the cache segment, that is, whether or not it is a cache hit (step S4). Specifically, the CPU 33 examines the staging bitmap 120e and the dirty bitmap 120f of the SGCT 120 corresponding to the cache segment to be read, and for all the blocks to be read, the bit or dirty of the staging bitmap 120e corresponding to the block. If any of the bits of the bitmap 120f is ON, it is determined that a cache hit has occurred. On the other hand, the CPU 33 determines that there is a cache miss when there is one block in which the corresponding bits of the dirty bitmap 120f and the staging bitmap 120e are both OFF within the range to be read.
  • step S4 YES
  • the CPU 33 advances the process to step S122
  • step S4: NO the staging process (see FIG. 31) is executed (step 31).
  • step S121) the process proceeds to step S122.
  • the staging process data is read from the drive (HDD 40 or SSD 41) to the cache segment (325 or 343).
  • the read target data is stored in the cache segment (325 or 343).
  • step S122 the CPU 33 executes a data transmission process (see FIG. 32) for transmitting the data stored in the cache segment to the host computer 10.
  • the CPU 33 transmits a command completion status to the host computer 10 (step S7).
  • the CPU 33 returns an error status (for example, CHECK CONDITION) if an error occurs during command processing and the read processing is not completed normally, while if the read processing is completed normally, the normal status (GOOD )return it.
  • an error status for example, CHECK CONDITION
  • step S123 the CPU 33 determines whether or not writing to the FM chip 321 is being performed. “Writing to the FM chip 321” means a state in which a data write request from the buffer memory 323 to the FM chip 321 is transmitted to the FM processor 320b and a completion notification is not yet received from the FM processor 320b. To do. If the result is true (step S123: YES), the CPU 33 waits for a completion notification from the FM processor 320b (step S124), and advances the process to step S125. On the other hand, if it is false (step S123: NO), the CPU 33 advances the process to step S125.
  • step S125 the CPU 33 releases the buffer.
  • the CPU 33 releases (unlocks) the locked slot (step S8), updates the access monitor table 342 (step S9), and ends the read command processing.
  • the update of the access monitor table 342 includes, for example, adding the data amount read by the current read command to the read amount counter 342e and incrementing the read command counter 342g.
  • FIG. 31 is a flowchart of staging processing according to the fourth embodiment.
  • the staging process corresponds to the process of step S121 of the read command process of FIG.
  • the CPU 33 checks the type of the cache memory that is the basis of the cache segment assigned to the read target address, and determines whether or not the cache segment is a cache segment (RAM segment) 343 on the RAM 34 (step). S11).
  • the type of the cache memory on which the cache segment is based can be specified by referring to the memory type 120c of the corresponding SGCT 120.
  • step S11: YES the CPU 33 advances the process to step S12.
  • step S11: NO the process proceeds to step S13. Proceed to
  • step S12 the CPU 33 reads data to be read (target for staging) from the drive (HDD 40 or SSD 41), stores it in the RAM segment 343, and ends the staging process.
  • step S13 since the cache segment is not the RAM segment 343, that is, the cache segment (FM segment) 325 on the FM chip 321, the data read from the drive is not directly written to the FM chip 321, but once, After the data is stored in the buffer memory 323 of the FM board 32, the data is written from the buffer memory 323 to the FM chip 321.
  • step S13 the CPU 33 secures an area (buffer) for storing data read from the drive in the buffer memory 323. That is, the CPU 33 allocates a sufficient area in the buffer memory 323 to store the data to be staged.
  • the CPU 33 reads out the data to be staged from the drive and stores it in the buffer (step S14).
  • the BE I / F 35 receives data from the CPU 33 and stores data from the drive to the buffer of the buffer memory 323 of the FM board 32.
  • the CPU 33 requests the FM processor 320b to store the data on the buffer of the buffer memory 323 in the FM chip 321 (step S15).
  • the FM processor 320b executes a data transmission process (see FIG. 32).
  • FIG. 32 is a flowchart of data transmission processing according to the fourth embodiment.
  • the data transmission process corresponds to the process of step S122 of the read command process shown in FIG.
  • the CPU 33 checks the type of the cache memory that is the basis of the cache segment assigned to the read target address, and determines whether or not the cache segment is the RAM segment 343 (step S21).
  • the type of the cache memory on which the cache segment is based can be specified by referring to the memory type 120c of the corresponding SGCT 120.
  • step S21: YES if the cache segment is the RAM segment 343 (step S21: YES), the CPU 33 advances the process to step S22, while if the cache segment is not the RAM segment 343 (step S21: NO), the process proceeds to step S131. Proceed to
  • step S22 the CPU 33 transfers the read target (transmission target) data from the RAM segment 343 to the host computer 10 and ends the data transmission process.
  • step S131 the CPU 33 checks whether or not the buffer address 344e of the job control table 344 corresponding to the read / write command is valid. As a result, if the buffer address 344e is valid (step S131: VALID), the CPU 33 advances the process to step S132, while if the buffer address 344e is invalid, the process advances to step S23.
  • step S23 the CPU 33 secures a buffer in the buffer memory 323. That is, the CPU 33 allocates an area sufficient to store the transmission target data from the buffer memory 323.
  • the CPU 33 requests the FM processor 320b to read the data of the FM chip 321 to the buffer of the buffer memory 323 (step S24).
  • the FM processor 320b executes FM data read processing (see FIG. 22).
  • the transmission target data is stored in the buffer memory 323.
  • the FM processor 320b finishes the FM data reading process, it returns a completion response to the request to the CPU 33.
  • the CPU 33 receives a completion response to the request from the FM processor 320b (step S25), and advances the process to step S132.
  • step S132 the CPU 33 transmits data to be transmitted from the buffer memory 323 to the host computer 10.
  • the difference between the information system according to the fifth embodiment and the information system according to the first embodiment is that the information system according to the fifth embodiment reviews the memory type to which the cache segment is allocated and responds to the data access characteristics and the like. Thus, data is moved from the allocated cache segment to a cache segment of a different memory type. Thereby, the data can be stored in an appropriate cache segment according to the access characteristic of the data.
  • FIG. 33 is a flowchart of the memory type review process according to the fifth embodiment.
  • the memory type review process may be performed periodically for each allocated segment, for example, or when the data is transferred from one drive to another drive, it may be performed for the segment in which the data is stored. Also good.
  • the CPU 33 locks a slot including a cache segment to be processed (referred to as a process target segment in the description of FIG. 33) (step S151).
  • the CPU 33 determines whether or not the memory type of the processing target segment is appropriate (step S152).
  • a criterion for this determination a part or all of the criterion for the cache allocation process shown in FIG. 14 can be used. For example, when the access frequency is high or when SSD data is stored, the RAM segment 343 is appropriate, and in other cases, the FM segment 325 is determined appropriate.
  • step S152 YES
  • the CPU 33 releases the slot (step S153) and ends the memory type review process.
  • step S152: NO the process proceeds to the following process.
  • the CPU 33 checks whether there is an empty segment of an appropriate memory type (step S154). As a result, if there is no free segment of an appropriate memory type (step S154: NO), the CPU 33 releases the slot (step S153) and ends the memory type review process.
  • step S154 YES
  • the CPU 33 newly allocates an appropriate memory type segment to the data of the segment to be processed (step S155).
  • the CPU 33 copies data from the old cache segment to the new cache segment (step S156), releases the old cache segment (step S157), releases the slot (step S153), and ends the memory type review process. .
  • Storage system 30 Storage controller 32: FM board 34: RAM 321: FM chip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　情報処理装置は、特性の異なる複数種類のキャッシュメモリを有し、キャッシュ対象のデータのアクセス特性に基づいて、データのキャッシュ先とするキャッシュメモリの種類を決定し、決定した種類のキャッシュメモリにデータをキャッシュする。

Description

[規則37.2に基づきISAが決定した発明の名称]　特性の異なる複数種類のキャッシュメモリを有する情報処理装置
　本発明は、データのキャッシュ制御の技術に関する。
　メモリの一例として、半導体不揮発性メモリであるフラッシュメモリが知られている。フラッシュメモリは、ＤＲＡＭやＳＲＡＭ等の揮発性メモリ（以下、ＲＡＭと表記する。）に比べて記憶密度を高めやすく、容量当たりのコスト（ビットコスト）を安くすることが可能である。また、フラッシュメモリは、磁気ディスク等に比べて高速なデータアクセスが可能である。そのため、フラッシュメモリをディスクキャッシュとして利用することで安価な大容量ディスクキャッシュを作ることが可能となる。
　しかし、フラッシュメモリには次のような制限がある。まず、フラッシュメモリの各ビットの更新は１から０（または０から１）の一方向に限定される。そして、ビットに対して逆の変更が必要な場合は、ブロックからデータの消去を行って一旦ブロック全体を１（または０）にする必要がある。ここで、フラッシュメモリが有している複数のブロック（物理ブロック）をブロックと呼ぶ。各ブロックは、複数のページ（物理ページ）で構成されている。また、フラッシュメモリにおけるブロックの消去回数には上限があり、例えばＳＬＣ（Single　Level　Cell）のＮＡＮＤ型フラッシュメモリの場合には、消去回数の上限が、一万から十万回程度であり、ＭＬＣ（Multiple　Level　Cell）のＮＡＮＤ型フラッシュメモリの場合には、消去回数の上限が数千回程度である。そのため、フラッシュメモリをディスクキャッシュとして使用する場合、高頻度な書き換えを行うと、比較的短期間に消去回数が上限に達してしまい、使えなくなるおそれがある。
　また、フラッシュメモリのアクセス性能はＲＡＭに比べると低いため、ＲＡＭの代わりにフラッシュメモリをディスクキャッシュに用いると、ディスクキャッシュがシステム性能のボトルネックになるおそれがある。
　また、フラッシュメモリ以外にも相変化メモリ、磁気抵抗メモリ、抵抗変化メモリなどの不揮発性半導体メモリも開発されており、これらの不揮発性半導体メモリもＲＡＭに比べて記憶密度を高めやすく、ＲＡＭに比べて安価で大容量なメモリとなる可能性がある。しかしながら、これらの不揮発性半導体メモリも、一般的には、ＲＡＭに比べると低速であったり、あるいは短寿命であったりする。
　キャッシュに関する技術としては、例えば特許文献１に開示された技術のように、ＲＡＭなどの揮発性メモリを一時格納先とし、不揮発性メモリを補助的に使用する技術が知られている。
米国特許第８１３１９３０号明細書
　フラッシュメモリなどの不揮発性半導体メモリは、一般的にＲＡＭに比べてアクセス性能が低く、ＨＤＤに比べてアクセス性能が高い特性を有する。そのため、特許文献１のように、フラッシュメモリをＲＡＭキャッシュと、ＨＤＤ等のデータの最終格納先（最終ストレージデバイス）との間のキャッシュとして使用する方式が用いられている。
　しかしながら、先に述べたとおりフラッシュメモリなどの不揮発性半導体メモリは消去回数の制約があり、高頻度な書き換えが行われる場合、比較的短期間のうちに消去回数が上限に達し、使用できなくなる（つまり、短寿命である）。一般にディスクキャッシュのアクセス頻度は、ＨＤＤ等の最終ストレージデバイスのアクセス頻度よりも高いため、フラッシュメモリをディスクキャッシュとして用いる場合、フラッシュメモリを最終ストレージデバイスとして用いる場合に比べ、より早期に使用できなくなる（長期間の使用に耐えられない）可能性が高い。フラッシュメモリ部分が交換可能な装置構成であったとしても、フラッシュメモリ部分が短寿命であれば、当該部分の交換頻度が高くなるため、装置の保守管理コストを押し上げることになる。
　また、特許文献１のようにＲＡＭとフラッシュメモリとの階層構造を持つキャッシュ方式では、例えばリード対象データがフラッシュメモリに格納されていた場合、リード対象データを一旦ＲＡＭキャッシュにステージングした後に当該データをホスト計算機へ送信するため、ステージング処理のオーバヘッドが発生する。昨今のストレージシステムに対する要求性能の伸びを鑑みるに、この処理オーバヘッドは無視することのできないものであり、より処理オーバヘッドの小さいＩ／Ｏ処理方式が求められる。
　また、前述のとおり、フラッシュメモリなどの不揮発性半導体メモリのアクセス性能は一般的にＲＡＭに比べて低いため、不揮発性半導体メモリを用いたディスクキャッシュがシステム性能のボトルネックになるおそれがある。
　本発明の情報処理装置は、特性の異なる複数種類のキャッシュメモリを有し、キャッシュ対象のデータのアクセス特性に基づいて、データのキャッシュ先とするキャッシュメモリの種類を決定し、決定した種類のキャッシュメモリにデータをキャッシュする。情報処理装置は、例えば、複数のストレージデバイスと、複数のストレージデバイスに接続されたコントローラとを有したストレージ装置であって良い。コントローラが、前述の複数種類のキャッシュメモリと、それら複数種類のキャッシュメモリに接続された制御デバイスとを有して良い。複数のストレージデバイスの各々は、例えば、後述の最終ストレージデバイスで良い。
　本発明の一実施形態では、特性の異なる複数種類のキャッシュメモリとして、フラッシュメモリとＲＡＭが用いられる。フラッシュメモリとＲＡＭの特性を比較すると、フラッシュメモリはＲＡＭと比べて、アクセス性能が低く、また書き換え回数に制限がある等の特性の違いがあるので、情報処理装置は、キャッシュメモリに格納されるデータが、ＲＡＭの特性に適合するデータは、ＲＡＭを用いたキャッシュメモリにキャッシュし、フラッシュメモリの特性に適合するデータは、フラッシュメモリを用いたキャッシュメモリにキャッシュする。具体的には、たとえば高スループットが求められる、あるいは更新頻度が高いと判断されるデータは、フラッシュメモリを用いたキャッシュメモリには書き込まず、ＲＡＭを用いたキャッシュメモリに直接キャッシュするよう制御する。
　本発明によれば、高価なＲＡＭに加え、ＲＡＭよりも低価格でＨＤＤよりもアクセス性能が高いフラッシュメモリなどの記憶媒体をキャッシュとして適切に利用することができるようになるので、低価格で大容量のキャッシュを備えた情報処理装置を提供することができる。
図１は、本発明に係るキャッシング先選択処理の概要を示す概念図である。 図２は、実施例１に係る情報システムの第１の構成例を示す図である。 図３は、実施例１に係る情報システムの第２の構成例を示す図である。 図４は、実施例１に係るＦＭボードの構成図である。 図５は、実施例１に係るストレージコントローラのＲＡＭの構成図である。 図６は、実施例１に係るアクセスモニタテーブルの構成図である。 図７は、実施例１に係るキャッシュ管理データ構造の概念図である。 図８は、実施例１に係るキャッシュ管理データ構造の一部のデータ構造を示す図である。 図９は、実施例１に係るダーティキューおよびクリーンキューのデータ構造を示す図である。 図１０は、実施例１に係るＦＭフリーキューおよびＲＡＭフリーキューのデータ構造を示す図である。 図１１は、実施例１に係るリードコマンド処理のフローチャートである。 図１２は、実施例１に係るステージング処理のフローチャートである。 図１３は、実施例１に係るデータ送信処理のフローチャートである。 図１４は、実施例１に係るキャッシュ割り当て処理のフローチャートである。 図１５は、実施例１に係るＦＭ優先セグメント割り当て処理のフローチャートである。 図１６は、実施例１に係るＲＡＭ優先セグメント割り当て処理のフローチャートである。 図１７は、実施例１に係るアクセスモニタ集計処理のフローチャートである。 図１８は、実施例１に係る判定用閾値算出方法を説明する図である。 図１９は、実施例１に係るライトコマンド処理のフローチャートである。 図２０は、実施例１に係るデータ受領処理（ＲＡＭ）のフローチャートである。 図２１は、実施例１に係るデータ受領処理（ＦＭ）のフローチャートである。 図２２は、実施例１に係るＦＭデータ読み出し処理のフローチャートである。 図２３は、実施例１に係るＦＭデータ書き込み処理のフローチャートである。 図２４は、実施例２に係る情報システムの構成図である。 図２５は、実施例２に係るデータ入出力処理の概要を示す図である。 図２６は、実施例３に係る情報システムの構成を示す図である。 図２７は、実施例３に係るデータ入出力処理の概要を示す図である。 図２８は、実施例４に係るジョブ制御テーブルの構成図である。 図２９は、実施例４に係るリードコマンド処理の第１のフローチャートである。 図３０は、実施例４に係るリードコマンド処理の第２のフローチャートである。 図３１は、実施例４に係るステージング処理のフローチャートである。 図３２は、実施例４に係るデータ送信処理のフローチャートである。 図３３は、実施例５に係るメモリ種類見直し処理のフローチャートである。 図３４は、本発明の実施例に係る、論理ボリュームとキャッシュ管理データとの関係を表した概念図である。
　最初に、本発明の概要を説明する。図１は、本発明の情報処理装置の一例であるストレージシステムにおける、キャッシング先選択処理の概要を示す概念図である。
　企業や組織で扱われる電子情報は急増していることから、大量のデータをより高速に処理するために、ユーザのＩＴシステムに対する要求性能は年々高くなってきている。一方でＩＴシステムのコストを削減したいというニーズも高く、ユーザからは、高性能であるとともに、低価格な情報処理装置が求められている。たとえば大量のデータアクセスが発生する計算機システムでは、データを格納するためのストレージシステムの性能の良し悪しが、システムの性能を大きく左右する。
　ストレージシステムには、そのアクセス性能を向上させるために、キャッシュ（ディスクキャッシュ）が設けられる。一般にキャッシュには、データの最終的な格納先（最終ストレージデバイス）であるハードディスク等よりもアクセス性能の高い記憶媒体である、ＤＲＡＭやＳＲＡＭなどのランダムアクセスメモリ（以下、「ＲＡＭ」と呼ぶ）が用いられることが多い。ＲＡＭの欠点は、高価格（ビットコストが高い）ことであり、ＲＡＭを用いたキャッシュをストレージシステムに多く搭載すれば、ストレージシステムの平均的な性能を引き上げることはできるが、高価格になるという問題がある。
　本発明におけるストレージシステムは、図１に示すように、ストレージコントローラ３０上にキャッシュとして、ＦＭ３２１とＲＡＭ３４を搭載し、最終ストレージデバイスであるＨＤＤ４０やＳＳＤ４１に格納されるデータを、ＦＭ３２１またはＲＡＭ３４のいずれかにキャッシュする。ＦＭはＲＡＭと比べて、低ビットコストであるため、低価格で大容量のキャッシュ記憶領域を提供することができる。
　一方ＦＭとＲＡＭの特性を比較すると、ＦＭはＲＡＭと比べてアクセス性能が低く、また書き換え回数に制限がある等の特性の違いがあるので、ストレージコントローラ３０は、キャッシュ対象のデータのアクセス特性に応じて、ＲＡＭの特性に適合するデータは、キャッシュ先としてＲＡＭ３４を選択し、フラッシュメモリの特性に適合するデータは、キャッシュ先としてＦＭ３２１を選択する制御を行う。データのアクセス特性としては、例えば、キャッシュ対象データのアクセス頻度や、アクセスパターン等が用いられ、ストレージコントローラ３０はたとえば、高スループットが求められる、あるいは更新頻度が高いと判断されるデータは、フラッシュメモリを用いたキャッシュメモリには書き込まず、ＲＡＭ３４をキャッシュ先として選択する。
　これにより、高価なＲＡＭに加え、ＲＡＭよりも低価格でＨＤＤよりもアクセス性能が高いフラッシュメモリなどの記憶媒体をキャッシュとして適切に利用することができるストレージシステムを実現できる。本発明におけるストレージシステムは特に、オンライントランザクション処理（ＯＬＴＰ）やＥＲＰ（Enterprise　Resource　Planning）等の大量のデータに対するデータアクセスを行う業務アプリケーションが実行される、計算機システムにおける利用に好適である。
　以下では、いくつかの実施例について、図面を参照して説明する。なお、以後の説明では「ａａａテーブル」等の表現にて情報を説明する場合があるが、これら情報は、テーブル等のデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために「ａａａテーブル」等について「ａａａ情報」と呼ぶことがある。
　また、以後の説明では「プログラム」を主語として説明を行う場合があるが、プログラムは、プロセッサ（典型的にはＣＰＵ（Central　Processing　Unit））を含む制御デバイスによって実行されることで、定められた処理をメモリ及びＩ／Ｆ（インタフェース）を用いながら行うため、プロセッサ又は制御デバイスを主語とした説明としてもよい。制御デバイスは、プロセッサであっても良いし、プロセッサとハードウェア回路を含んでいても良い。また、プログラムを主語として開示された処理は、ホスト計算機、ストレージシステムが行う処理としてもよい。また、プログラムの一部または全ては専用ハードウェアによって実現されてもよい。また、各種プログラムはプログラム配布サーバや、計算機が読み取り可能な記憶メディアによって各計算機にインストールされてもよい。記憶メディアとしては、例えば、ＩＣカード、ＳＤカード、ＤＶＤ等であってもよい。
　まず、実施例１に係る情報システムについて説明する。
　図２は、実施例１に係る情報システムの第１の構成例を示す図である。
　情報システムは、ホスト計算機１０と、ホスト計算機に直接あるいはネットワークを介して接続されるストレージシステム２０（情報処理装置の一例）とを有する。ストレージシステム２０は、ストレージコントローラ３０と、ストレージコントローラ３０に接続されるＨＤＤ（Hard　Disk　Drive）４０および／またはＳＳＤ（Solid　State　Drive）４１とを有する。ＨＤＤ４０および／またはＳＳＤ４１は、ストレージデバイスの一例である。ＨＤＤ４０および／またはＳＳＤ４１は、ストレージコントローラ３０に内蔵されていてもよい。
　ストレージコントローラ３０は、一つ以上のフロントエンドインタフェース（ＦＥ　Ｉ／Ｆ）３１、１つ以上のバックエンドインタフェース（ＢＥ　Ｉ／Ｆ）３５、１つ以上のＦＭ（フラッシュメモリ）ボード３２、ＣＰＵ３３、およびＲＡＭ（Random　Access　Memory）３４を含む。ＲＡＭ３４は、メモリ（メモリデバイス）であり、キャッシュメモリの一例である。
　本発明の実施例１に係るストレージコントローラ３０は、複数のストレージデバイス（ＨＤＤ４０やＳＳＤ４１）から１ないし複数の論理ボリューム（実体的な論理ボリューム）を形成して、ホスト計算機１０に提供する（ホスト計算機１０が当該形成された論理ボリュームを認識できるようにする）。あるいは、いわゆるシンプロビジョニング技術によって形成される論理ボリューム（仮想的な論理ボリュームであって、当該仮想的な論理ボリューム内の各領域には、動的に記憶領域が割り当てられる）をホスト計算機１０に提供する。ホスト計算機１０は、この提供された論理ボリューム（実体的な論理ボリュームまたは仮想的な論理ボリューム）及び論理ボリューム内の位置（論理ブロック番号。ＬＢＡと略記されることもある）を指定したＩ／Ｏコマンド（ライトコマンド又はリードコマンド）を発行して、論理ボリュームに対するデータのリード・ライト処理を行う。ただし、ストレージコントローラ３０が論理ボリュームを提供するものでない態様、たとえばストレージシステム２０が、各ＨＤＤ４０、各ＳＳＤ４１を、それぞれ単一の記憶デバイスとしてホスト計算機１０に提供する構成であっても、本発明は有効である。なお、ホスト計算機が認識する論理ボリュームのことを、論理ユニット（Logical　Unit。ＬＵと略記されることもある）と呼ぶこともあり、本明細書においては特に断りのない限り、論理ボリュームと論理ユニット（ＬＵ）の語は、いずれも同一の概念を意味するものとして用いられている。
　ＦＥ　Ｉ／Ｆ３１は、ホスト計算機１０と通信するためのインタフェースデバイスである。ＢＥ　Ｉ／Ｆ３５は、ＨＤＤ４０又はＳＳＤ４１と通信するためのインタフェースデバイスである。ＢＥ　Ｉ／Ｆ３５は、例えばＳＡＳやFibre　Channelのインタフェースデバイスである。ＦＭボード３２は、ＦＭチップ３２１（図４参照）を搭載したボードである。ＣＰＵ３３は、各種処理を実行する。ＲＡＭ３４は、ＣＰＵ３３で実行するプログラム及び各種テーブルを記憶する。ＲＡＭ３４は、キャッシュメモリ領域を含んでおり、キャッシュメモリ領域は、複数のキャッシュセグメントで構成される。キャッシュセグメントは、ＣＰＵ３３によって管理される単位領域である。例えば、ＲＡＭ３４におけるキャッシュメモリ領域では、キャッシュセグメント単位で、領域確保、データの読出し及びデータの書込みが行われて良い。キャッシュメモリ領域には、最終ストレージデバイスから読み出されるデータ、及び、最終ストレージデバイスに書き込まれるデータ（典型的には、ホスト計算機１０からのＩ／Ｏコマンド（ライトコマンド又はリードコマンド）に従うデータであるユーザデータ）がキャッシュされる（一時的に格納される）。最終ストレージデバイスとは、Ｉ／Ｏコマンドで指定されているＩ／Ｏ先に従いストレージコントローラ３０によってＩ／Ｏが行われるデータが格納されるストレージデバイスである。具体的には、例えば、Ｉ／Ｏコマンド（ライトコマンド）に従うデータは、一旦はキャッシュメモリ領域に格納されるが、その後、Ｉ／Ｏコマンドで指定されている論理ユニット（論理ボリューム）を構成しているストレージデバイスの領域（論理ボリュームが仮想的な論理ボリュームである場合には、当該論理ボリュームの領域に対して割り当てられているストレージデバイスの領域）に格納される。最終ストレージデバイスとは、この論理ボリュームを形成するストレージデバイスのことを意味する。本実施例では、最終ストレージデバイスは、ＨＤＤ又はＳＳＤであるが、他種のストレージデバイス、例えば、複数のストレージデバイスを有する外部ストレージシステムであっても良い。
　図２では、情報システムの各構成要素を１つずつ図示しているが、冗長化、高性能化、あるいは大容量化などのために、各構成要素を複数備えるようにしてもよい。また、各構成要素間はネットワークを介して接続されてもよい。ネットワークは、スイッチやエキスパンダなどを含んでいても良い。情報システムとしては、例えば図３のような構成が考えられる。
　図３は、実施例１に係る情報システムの第２の構成例を示す図である。
　図３に示す情報システムは、２つのストレージコントローラ３０（ストレージコントローラＡ、ストレージコントローラＢ）を含む、これらのストレージコントローラ３０は、ノードインタフェース（ノードＩ／Ｆ）３６を介して接続される。ノードインタフェース３６は、例えばInfiniband、Fibre　Channel（ＦＣ）、Ethernet（登録商標）等のネットワークインタフェースのデバイスでもよく、また、PCI　Expressのようなバスのインタフェースのデバイスでもよい。
　これらストレージコントローラ３０は、Fibre　Channel、Ethernet、Infiniband等のネットワーク５０を介してホスト計算機１０に接続される。図３では、ネットワーク５０をSAN(Storage　Area　Network)と総称する。
　情報システムは、ドライブエンクロージャ６０を有する。ドライブエンクロージャ６０は、複数のＨＤＤ４０やＳＳＤ４１を格納する。複数のＨＤＤ４０やＳＳＤ４１は、ドライブエンクロージャ６０内のエキスパンダ４２に接続される。エキスパンダ４２は、各ストレージコントローラ３０のＢＥ　Ｉ／Ｆ３５に接続される。ＢＥ　Ｉ／Ｆ３５がＳＡＳのインタフェースデバイスである場合には、エキスパンダ４２は、例えばSAS　Expanderであり、ＢＥ　Ｉ／Ｆ３５がFibre　Channelのインタフェースデバイスである場合、エキスパンダ４２は、例えばＦＣスイッチである。
　図３では、ストレージシステム２０は、ドライブエンクロージャ６０を１つ備えているが、複数のドライブエンクロージャ６０を備えてもよい。この場合、ＢＥ　Ｉ／Ｆ３５の複数のポートのそれぞれに対して各ドライブエンクロージャ６０を直接接続してもよいし、ＢＥ　Ｉ／Ｆ３５のポートに、スイッチを経由して複数のドライブエンクロージャ６０を接続してもよい。また、各ドライブエンクロージャ６０のエキスパンダ４２同士をカスケード接続することで複数のドライブエンクロージャ６０を数珠繋ぎにして、ＢＥ　Ｉ／Ｆ３５のポートに接続するようにしてもよい。
　図４は、実施例１に係るＦＭボードの構成図である。
　ＦＭボード３２は、一つ以上のフラッシュメモリ（ＦＭ）チップ３２１、ＦＭアダプタ３２０、バスコネクタ３２２、バッファメモリ３２３、及びバッテリ３２４を含む。なお、本実施例及び以降の実施例では、フラッシュメモリチップ３２１を備えたメモリボードであるＦＭボード３２を代表例として説明をするが、ＦＭボード３２に代えて、フラッシュメモリ以外の不揮発半導体メモリ、例えばＰＲＡＭ（相変化メモリ）やＭＲＡＭ（磁気抵抗メモリ）、ＲｅＲＡＭ（抵抗変化メモリ）のチップを備えたメモリボードを用いてもよい。ＦＭボード３２のようなメモリボードは、メモリ（メモリデバイス）であって、キャッシュメモリの一例である。
　ＦＭチップ３２１は、例えば、ＮＡＮＤ型のフラッシュメモリのチップである。本実施例では、複数のＦＭチップ３２１は、キャッシュメモリ領域として使用され、ＣＰＵ３３によって、複数のキャッシュセグメントとして管理される。１つのキャッシュセグメントのサイズは、例えば、ＦＭチップ３２１の消去単位であるブロックの複数個分のサイズである。ＦＭチップ３２１は、ＲＡＭ３４よりもアクセス性能が低く、また、データの消去回数に制限があるという特性を有している。１つのＦＭチップ３２１は、複数のブロック（物理ブロック）で構成されている。１つの物理ブロックは、複数のページ（物理ページ）で構成されている。
　バスコネクタ３２２は、ストレージコントローラ３０上のPCI　ExpressなどのバスにＦＭボード３２を接続するための接続端子である。例えば、ＦＭボード３２とストレージコントローラ３０の主基板とを一体のものとして実装する場合は、バスコネクタ３２２を省略する構成としてもよい。
　バッファメモリ３２３は、例えば、ＤＲＡＭやＳＲＡＭなどのＲＡＭであり、外部からＦＭチップ３２１へのデータ転送時や、ＦＭチップ３２１から外部へのデータ転送時のバッファとして用いられる。バッファメモリ３２３は、ＦＭプロセッサ３２０ｂが実行するプログラムや、ＦＭプロセッサ３２０ｂやＤＭＡＣ３２０ｄ等が使用するデータを格納してもよい。
　バッテリ３２４は、バッファメモリ３２３によるデータの記憶に必要な電力のバックアップを行うためのバッテリである。従って、バッファメモリ３２３は、外部からの電力供給が遮断された場合であっても、バッテリ３２４の電力により、継続してデータを記憶しておくことができる。
　ＦＭアダプタ３２０は、ＦＭコントローラ３２０ａ、ＦＭプロセッサ３２０ｂ、バスコントローラ３２０ｃ、ＤＭＡ（Direct　Memory　Access）コントローラ（ＤＭＡＣ）３２０ｄ、およびＲＡＭコントローラ３２０ｅを含む。ＦＭアダプタ３２０は、例えば、ＡＳＩＣなどの集積回路である。なお、本実施例では、ＦＭアダプタ３２０は、一つの集積回路に各構成の回路群を内蔵しているが、これらの回路を複数の集積回路に分割して実装してもよい。また、ある回路（例えばＤＭＡＣ３２０ｄ）の機能を別の回路（例えばＦＭプロセッサ３２０ｂ）で代替してもよい。
　図５は、実施例１に係るストレージコントローラのＲＡＭの構成図である。
　ＲＡＭ３４は、例えばＤＲＡＭやＳＲＡＭ等のランダムアクセスメモリである。ＲＡＭ３４は、ＣＰＵ３３が実行するストレージ制御プログラム３４０、キャッシュ制御情報３４１、アクセスモニタテーブル３４２、およびジョブ制御テーブル３４４を格納する。また、ＲＡＭ３４には、データをキャッシュして管理するための複数のキャッシュセグメント３４３が格納される。このキャッシュセグメント３４３に、ＨＤＤ４０又はＳＳＤ４１に格納されるデータ、又は、ＨＤＤ４０又はＳＳＤ４１から読み出されたデータをキャッシュすることができる。
　ストレージ制御プログラム３４０は、キャッシュ制御プログラムの一例であり、キャッシュに関わる各種制御処理を実行する。なお、処理の詳細については後述する。キャッシュ制御情報３４１は、キャッシュディレクトリ１００（図７参照）と、クリーンキュー（図９参照）と、ダーティキュー（図９参照）と、ＦＭフリーキュー２００（図７参照）と、ＲＡＭフリーキュー３００（図７参照）が含まれる。キャッシュ制御情報３４１に関するデータ構造については後述する。
　ＲＡＭ３４の実装方法としては、例えば基板上に複数のＲＡＭのメモリチップを搭載したＤＩＭＭのようなメモリモジュールを構成しておき、このメモリモジュールをストレージコントローラ３０の主基板上のメモリスロットに接続するようにしてもよい。なお、ストレージコントローラ３０の主基板と別の基板上にＲＡＭを搭載する構成とすることにより、ストレージコントローラ３０の主基板とは独立に保守交換やＲＡＭ容量増設を行えるようにすることができる。また、停電など不慮の障害が発生した場合に、ＲＡＭ３４上の記憶内容が消失することを避けるために、バッテリを設けて、停電時等にもＲＡＭ３４上の記憶内容を維持できるような構成にしてもよい。
　図６は、実施例１に係るアクセスモニタテーブルの構成図である。
　アクセスモニタテーブル３４２は、ストレージシステム２０における論理ユニット（論理ボリューム）内の各部分領域に対するアクセスの頻度や、データ読み出し・書き込みの速度を集計するための情報を記憶するとともに、集計結果を記憶するためのテーブルである。アクセスモニタテーブル３４２は、論理ユニット内の各部分領域のそれぞれに対して、例えば、リード速度３４２ａ、ライト速度３４２ｂ、リード頻度３４２ｃ、ライト頻度３４２ｄ、リード量(バイト数)カウンタ３４２ｅ、ライト量カウンタ３４２ｆ、リードコマンドカウンタ３４２ｇ、ライトコマンドカウンタ３４２ｈ、およびモニタ開始時刻３４２ｉを記憶する。部分領域（つまり１つのアクセスモニタテーブル３４２でアクセス頻度やアクセス速度を集計する単位）のサイズとしては、様々なサイズ（ただし論理ボリュームのサイズよりは小さいサイズ）を選択可能であるが、後述する通り、本発明におけるストレージシステムでは、アクセスモニタテーブル３４２の情報に基づいて、キャッシュセグメントの割り当てを行うので、部分領域のサイズを、キャッシュセグメントと同じサイズとする、あるいはキャッシュセグメントの整数倍とすることが、好ましい。
　リード速度３４２ａは、論理ユニット内の部分領域に対するリード速度（例えば、単位は、ＭＢ／Ｓｅｃ）である。ライト速度３４２ｂは、論理ユニット内の部分領域に対するライト速度（例えば、単位は、ＭＢ／Ｓｅｃ）である。リード頻度３４２ｃは、論理ユニット内の部分領域に対するリードの発生頻度である。ライト頻度３４２ｄは、論理ユニット内の部分領域に対するライトの発生頻度である。リード量カウンタ３４２ｅは、論理ユニット内の部分領域においてリードされたデータのデータ量のカウンタである。ライト量カウンタ３４２ｆは、論理ユニット内の部分領域においてライトされたデータのデータ量のカウンタである。リードコマンドカウンタ３４２ｇは、論理ユニット内の部分領域においてリードを行ったコマンドの数のカウンタである。ライトコマンドカウンタ３４２ｈは、論理ユニット内の部分領域においてライトを行ったコマンドの数のカウンタである。モニタ開始時刻３４２ｉは、論理ユニット内の部分領域に対するモニタを開始した時刻である。リード量カウンタ３４２ｅ、ライト量カウンタ３４２ｆ、リードコマンドカウンタ３４２ｇ、およびライトコマンドカウンタ３４２ｈが集計用のカウンタであり、リード速度３４２ａ、ライト速度３４２ｂ、リード頻度３４２ｃ、およびライト頻度３４２ｄが、集計結果である。ストレージシステム２０における論理ユニット内の各部分領域に対するアクセスの頻度（リード頻度、ライト頻度）や、データ読み出し・書き込みの速度（リード速度、ライト速度）を集計するアクセスモニタ集計処理（図１７参照）については後述する。
　続いて、図７以降では、実施例１に係るキャッシュ管理データ構造について説明するが、その前に、ボリューム（論理ボリューム）とキャッシュ管理データとの関係について、概要を説明する。図３４は、本発明の実施例における、論理ボリューム、スロット、キャッシュセグメントの関係を示す概念図である。ホスト計算機１０が論理ボリューム１０００にアクセスする際、最小アクセス単位はブロック（たとえば５１２バイト）であり、論理ボリュームの各ブロックには、論理ブロックアドレス（ＬＢＡ。あるいは本明細書では、論理アドレスと呼ぶこともある）が付与されている（図３４の要素１０１０は論理ブロックアドレスを表している）。また、ストレージシステム２０では、論理ボリューム上の記憶領域へのアクセス時等に排他制御を行うが、排他制御の単位として、スロット１１００という概念が定義されている。スロット１１００のサイズは、本発明の実施例では、２５６ＫＢ（つまり５１２ブロック）としているが、その他のサイズを採用しても良い。各スロット１１００には一意な識別番号が付与されており、それをスロットＩＤと呼ぶ。なお、図３４において、要素１１１０がスロットＩＤであり、論理ブロックアドレス１０１０とスロットＩＤ１１００との関係は図３４に示されたとおりである。例えばホスト計算機１０から受信したＩ／Ｏコマンドで指定されている論理ブロックアドレスをスロットＩＤに変換する時には、指定された論理ブロックアドレスを５１２で除算して得られた値がスロットＩＤになる。またこの除算を行った時に剰余が０の場合には、Ｉ／Ｏコマンドで指定されている論理ブロックアドレスは、（スロットＩＤで特定される）スロットの先頭位置であることが分かり、剰余が０でない値（仮に、この値をＲとする）の場合、この剰余Ｒは、論理ブロックアドレスで特定されるブロックが、（スロットＩＤで特定される）スロットの先頭ブロックからＲ番目の位置に存在するブロックであることを表す情報となる（以下、この情報Ｒのことを、スロット内相対アドレスと呼ぶ）。
　また論理ボリューム上のデータをキャッシュする場合、ＲＡＭ３４またはＦＭチップ３２１上の記憶領域をキャッシュ領域として確保するが、キャッシュセグメント（またはセグメント）(図３４中の要素１２０１、１２０２、１２０３、１２０４がキャッシュセグメントである。以下、キャッシュセグメント１２０１、１２０２、１２０３、１２０４を総称する場合、「キャッシュセグメント１２００」と表記する)という領域単位でキャッシュ領域を確保する。本発明の実施例においては、キャッシュセグメント１２００のサイズは６４ＫＢで、各スロットに対して４つのキャッシュセグメント１２０１、１２０２、１２０３、１２０４が対応付けられる。図３４は、ＲＡＭ３４あるいはＦＭチップ３２１上の領域（キャッシュセグメント１２００）がスロット１１００に対応付けられる概念を表している。ストレージシステム２０がこの対応付けを管理する方法の詳細は後述するが、ストレージシステム２０は、スロットを管理する情報としてスロット制御テーブル１１０（詳細は図７を説明する際に説明する。スロット制御テーブル１１０は、スロット１１００ごとに１つ存在する）を有しており、スロット制御テーブル１１０内に、当該スロットに対応付けられているキャッシュセグメント１２００の情報（正確には、キャッシュセグメント１２００を管理するための情報へのポインタ）が格納されている。ストレージシステム２０は、このスロット制御テーブル１１０を作成、管理することによって、スロット１１００とキャッシュセグメント１２００の対応付けを管理する。なお、キャッシュセグメント１２００のサイズを、６４ＫＢ以外のサイズにすることも可能であり、また１つのスロット１１００に対応付けられるキャッシュセグメント１２００の数を、４つ以外の値にすることも可能である。
　ホスト計算機１０が論理ボリューム１０００上の領域にアクセス（リードまたはライト等）する際の、キャッシュ領域の管理に関連する処理の概要は以下の通りである。ホスト計算機１０はストレージシステム２０に、論理ユニット番号（論理ユニット／論理ボリュームを特定する番号で、一般的にはＬＵＮ[Logical　Unit　Number]と略記される）と論理ブロックアドレス１０１０を指定したＩ／Ｏコマンドを発行する。ストレージシステム２０は、受信したＩ／Ｏコマンドに含まれる論理ブロックアドレスを、スロットＩＤ１１１０とスロット内相対アドレスの組に変換し、当該変換で得られたスロットＩＤ１１１０で特定されるスロット制御テーブル１１０を参照する。そしてスロット制御テーブル１１０の情報に基づき、Ｉ／Ｏコマンドで指定された論理ボリューム上の領域（論理ブロックアドレスで特定される領域）に対してキャッシュセグメント１２００が確保されているか否かを判定し、キャッシュセグメント１２００が確保されていなければ、新規にキャッシュセグメント１２００を確保する処理を行う。
　続いてキャッシュ管理データ構造についての説明を行う。図７は、実施例１に係るキャッシュ管理データ構造の概念図である。
　キャッシュ管理データ構造は、キャッシュディレクトリ１００と、ＦＭフリーキュー２００と、ＲＡＭフリーキュー３００と、ダーティキューおよびクリーンキュー（図９参照）とを含む。本実施例では、ＲＡＭ３４と、ＦＭチップ３２１とにキャッシュセグメント（３４３、３２５）が管理される。各キャッシュセグメントは、セグメント制御テーブル１２０（ＳＧＣＴ：Segment　Control　Table）で管理される。ＳＧＣＴ１２０は、ＲＡＭ３４および全てのＦＭチップ３２１で管理されている全てのキャッシュセグメントのそれぞれと一対一に対応して管理される。
　キャッシュディレクトリ１００は、キャッシュ対象データの論理アドレス（キャッシュセグメントに格納されたデータの格納先である、論理ボリュームの論理ブロックアドレス）とメモリ（ＲＡＭ３４およびＦＭチップ３２１）上の物理アドレスとの対応関係を管理するデータ構造である。キャッシュディレクトリ１００は、例えば、キャッシュ対象データの論理アドレス（又はスロットＩＤのような、論理アドレスから導かれる情報）をキーとするハッシュテーブルであり、ＳＧＣＴ１２０を示すためのポインタをエントリとして持っている。ＳＧＣＴ１２０は、そのＳＧＣＴ１２０に対応するキャッシュセグメント（３２５、３４３）へのポインタを管理している。したがって、キャッシュディレクトリ１００によると、キャッシュ対象データの論理アドレスに基づいて、当該論理アドレスに対応するデータがキャッシュされているキャッシュセグメントを特定することができる。なお、ＳＧＣＴ１２０の詳細な構成については、後述する。本実施例では、キャッシュディレクトリ１００は、ＲＡＭ３４のキャッシュセグメント３４３と、すべてのＦＭチップ３２１のキャッシュセグメント３２５とをまとめて管理している。このため、当該キャッシュディレクトリ１００を参照することにより、ＲＡＭ３４およびＦＭチップ３２１におけるキャッシュのヒット判定を容易に行うことができる。
　ＦＭフリーキュー２００は、ＦＭチップ３２１のフリーセグメント、すなわちいずれのデータも格納していないキャッシュセグメント３２５を管理する制御情報である。ＦＭフリーキュー２００は、例えばＦＭチップ３２１のフリーセグメントに対応するＳＧＣＴ１２０をエントリに持つ双方向のリンクリストとして構成される。なお、フリーセグメントを管理する制御情報のデータ構造は、必ずしもキューである必要はなく、スタックなどを用いてもよい。
　ＲＡＭフリーキュー３００は、ＲＡＭ３４のフリーセグメントを管理する制御情報である。ＲＡＭフリーキュー３００は、例えばＲＡＭ３４のフリーセグメントに対応するＳＧＣＴ１２０をエントリに持つ双方向のリンクリストとして構成される。なお、フリーセグメントを管理する制御情報のデータ構造は、必ずしもキューである必要はなく、スタックなどを用いてもよい。
　ＳＧＣＴ１２０は、そのＳＧＣＴ１２０に対応するキャッシュセグメントの状態および種類によって、キャッシュディレクトリ１００、ＦＭフリーキュー２００、又はＲＡＭフリーキュー３００のいずれかに接続された状態をとる。具体的には、ＦＭチップ３２１のキャッシュセグメント３２５に対応するＳＧＣＴ１２０は、当該キャッシュセグメント３２５が未使用時には、ＦＭフリーキュー２００に接続され、当該キャッシュセグメント３２５がデータ格納用に割り当てられると、キャッシュディレクトリ１００に接続される。一方、ＲＡＭ３４のキャッシュセグメント３４３に対応するＳＧＣＴ１２０は、当該キャッシュセグメント３４３が未使用時には、ＲＡＭフリーキュー３００に接続され、当該キャッシュセグメント３４３がデータ格納用に割り当てられると、キャッシュディレクトリ１００に接続される。
　図８は、実施例１に係るキャッシュ管理データ構造の一部のデータ構造を示す図である。
　キャッシュディレクトリ１００は、例えばスロットＩＤをキーとするハッシュテーブルである。キャッシュディレクトリ１００のエントリ１００ａ（ディレクトリエントリ）は、スロットＩＤに対応するスロット制御テーブル１１０（ＳＬＣＴ：Slot　Control　Table）を示すディレクトリエントリポインタを格納する。ここで、スロットは、排他制御を行うデータの単位（ロック単位）である。例えば、１つのスロットは、複数のキャッシュセグメントを含むことができる。なお、スロットの内の一部しかデータが格納されていない場合には、キャッシュセグメントが１つしか含まれていないこともある。
　ＳＬＣＴ１１０は、ディレクトリエントリポインタ１１０ａと、前方ポインタ１１０ｂと、後方ポインタ１１０ｃと、スロットＩＤ１１０ｄと、スロットステータス１１０ｅと、ＳＧＣＴポインタ１１０ｆとを含む。ディレクトリエントリポインタ１１０ａは、ハッシュテーブルの次のエントリに対応するＳＬＣＴ１１０を指すディレクトリエントリポインタである。前方ポインタ１１０ｂは、クリーンキュー又はダーティキューにおける前の順番のＳＬＣＴ１１０を示すポインタである。後方ポインタ１１０ｃは、クリーンキュー又はダーティキューにおける後の順番のＳＬＣＴ１１０を示すポインタである。スロットＩＤ１１０ｄは、ＳＬＣＴ１１０に対応するスロットの識別情報である。スロットステータス１１０ｅは、スロットの状態を示す情報である。スロットの状態としては、例えば、当該スロットがロックされていることを示す「ロック中」等がある。ＳＧＣＴポインタ１１０ｆは、当該スロットに含まれるキャッシュセグメントに対応するＳＧＣＴ１２０を指すポインタである。当該スロットにキャッシュセグメントが割り当てられていないときは、ＳＧＣＴポインタ１１０ｆは、ポインタ（アドレス）が無効であることを表す値（例えばＮＵＬＬ）となっている。またスロットに含まれるキャッシュセグメントが複数ある場合には、各ＳＧＣＴ１２０はリンクリストとして管理され、ＳＧＣＴポインタ１１０ｆは、リンクリストにおける先頭のキャッシュセグメントに対応するＳＧＣＴ１２０を指すポインタである。
　ＳＧＣＴ１２０は、ＳＧＣＴポインタ１２０ａと、セグメントＩＤ１２０ｂと、メモリ種類１２０ｃと、セグメントアドレス１２０ｄと、ステージングビットマップ１２０ｅと、ダーティビットマップ１２０ｆとを含む。
　ＳＧＣＴポインタ１２０ａは、同じスロットに含まれる次のキャッシュセグメントに対応するＳＧＣＴ１２０を指すポインタである。セグメントＩＤ１２０ｂは、キャッシュセグメントの識別情報で、スロット内の何番目に位置づけられるキャッシュセグメントであるかを表す情報である。本実施例では、１スロットに最大で４つのキャッシュセグメントが割り当てられるので、各キャッシュセグメントのセグメントＩＤ１２０ｂには、０、１、２、３のいずれかの値が格納される（スロットの先頭に位置するキャッシュセグメントのセグメントＩＤ１２０ｂは０となり、以下順に１、２、３のセグメントＩＤ１２０ｂが付与される。たとえば図３４におけるキャッシュセグメント１２０１～１２０４を例にとると、スロット１１００の先頭に対応付けられているキャッシュセグメント１２０１のセグメントＩＤ１２０ｂは０で、以下キャッシュセグメント１２０２、１２０３、１２０４のセグメントＩＤ１２０ｂはそれぞれ、１、２、３となる）。メモリ種類１２０ｃは、このＳＧＣＴ１２０に対応するキャッシュセグメントが格納されているキャッシュメモリの種類である。キャッシュメモリの種類としては、ＦＭと、ＲＡＭとのいずれかがある。セグメントアドレス１２０ｄは、キャッシュセグメントのアドレスである。ステージングビットマップ１２０ｅは、キャッシュセグメントの中でクリーンデータ、つまりドライブ（４０、４１）のデータと一致しているデータがキャッシュされている領域を示すビットマップである。ステージングビットマップ１２０ｅでは、各ビットがキャッシュセグメントにおける各領域に対応し、有効なデータ（ドライブと同じデータ）がキャッシュされている領域に対応するビットはＯＮ（１）に設定され、有効なデータがキャッシュされていない領域に対応するビットはＯＦＦ（０）に設定される。ダーティビットマップ１２０ｆは、キャッシュセグメントの中でダーティデータ、つまりドライブのデータと不一致なデータ（まだドライブに反映されていないデータ）がキャッシュされている領域を示すビットマップである。ダーティビットマップ１２０ｆでは、各ビットがキャッシュセグメントにおける各領域に対応し、ダーティデータがキャッシュされている領域に対応するビットはＯＮ（１）に設定され、ダーティデータがキャッシュされていない領域に対応するビットはＯＦＦ（０）に設定される。
　図９は、実施例１に係るダーティキューおよびクリーンキューのデータ構造を示す図である。
　ダーティキューおよびクリーンキューは、キャッシュデータ管理構造の一部である。ダーティキューは、ダーティデータを含むスロットに対応するＳＬＣＴ１１０を接続するキューである。クリーンキューは、クリーンデータのみを含むスロットに対応するＳＬＣＴ１１０を接続するキューである。ダーティキューおよびクリーンキューは、キャッシュリプレースやデステージのスケジューリング等に用いられ、それぞれのキャッシュリプレースやデステージのスケジューリング方式等によってさまざまな構造を取りうる。本実施例では、キャッシュリプレースおよびデステージのスケジューリングに用いるアルゴリズムをＬＲＵ（Least　Recently　Used）として説明する。なお、ダーティキューおよびクリーンキューは、接続するＳＬＣＴ１１０が違うだけで、キューの基本的な構成は同様であるので、ここでは、ダーティキューを例に挙げて説明する。ダーティキューは、双方向のリンクリストとして構成されている。すなわち、ダーティキューは、ＭＲＵ（Most　Recently　Used）ターミナル１５０の前方ポインタに、最近使用したダーティデータを含むスロット（最終使用時刻の新しいスロット）に対応するＳＬＣＴ１１０を接続し、以降、ＳＬＣＴ１１０の前方ポインタ１１０ｂに、次の順番のスロット（次に最近使用したダーティデータを含むスロット）のＳＬＣＴ１１０を順次接続し、最後の順番のＳＣＬＴ１１０の前方ポインタ１１０ｂにＬＲＵターミナル１６０を接続する一方、ＬＲＵターミナル１６０の後方ポインタに最後の順番のＳＣＬＴ１１０を接続し、以降、後ろの順番のＳＣＬＴ１１０の後方ポインタ１１０ｃに対して、その前の順番のスロットのＳＬＣＴ１１０を順次接続し、最初の順番のＳＬＣＴ１１０をＭＲＵターミナル１５０に接続する。ダーティキューでは、ＭＲＵターミナル１５０側から、最終使用時刻の新しい順にＳＬＣＴ１１０が並ぶこととなる。
　図１０は、実施例１に係るＦＭフリーキューおよびＲＡＭフリーキューのデータ構造を示す図である。
　ＦＭフリーキュー２００は、ＦＭチップ３２１に格納されている空きキャッシュセグメント３２５を管理するためのキューであり、ＲＡＭフリーキュー３００は、ＲＡＭ３４の空きキャッシュセグメント３４３を管理するためのキューであり、それぞれ空きキャッシュセグメントのＳＧＣＴ１２０をポインタで接続したリンクリストである。ＦＭフリーキュー２００と、ＲＡＭフリーキュー３００とは、管理するＳＧＣＴ１２０が異なるだけであり、構成は同一である。ＦＭフリーキュー２００（ＲＡＭフリーキュー３００）のフリーキューポインタ２０１(３０１）は、キューの先頭のＳＧＣＴ１２０を指す。ＳＧＣＴ１２０のＳＧＣＴポインタ１２０ａは、次の空きキャッシュセグメントのＳＧＣＴ１２０を指す。
　次に、実施例１に係る情報システムにおける処理動作を説明する。
　図１１は、実施例１に係るリードコマンド処理のフローチャートである。
　リードコマンド処理は、ホスト計算機１０からストレージコントローラ３０がリードコマンドを受信した場合に実行される。
　まず、リードコマンドを受信したストレージコントローラ３０のＣＰＵ３３は、リードコマンドで指定されている、論理ボリューム上のリード対象ブロックの論理ブロックアドレス（以下、「リード対象アドレス」と呼ぶ）に対応するキャッシュセグメントが割り当て済みであるか否かを判定する（ステップＳ１）。具体的には、先に説明したとおり、論理ブロックアドレスをスロットＩＤとスロット内相対アドレスの組に変換し、当該変換により得られたスロットＩＤ１１０ｄを有するＳＬＣＴ１１０内のＳＧＣＴポインタ１１０ｆを参照する。ＳＧＣＴポインタ１１０ｆが無効（たとえばＮＵＬＬ）値である場合には、キャッシュセグメントが未割り当てであることが判明する。ＳＧＣＴポインタ１１０ｆに有効な値が含まれている場合、少なくともキャッシュセグメントが１つ割り当てられていることが判明するので、ＳＧＣＴポインタ１１０ｆをたどって、スロット内相対アドレスで特定されるスロット内の位置にキャッシュセグメントが割り当てられているかを確認する。具体的には、「スロット内相対アドレス÷１２８」で得られた結果（整数値）と同一のセグメントＩＤ１２０ｂを有するＳＧＣＴ１２０があるかを確認することで、キャッシュセグメントが割り当てられているかを確認することができる（スロット内相対アドレス÷１２８の計算を行うことで、０～３のいずれかの整数値が得られるので、スロット内相対アドレスが、０～３のいずれのセグメントＩＤが付与されたキャッシュセグメントに対応するアドレスであるかを知ることができる）。この結果、キャッシュセグメントが割り当て済みであれば（ステップＳ１：ＹＥＳ）、ＣＰＵ３３は、ステップＳ３へ処理を進める一方、キャッシュセグメントが未割り当てであれば（ステップＳ１：ＮＯ）、キャッシュ割り当て処理（図１４参照）を実行し（ステップＳ２）、ステップＳ３へ処理を進める。ステップＳ２のキャッシュ割り当て処理の詳細は後述するが、キャッシュ割り当て処理では、キャッシュされるデータのアクセス特性に応じて、ＦＭチップ３２１のキャッシュセグメント、またはＲＡＭ３４のキャッシュセグメントを割り当てる処理が行われる。
　ステップＳ３では、ＣＰＵ３３は、リード対象アドレスに対応するキャッシュセグメントを含むスロットをロックする。具体的には、ＣＰＵ３３は、このキャッシュセグメントを含むスロットのＳＬＣＴ１１０のスロットステータス１１０ｅの「ロック中」を表すビットをＯＮにすることで、当該スロットがロックされていることを表す。
　続いてＣＰＵ３３は、リード対象のデータがキャッシュセグメントに格納されているか否か、すなわち、キャッシュヒットか否かを判定する（ステップＳ４）。具体的には、ＣＰＵ３３は、リード対象のキャッシュセグメントに対応するＳＧＣＴ１２０のステージングビットマップ１２０ｅおよびダーティビットマップ１２０ｆを調べ、リード対象の全ブロックに関して、当該ブロックに対応するステージングビットマップ１２０ｅのビットもしくはダーティビットマップ１２０ｆのビットのいずれかがＯＮであれば、キャッシュヒットであると判断する。一方、ＣＰＵ３３は、リード対象の範囲内に、ダーティビットマップ１２０ｆとステージングビットマップ１２０ｅとの対応するビットがいずれもＯＦＦであるブロックが一つでもある場合は、キャッシュミスであると判断する。
　この結果、キャッシュヒットの場合（ステップＳ４：ＹＥＳ）は、ＣＰＵ３３は、処理をステップＳ６へ進める一方、キャッシュミスの場合（ステップＳ４：ＮＯ）は、ステージング処理（図１２参照）を実行し（ステップＳ５）、処理をステップＳ６に進める。ステージング処理では、ドライブ（ＨＤＤ４０、またはＳＳＤ４１）からキャッシュセグメント（３２５又は３４３）へデータが読み込まれる。ステージング処理が完了すると、リード対象のデータがキャッシュセグメント（３２５又は３４３）に格納された状態になる。
　ステップＳ６では、ＣＰＵ３３は、キャッシュセグメントに格納されたデータをホスト計算機１０に送信するデータ送信処理（図１３参照）を実行する。
　続いて、ＣＰＵ３３は、コマンドの完了ステータスをホスト計算機１０に送信する（ステップＳ７）。すなわち、ＣＰＵ３３は、コマンドの処理中にエラーが発生してリード処理が正常に完了しなかった場合はエラーステータス（例えばCHECK　CONDITION）を返す一方、リード処理が正常に完了した場合は正常ステータス（GOOD）を返す。
　続いて、ＣＰＵ３３は、ロックしているスロットを解放（アンロック）し（ステップＳ８）、アクセスモニタテーブル３４２を更新し（ステップＳ９）、リードコマンド処理を終了する。アクセスモニタテーブル３４２の更新とは、例えば、リード量カウンタ３４２ｅに今回のリードコマンドで読み出したデータ量を加算し、リードコマンドカウンタ３４２ｇをインクリメントする。
　図１２は、実施例１に係るステージング処理のフローチャートである。
　ステージング処理は、図１１のリードコマンド処理のステップＳ５の処理に対応する。
　まず、ＣＰＵ３３は、リード対象アドレスに対応するキャッシュセグメントのキャッシュメモリの種類を調べ、キャッシュセグメントがＲＡＭ３４上のキャッシュセグメント（ＲＡＭセグメント）３４３であるか否かを判定する（ステップＳ１１）。ここで、キャッシュセグメントの基になっているキャッシュメモリの種類は、対応するＳＧＣＴ１２０のメモリ種類１２０ｃを参照することにより特定することができる。
　この結果、キャッシュセグメントがＲＡＭセグメント３４３であれば（ステップＳ１１：ＹＥＳ）、ＣＰＵ３３は、処理をステップＳ１２に進める一方、キャッシュセグメントがＲＡＭセグメント３４３でなければ（ステップＳ１１：ＮＯ）、処理をステップＳ１３に進める。
　ステップＳ１２では、ＣＰＵ３３は、リード対象（ステージング対象）のデータをドライブ（ＨＤＤ４０またはＳＳＤ４１）から読み出して、ＲＡＭセグメント３４３に格納し、ステージング処理を終了する。
　ステップＳ１３以降の処理では、キャッシュセグメントがＲＡＭセグメント３４３でない、すなわちＦＭチップ３２１上のキャッシュセグメント（ＦＭセグメント）３２５であるので、ドライブから読み上げたデータを直接ＦＭチップ３２１に書くのではなく、一旦、ＦＭボード３２のバッファメモリ３２３に格納した後、バッファメモリ３２３からＦＭチップ３２１に書き込むようにする。これはＦＭチップ３２１の書き込み速度が遅いので、ドライブから読み上げたデータを直接ＦＭチップ３２１に書いてしまうと、その速度に引きずられてストレージコントローラ３０のＢＥ　Ｉ／Ｆ３５の動作が遅くなり、ストレージシステム２０のスループット性能を低くしてしまうことを防ぐためである。なお、本実施例では、ＢＥ　Ｉ／Ｆ３５が、ＣＰＵ３３の指示を受けて、ドライブからＦＭボード３２のバッファメモリ３２３に対してデータを格納するようにしている。したがって、ＣＰＵ３３は、ＢＥ　Ｉ／Ｆ３５に対して指示を行った後は、他の処理を実行することができる。また、ＢＥ　Ｉ／Ｆ３５は、ドライブからＦＭボード３２のバッファメモリ３２３に対してデータを格納した後には、この処理から解放されて、他の処理を実行することができるようになる。
　まず、ステップＳ１３では、ＣＰＵ３３は、バッファメモリ３２３にドライブから読み上げたデータを格納するための領域（バッファ）の確保を行う。すなわち、ＣＰＵ３３は、バッファメモリ３２３のうちステージング対象のデータを格納するのに十分な領域をバッファに割り当てる。
　次に、ＣＰＵ３３は、ステージング対象のデータをドライブから読み出してバッファに格納する（ステップＳ１４）。本実施例では、ＢＥ　Ｉ／Ｆ３５が、ＣＰＵ３３の指示を受けて、ドライブからＦＭボード３２のバッファメモリ３２３のバッファに対してデータを格納している。
　そして、ＣＰＵ３３は、ＦＭプロセッサ３２０ｂに対し、バッファメモリ３２３のバッファ上のデータをＦＭチップ３２１に格納するよう要求する（ステップＳ１５）。この要求に対してＦＭプロセッサ３２０ｂは、ＦＭデータ書き込み処理（図２３参照）を実行する。ＦＭプロセッサ３２０ｂは、ＦＭデータ書き込み処理を終了すると、その要求に対する完了応答をＣＰＵ３３に返す。
　続いて、ＣＰＵ３３は、その要求に対する完了応答をＦＭプロセッサ３２０ｂから受け取り（ステップＳ１６）、バッファメモリ３２３のバッファを解放し（ステップＳ１７）、ステージング処理を終了する。
　図１３は、実施例１に係るデータ送信処理のフローチャートである。
　データ送信処理は、図１１に示すリードコマンド処理のステップＳ６の処理に対応する。
　データ送信処理では、ＦＭセグメント３２５からデータを送信する場合に、一旦バッファメモリ３２３にデータを格納して、バッファメモリ３２３からホスト計算機１０へデータを転送する。これは、ＦＭチップ３２１の読み出し速度が遅いので、ＦＭチップ３２１から直接転送すると、その速度に引きずられてストレージコントローラ３０のＦＥ　Ｉ／Ｆ３１の動作が遅くなり、ストレージシステム２０のスループット性能を低くしてしまうことを防ぐためである。
　まず、ＣＰＵ３３は、リード対象アドレスに対応するキャッシュセグメントの基になっているキャッシュメモリの種類を調べ、キャッシュセグメントがＲＡＭセグメント３４３であるか否かを判定する（ステップＳ２１）。ここで、キャッシュセグメントの基になっているキャッシュメモリの種類は、対応するＳＧＣＴ１２０のメモリ種類１２０ｃを参照することにより特定することができる。
　この結果、キャッシュセグメントがＲＡＭセグメント３４３であれば（ステップＳ２１：ＹＥＳ）、ＣＰＵ３３は、処理をステップＳ２２に進める一方、キャッシュセグメントがＲＡＭセグメント３４３でなければ（ステップＳ２１：ＮＯ）、処理をステップＳ２３に進める。
　ステップＳ２２では、ＣＰＵ３３は、リード対象（送信対象）のデータをＲＡＭセグメント３４３からホスト計算機１０へ転送し、データ送信処理を終了する。
　ステップＳ２３では、ＣＰＵ３３は、バッファメモリ３２３に、ＦＭチップ３２１から読み出した送信対象のデータを格納するための領域（バッファ）の確保を行う。すなわち、ＣＰＵ３３は、バッファメモリ３２３のうち送信対象のデータを格納するのに十分な領域をバッファに割り当てる。
　次に、ＣＰＵ３３は、ＦＭプロセッサ３２０ｂに対し、ＦＭチップ３２１上のデータをバッファメモリ３２３に読み出すよう要求する（ステップＳ２４）。この要求に対してＦＭプロセッサ３２０ｂは、ＦＭデータ読み出し処理（図２２参照）を実行する。ＦＭデータ読み出し処理により、バッファメモリ３２３には、送信対象のデータが格納される。ＦＭプロセッサ３２０ｂは、ＦＭデータ読み出し処理を終了すると、その要求に対する完了応答をＣＰＵ３３に返す。
　続いて、ＣＰＵ３３は、その要求に対する完了応答をＦＭプロセッサ３２０ｂから受け取り（ステップＳ２５）、送信対象のデータをバッファメモリ３２３からホスト計算機１０に送信する（ステップＳ２６）。本実施例では、ＦＥ　Ｉ／Ｆ３１が、ＣＰＵ３３の指示（例えば、読み出すデータのバッファメモリ３２３上のアドレス等）を受けて、バッファメモリ３２３のバッファからホスト計算機１０に対して送信対象のデータを送信している。その後、ＣＰＵ３３は、バッファメモリ３２３のバッファを解放し（ステップＳ２７）、データ送信処理を終了する。
　図１４は、実施例１に係るキャッシュ割り当て処理のフローチャートである。
　キャッシュ割り当て処理は、図１１に示すリードコマンド処理のステップＳ２の処理、および後述する図１９に示すライトコマンド処理のステップＳ７２の処理に対応する。
　キャッシュ割り当て処理では、ＣＰＵ３３がキャッシュするデータに対して、当該データに対するアクセス特性に応じて、ＦＭチップ３２１のキャッシュセグメント、またはＲＡＭ３４のキャッシュセグメントを割り当てる。
　ここで、まず、割り当てるキャッシュセグメントのメモリ種類、すなわち、ＦＭチップ３２１またはＲＡＭ３４を選択する際の判断基準について説明する。ここで、ＦＭチップ３２１は、（１）アクセス性能がＲＡＭ３４に比べて低い、（２）書き換え回数に上限がある、という特性を有しているので、本実施例では、ＣＰＵ３３は、データの特性が、比較的ＲＡＭの特性に適合しているデータ（高性能を要求される、キャッシュセグメントの更新頻度が高くなる）は、ＲＡＭ３４を用いたキャッシュセグメントを選択し、フラッシュメモリの特性に適合するデータ（それほど高性能を要求されない、キャッシュセグメントの更新頻度が高くない）は、ＦＭチップ３２１を用いたキャッシュセグメントを選択する制御を行う。具体的には、次のような基準で割り当てるキャッシュセグメントのメモリ種類を選択する。
（ａ）アクセス頻度（リード頻度／ライト頻度）が高いデータや、高スループットが求められるデータの場合は、ＣＰＵ３３は、ＲＡＭ３４を優先的に選択する。特に、アクセス頻度が高いデータをＦＭチップ３２１のキャッシュセグメントに格納するようにすると、ＦＭチップ３２１の更新頻度が高くなる。更新頻度が高い場合、書き換えが多発しＦＭチップ３２１の寿命を短くしてしまうので、ＲＡＭ３４を優先的に選択した方がよい。これにより、ＦＭチップ３２１の寿命の短縮を適切に抑制することができる。また、高スループットが求められるデータとしては、例えば、インメモリデータベースで利用するために読み込む大量データが該当する。この用途のデータは、一般的に、転送長が長いデータやシーケンシャルアクセスのデータであることが多いため、転送長が長いと判断されるデータについてはＲＡＭ３４を優先的に選択する。これにより、高スループットを実現することができる。
（ｂ）ＦＭチップ３２１にキャッシュするとキャッシュヒットによる性能面の効果があまり得られないデータの場合は、ＣＰＵ３３は、ＲＡＭ３４を優先的に選択する。キャッシュヒットによる性能面の効果があまり得られないデータとしては、例えばＳＳＤ４１に格納されるデータがある。これによると、キャッシュヒットによる効果を適切に得られるようにすることができる。
（ｃ）アクセス単位が小さいデータがキャッシュ対象であれば、ＣＰＵ３３は、ＲＡＭ３４を優先的に選択する。これはＦＭチップ３２１における読み書き単位（ページ）の大きさがＲＡＭ３４の最小アクセス単位に比べて大きく（例えば８ＫＢ）、小さい単位のデータの参照・更新の効率が悪いためである。例えば、制御情報などのメタデータは、通常１６Ｂ程度のサイズであり、ＦＭチップ３２１の読み書き単位のサイズと比較すると小さいため、ＲＡＭ３４にキャッシュした方がよい。
（ｄ）すぐにキャッシュ上から破棄されるデータがキャッシュ対象の場合は、ＣＰＵ３３は、ＲＡＭ３４を優先的に選択する。その理由は、破棄に伴うＦＭチップ３２１の消去がすぐに発生することと、すぐ破棄するのであればＲＡＭ３４に置いても容量の消費が一時的であり影響が小さいことが挙げられる。どのようなデータを優先的に破棄するかについては、ストレージシステムのポリシーとして設定されている。例えばデータコピーのために割り当てられる一時的なキャッシュセグメントに格納されるデータは、コピー処理が完了するとキャッシュ上から破棄される。他の例としては、シーケンシャルリードが行われるデータや、シーケンシャルライトが行われるデータがある。シーケンシャルリードが行われるデータについては、先頭から順番に読んでいって、読み終わったら同じ部分のデータがすぐに読まれることは基本的にはない。また、シーケンシャルライトが行われるデータは、例えば、当該データがＲＡＩＤで格納される場合には、必要なパリティが揃った時点で、データがデステージされ、その後キャッシュから破棄される。
（ｅ）上記（ａ）－（ｄ）以外の条件に適合するデータがキャッシュ対象の場合は、ＣＰＵ３３は、ＦＭチップ３２１を優先的に選択する。
　次に、以上の基準に基づいてキャッシュ割り当てを行うキャッシュ割り当て処理を、図１４を参照して説明する。
　まず、ＣＰＵ３３は、アクセス対象（リード対象又はライト対象）のデータが高速にアクセスされるデータか否かを判定する（ステップＳ３１）。具体的には、ＣＰＵ３３は、例えば、予め求められたアクセス速度の閾値と、アクセスモニタテーブル３４２に記録されたアクセス対象のデータの格納される領域のリード速度３４２ａやライト速度３４２ｂとを比較して、アクセス対象のデータが高速にアクセスされるデータか否かを判定する。リード速度３４２ａやライト速度３４２ｂの集計方法は後述するが、データアクセス頻度が高い場合、あるいは転送長が長いデータのアクセスの場合、本実施例で集計されるリード速度３４２ａやライト速度３４２ｂは高くなるため、データのリード速度３４２ａやライト速度３４２ｂを閾値と比較することで、アクセス頻度が高いデータであるか、または転送長が長いデータであるかを判定することができる。あるいは別の実施形態として、アクセス頻度（アクセスモニタテーブル３４２に記録された、アクセス対象のデータの格納される領域のリード頻度３４２ｃやライト頻度３４２ｄ）を閾値と比較して判定してもよい。ステップＳ３１の判定の結果が、真であれば（ステップＳ３１：ＹＥＳ）、ＣＰＵ３３は処理をステップＳ３７に進める一方、偽であれば（ステップＳ３１：ＮＯ）、処理をステップＳ３２に進める。
　ステップＳ３２では、ＣＰＵ３３は、アクセス対象のデータに対するアクセスパターンがシーケンシャルアクセスであるか否かを判定する。この判定は、ＣＰＵ３３が、処理対象のリードコマンドが、連続したアドレスを順にリードする一連のコマンドの一部であるか否かを判断することにより実現できる。具体的には、ＣＰＵ３３は、例えば、前回のリードコマンドの対象アドレスに当該コマンドの転送長を加えたアドレスが、今回のリードコマンドの対象アドレスであるか否かを判断するによって、シーケンシャルアクセスであるか否かを判定する。この結果、シーケンシャルアクセスであると判定した場合（ステップＳ３２：ＹＥＳ）は、ＣＰＵ３３は、処理をステップＳ３７に進める一方、偽であると判定した場合（ステップＳ３２：ＮＯ）は、ＣＰＵ３３は、処理をステップＳ３３に進める。
　ステップＳ３３では、ＣＰＵ３３は、アクセス対象のデータが最終的にＳＳＤ４１に格納されるデータであるか否か、すなわち、アクセス対象データの最終ストレージデバイスがＳＳＤ４１であるか否かを判定する。ここで、アクセス対象データの最終ストレージデバイスがＳＳＤ４１であるか否かの判定は、例えば、予め記憶している論理ボリュームとデバイスとの対応関係を表す情報に基づいて、リードコマンドで指定された論理ボリュームに対応するデバイス種類を特定することにより実現できる。なお、シンプロビジョニングに従う論理ボリュームである場合には、論理ボリュームに割り当てられている実ページを提供するデバイスのデバイス種類を特定することにより、アクセス対象データの最終ストレージデバイスがＳＳＤ４１であるか否か判定することができる。この結果、真であれば（ステップＳ３３：ＹＥＳ）、ＣＰＵ３３は、処理をステップＳ３７に進める一方、偽であれば、処理をステップＳ３４に進める。
　ステップＳ３４では、ＣＰＵ３３は、アクセス対象のデータがメタデータであるか否かを判定する。ここでいうメタデータには、ストレージコントローラ３０のＲＡＭ３４からドライブ（４０、４１）に退避・格納した又は退避・格納する制御情報を含む。ここで、アクセス対象のデータがメタデータであるか否かは、例えば、アクセス先が、その論理ボリュームにおける制御情報が格納される所定の領域であるか否かにより判定することができる。なお、論理ボリュームにおける制御情報が格納される領域のアドレスについては、論理ボリュームを使用するホスト計算機１０等から取得することができる。この結果、真であれば（ステップ３４：ＹＥＳ）、ＣＰＵ３３は、処理をステップＳ３７に進める一方、偽であれば、処理をステップＳ３５に進める。
　ステップＳ３５では、ＣＰＵ３３は、アクセス対象のデータに対応するキャッシュセグメントが一時的なキャッシュセグメント（テンポラリセグメント）であるか否かを判定する。ここで、テンポラリセグメントとは、次のいずれかである。
（１）パリティ生成において旧データや旧パリティがキャッシュミスした場合に、当該旧データあるいは旧パリティを格納するために割り当てられるセグメント。
（２）ドライブ（例えば最終ストレージデバイス）のデータをコピーする処理のため一時的に割り当てられるセグメント。
（３）他ストレージ装置との間でデータを送受信する処理のため（例えば、リモートコピー処理のため）一時的に割り当てられるセグメント。
　なお、ＣＰＵ３３は、データに対してキャッシュセグメントを割り当てる際に、ホスト計算機１０から高スループットか否かを示す情報、又は、Ｉ／Ｏの優先度を示す情報を受け付け、当該高スループットか否かを示す情報、又は、Ｉ／Ｏの優先度を示す情報をキャッシュセグメントに対応付けて記憶しておき、その情報に基づいて、キャッシュセグメントがテンポラリセグメントであるか否かを判断するようにしてもよい。
　この結果、真であれば（ステップ３５：ＹＥＳ）、ＣＰＵ３３は、処理をステップＳ３７に進める一方、偽であれば、処理をステップＳ３６に進める。
　ステップＳ３６では、ＣＰＵ３３は、ＦＭチップ３２１のキャッシュセグメント３２５を優先して割り当てるＦＭ優先セグメント割り当て処理（図１５参照）を実行し、キャッシュ割り当て処理を終了する。
　ステップＳ３７では、ＣＰＵ３３は、ＲＡＭ３４のキャッシュセグメント３４３を優先して割り当てるＲＡＭ優先セグメント割り当て処理（図１６参照）を実行し、キャッシュ割り当て処理を終了する。
　キャッシュ割り当て処理が完了すると、アクセス対象のデータに対して、ＦＭチップ３２１またはＲＡＭ３４のいずれか一方のキャッシュセグメントが割り当てられることとなる。
　図１５は、実施例１に係るＦＭ優先セグメント割り当て処理のフローチャートである。
　ＦＭ優先セグメント割り当て処理は、図１４に示すキャッシュ割り当て処理のステップＳ３６に対応する処理である。
　まず、ＣＰＵ３３は、使用可能なＦＭセグメント３２５があるか否かを判定する（ステップＳ４１）。使用可能なＦＭセグメント３２５とは、フリーもしくは、クリーンかつロックされていないキャッシュセグメント３２５のことである。なお、使用可能なＦＭセグメント３２５があるか否かは、キャッシュ管理データ構造を参照することにより判定することができる。この判定結果が真の場合（ステップＳ４１：ＹＥＳ）は、ＣＰＵ３３は、処理をステップ４２に進める一方、偽の場合（ステップＳ４１：ＮＯ）は、処理をステップＳ４３に進める。
　ステップＳ４２では、ＣＰＵ３３は、ＦＭセグメント割り当て処理を行う。ここで、クリーンなキャッシュセグメントを割り当てる場合は、ＣＰＵ３３は、当該キャッシュセグメントをクリーンキューおよびキャッシュディレクトリ１００から切り離してフリーセグメントにしたうえでＦＭセグメント割り当て処理を行う。
　ＦＭセグメント割り当て処理では、まず、ＣＰＵ３３は、ＳＧＣＴ１２０に確保したキャッシュセグメントに対応するセグメントＩＤ１２０ｂ、メモリ種類１２０ｃ（ＦＭ）を設定する。そして、ＣＰＵ３３は、このキャッシュセグメントを含むスロットに対応するＳＬＣＴ１１０のＳＧＣＴポインタ１１０ｆに当該キャッシュセグメントのＳＧＣＴ１２０へのポインタを設定する。もし、対応するＳＬＣＴ１１０がキャッシュディレクトリ１００に接続されていない場合は、ＣＰＵ３３は、まずＳＬＣＴ１１０の内容を設定したうえ、当該ＳＬＣＴ１１０をキャッシュディレクトリ１００に接続して、その後にＳＬＣＴ１１０へＳＧＣＴ１２０を接続する。また、もし、確保したキャッシュセグメントに対応するＳＧＣＴ１２０以外のＳＧＣＴ１２０が既にＳＬＣＴ１１０に接続されている場合は、ＣＰＵ３３は、そのＳＬＣＴ１１０に接続されている終端のＳＧＣＴ１２０に、確保したキャッシュセグメントのＳＧＣＴ１２０を接続する。なお、ＦＭセグメント割り当て処理の終了後には、ＦＭ優先セグメント割り当て処理を終了する。
　ステップＳ４３では、ＣＰＵ３３は、使用可能なＲＡＭセグメント３４３があるか否かを判定する。この判定結果が真の場合（ステップＳ４３：ＹＥＳ）は、ＣＰＵ３３は、処理をステップＳ４５へ進める一方、偽の場合（ステップＳ４３：ＮＯ）は、いずれかのキャッシュセグメントが使用可能になるまで待って（ステップＳ４４）、処理をステップＳ４１に進める。
　ステップＳ４５では、ＣＰＵ３３は、ＲＡＭセグメント割り当て処理を行う。ＲＡＭセグメント割り当て処理は、ステップＳ４２におけるＦＭセグメント割り当て処理において、ＦＭセグメント３２５を割り当てていたものを、ＲＡＭセグメント３４３を割り当てるようにしたものである。ＲＡＭセグメント割り当て処理の終了後には、ＦＭ優先セグメント割り当て処理を終了する。
　このＦＭ優先セグメント割り当て処理では、ＦＭセグメント３２５が優先して割り当てられる。
　図１６は、実施例１に係るＲＡＭ優先セグメント割り当て処理のフローチャートである。
　ＲＡＭ優先セグメント割り当て処理は、図１４に示すキャッシュ割り当て処理のステップＳ３７に対応する処理である。
　ＲＡＭ優先セグメント割り当て処理は、図１５に示すＦＭ優先セグメント割り当て処理におけるＦＭセグメントと、ＲＡＭセグメントとを入れ替えた処理であるので、ここでは、簡単に説明を行う。
　まず、ＣＰＵ３３は、使用可能なＲＡＭセグメント３４３があるか否かを判定する（ステップＳ５１）。この判定結果が真の場合（ステップＳ５１：ＹＥＳ）は、ＣＰＵ３３は処理をステップＳ５２に進める一方、偽の場合（ステップＳ５１：ＮＯ）は、処理をステップＳ５３に進める。
　ステップＳ５２では、ＣＰＵ３３は、ＲＡＭセグメント割り当て処理を行う。このＲＡＭセグメント割り当て処理は、図１５のステップＳ４５と同様な処理である。ＲＡＭセグメント割り当て処理の終了後には、ＲＡＭ優先セグメント割り当て処理を終了する。
　ステップＳ５３では、ＣＰＵ３３は、使用可能なＦＭセグメント３２５があるか否かを判定する。この判定結果が真の場合（ステップＳ５３：ＹＥＳ）は、ＣＰＵ３３は、処理をステップＳ５５に進める一方、偽の場合（ステップＳ５３：ＮＯ）は、いずれかのキャッシュセグメントが使用可能になるまで待って（ステップＳ５４）、処理をステップＳ５１に進める。
　ステップＳ５５では、ＣＰＵ３３は、ＦＭセグメント割り当て処理を行う。このＦＭセグメント割り当て処理は、図１５のステップＳ４２と同様な処理である。ＦＭセグメント割り当て処理の終了後には、ＲＡＭ優先セグメント割り当て処理を終了する。
　このＲＡＭ優先セグメント割り当て処理では、ＲＡＭセグメント３４３が優先して割り当てられる。
　図１７は、実施例１に係るアクセスモニタ集計処理のフローチャートである。
　アクセスモニタ集計処理は、例えば一定時間周期に実行され、その期間におけるリード・ライト量やリード・ライト頻度を集計してアクセスモニタテーブル３４２を更新する処理である。
　まずＣＰＵ３３は、アクセスモニタテーブル３４２のリード速度３４２ａを更新する（ステップＳ６１）。すなわち、ＣＰＵ３３は、リード量カウンタ３４２ｅの値を、モニタ開始時刻３４２ｉから現在までの時間（以下、モニタ時間と称する）で割った値を、リード速度として、アクセスモニタテーブル３４２のリード速度３４２ａに設定する。
　次に、ＣＰＵ３３は、アクセスモニタテーブル３４２のライト速度３４２ｂを更新する（ステップＳ６２）。すなわち、ＣＰＵ３３は、ライト量カウンタ３４２ｆの値を、モニタ時間で割った値を、ライト速度として、アクセスモニタテーブル３４２のライト速度３４２ｂに設定する。
　続いて、ＣＰＵ３３は、アクセスモニタテーブル３４２のリード頻度３４２ｃを更新する（ステップＳ６３）。すなわち、ＣＰＵ３３は、リードコマンドカウンタ３４２ｇの値を、モニタ時間で割った値を、リード頻度として、アクセスモニタテーブル３４２のリード頻度３４２ｃに設定する。
　その次に、ＣＰＵ３３は、アクセスモニタテーブル３４２のライト頻度３４２ｄを更新する（ステップＳ６４）。すなわち、ＣＰＵ３３は、ライトコマンドカウンタ３４２ｈの値を、モニタ時間で割った値を、ライト頻度として、アクセスモニタテーブル３４２のライト頻度３４２ｄに設定する。
　そして、ＣＰＵ３３は、アクセスモニタテーブル３４２のモニタ開始時刻３４２ｉに現在時刻を設定し（ステップＳ６５）、リード量カウンタ３４２ｅ、ライト量カウンタ３４２ｆ、リードコマンドカウンタ３４２ｇ、およびライトコマンドカウンタ３４２ｈの値を０にリセットし（ステップＳ６６）、アクセスモニタ集計処理を終了する
　このアクセスモニタ集計処理により、論理ユニット内の各部分領域についてのライト速度、リード速度、ライト頻度、およびリード頻度を適切に把握することができる。
　上で説明したアクセスモニタ集計処理では、リード速度、ライト速度を、リード量・ライト量をモニタ時間で除算して算出しているが、別の実施形態として、アクセスモニタテーブル３４２に、リードコマンド、ライトコマンドの処理時間（コマンドを受信してから、ホスト計算機１０に応答を返すまでに要した時間）の累積を記憶するようにし、リード量・ライト量をそれぞれ、リードコマンド、ライトコマンドの処理時間の累積で除算するようにしてもよい。論理ユニット内のある部分領域に対して、コマンド（リードあるいはライトコマンド）が複数回発行された場合を想定すると、リード量・ライト量をモニタ時間で除算してアクセス速度を算出すると、転送長が長いデータへのアクセスであっても、発行されるコマンドの時間間隔が長い場合には、算出されるアクセス速度が低くなる。リード量・ライト量をそれぞれ、リードコマンド、ライトコマンドの処理時間の累積で除算した値をリード速度、ライト速度とすると、論理ユニット内のある部分領域に対して発行されるコマンドの時間間隔が長い、短いにかかわらず、転送長が長いデータへのアクセスの場合には、算出されるリード速度、ライト速度が高くなるので、論理ユニット内のある部分領域に対して発行されるコマンドの時間間隔が長い、短いにかかわらず、転送長が長いデータへのアクセスの場合にＲＡＭに優先的にキャッシュするようにしたい場合、リード量・ライト量をそれぞれ、リードコマンド、ライトコマンドの処理時間の累積で除算した値をリード速度、ライト速度とするとよい。
　なお、アクセスモニタテーブル３４２は論理ユニット内の部分領域ごとに設けられ、部分領域ごとにアクセス頻度やアクセス速度が集計される。部分領域（つまり１つのアクセスモニタテーブル３４２でアクセス頻度やアクセス速度を集計する単位）のサイズとしては、先に述べたとおり様々なサイズを選択可能であるが、本発明におけるストレージシステムでは、アクセスモニタテーブル３４２の情報に基づいて、キャッシュセグメントとして割り当てるべきメモリ種類を決定するため、キャッシュセグメントとして割り当てるべきメモリ種類の決定される際、図１４等の処理はキャッシュセグメント単位で判定を行っているが、結果としては部分領域単位に割り当てられるメモリ種類が定まることになる。そのため、割り当てられるキャッシュメモリの種類を、できるだけ小さい領域ごとに選択したい場合、部分領域のサイズを小さくすることが好ましい。たとえば部分領域のサイズが、キャッシュセグメントと同じサイズであれば、キャッシュセグメントごとのアクセス特性に応じたメモリ割り当てが可能になる。ただし、部分領域のサイズが小さいと、維持管理すべきアクセスモニタテーブル３４２の量が増加するため、キャッシュセグメントサイズの整数倍（たとえばスロットのサイズでもよい）、あるいはスロットサイズの整数倍としてもよい。
　また、本実施例１におけるアクセスモニタテーブル３４２とアクセスモニタ集計処理は、キャッシュ割り当て処理を行うために専用に設けられているものだが、別の実施形態として、ストレージシステム２０内に、キャッシュ割り当て処理以外の目的で、論理ボリュームの部分領域のアクセス頻度等の情報を集計する手段が設けられている場合、当該手段により集計された情報を用いるようにしてもよい。たとえば米国特許出願公開第２０１３／００３６２５０号明細書や、米国特許出願公開第２０１０／０２０５３９０号明細書には、いわゆるシンプロビジョニングに従う論理ボリュームを提供するストレージ装置が、論理ボリュームの各部分領域（ページと呼ばれる）に割り当てるべき記憶領域を決定するために、ページ毎にアクセス頻度などを集計する機能を有することが開示されている。本発明の実施例に係るストレージシステム２０がこのような機能を備えている場合には、上で説明したアクセスモニタテーブル３４２とアクセスモニタ集計処理に代えて、ページ毎に集計されたアクセス頻度情報を用いて、キャッシュ割り当ての判定を行うようにしてもよい。
　図１８は、実施例１に係る判定用閾値算出方法を説明する図である。
　図１４に示すキャッシュ割り当て処理のステップＳ３１において、対象データが高速にアクセスされるか否かを判定する際に基準とする閾値は、ＦＭボード３２で使用されるＦＭチップ３２１の寿命が過度に短くならないよう、つまりＦＭチップ３２１に対する更新・消去頻度が高くなりすぎないような値を設定することが望ましい。そのため、使用するＦＭチップ３２１の書き換え可能回数や容量、ストレージシステム２０の性能（たとえばホスト計算機１０からのライト頻度）などを考慮して、閾値を決定する。この閾値はあらかじめ定められた固定値としてもよいが、下記のようにアクセスモニタテーブル３４２の値を用いて動的に決めてもよい。このようにすると、より状況にあった閾値を設定することができる。
　まず、ＣＰＵ３３は、図１８の左側のグラフに示すようなライト速度にある各領域(部分領域)について、ライト速度が遅い順にソートして図１８の右側のグラフに示すようにする。ここで、各領域は、アクセスモニタテーブル３４２で管理されている部分領域である。そして、各領域のライト速度を順に足していき、合計が式（１）で求められる許容総ライト速度を超えたら、当該領域のライト速度を対象データが高速にアクセスされるか否かを判定する際に基準とする閾値とする。つまり当該領域のライト速度未満のライト速度となる領域がＦＭチップ３２１でキャッシュするのに適した領域（ＦＭ適切領域）であり、この領域についてＦＭチップ３２１にキャッシュするようにし、それ以外の領域については、ＦＭチップ３２１にキャッシュしないようにする。
　許容総ライト速度＝残りライト可能量／（残り使用期間×マージン）－その他のFM更新速度・・・（１）
　ここで、残りライト可能量は、ＦＭチップ３２１の残り書き換え可能回数と容量、およびＷＡ（Write　Amplification：リクラメーションやウェアレベリングによってフラッシュメモリへのライト量が何倍に増幅されるかを表す指標）によって決まる。その他のＦＭ更新速度は、ホスト計算機１０からのライト以外の処理、例えばキャッシュリプレースやデステージなどによってＦＭチップ３２１が更新される速度である。残り使用期間は、ＦＭチップ３２１を交換するとして想定されている期日までの期間に相当する。
　情報システムでは、ＦＭチップ３２１の残りライト可能量が少なくなった場合に、当該ＦＭチップ３２１を搭載するＦＭボード３２へのキャッシュ割り当てを止め、新しいＦＭボード３２に交換させることもできる。例えば、ＦＭチップ３２１の残りライト可能量が予め決められた閾値を下回った場合は、ＣＰＵ３３は、許容総ライト速度をゼロに設定する。こうすることで、ＦＭセグメントの割り当てが行われなくなる。さらに、ＣＰＵ３３は、ＦＭボード３２の交換を促すメッセージを管理端末に表示したり、管理者宛にメールを送信したりするなどの方法で、ＦＭボード３２の交換が必要であることを管理者に知らせる。
　ＦＭボード３２の交換時には、ＣＰＵ３３は、まず古いＦＭボード３２上に残っているダーティデータをドライブに書き出した後に、抜去可能であるとの通知を、例えば管理端末に表示する。管理者が古いＦＭボード３２をストレージコントローラ３０から抜去して、新しいＦＭボード３２をストレージコントローラ３０に挿した後に、ＣＰＵ３３は新しいＦＭボード３２の初期化を行い、残りライト可能量を初期化し、上記同様に許容総ライト速度を計算する。これにより、以降においては、新しいＦＭボード３２を用いてＦＭセグメントの割り当てが行われることとなる。
　図１９は、実施例１に係るライトコマンド処理のフローチャートである。
　ライトコマンド処理は、ホスト計算機１０からストレージコントローラ３０がライトコマンドを受信した場合に実行される。
　まず、ライトコマンドを受信したストレージコントローラ３０のＣＰＵ３３は、ライトコマンドで指定されている、ライト対象の論理ボリュームの論理ブロックアドレス(ライト対象アドレス)に対応するキャッシュセグメントが割り当て済みであるか否かを判定する（ステップＳ７１）。この処理はリード処理（図１１のＳ１）と同様であるので詳細な説明は省略する。この結果、キャッシュセグメントが割り当て済みであれば（ステップＳ７１：ＹＥＳ）、ステップＳ７３へ処理を進める一方、キャッシュセグメントが未割り当てであれば（ステップＳ７１：ＮＯ）、キャッシュ割り当て処理（図１４参照）を実行し（ステップＳ７２）、ステップＳ７３へ処理を進める。キャッシュ割り当て処理では、ライト対象アドレスに対して、ＲＡＭ３４またはＦＭチップ３２１からキャッシュセグメントが割り当てられる。なお、ライトされたデータを二重化することで信頼性を確保するために、キャッシュセグメントを２つ割り当てるようにしてもよい。
　ステップＳ７３では、ＣＰＵ３３は、ライト対象アドレスに対応するキャッシュセグメントを含むスロットをロックする。具体的には、ＣＰＵ３３は、このキャッシュセグメントを含むスロットのＳＬＣＴ１１０のスロットステータス１１０ｅの「ロック中」を表すビットをＯＮにすることで、当該スロットがロックされていることを表す。
　続いて、ＣＰＵ３３は、ホスト計算機１０に対し、例えば、XFER_RDYを送信することで、データ受領準備ができたことを通知する（ステップＳ７４）。
　そして、ＣＰＵ３３は、割り当てたキャッシュセグメントがＲＡＭセグメント３４３であるか否かを判定する（ステップＳ７５）。この結果、割り当てたキャッシュセグメントがＲＡＭセグメント３４３であれば（ステップＳ７５：ＹＥＳ）、ＣＰＵ３３は、ホスト計算機１０から受領したデータをＲＡＭセグメント３４３に格納するデータ受領処理（ＲＡＭ）（図２０参照）を実行し（ステップＳ７６）、処理をステップＳ７８に進める。一方、割り当てたキャッシュセグメントがＦＭセグメント３２５であれば（ステップＳ７５：ＮＯ）、ＣＰＵ３３は、ホスト計算機１０から受領したデータをＦＭセグメント３２５に格納するデータ受領処理（ＦＭ）（図２１参照）を実行し（ステップＳ７７）、処理をステップＳ７８に進める。
　ステップＳ７８では、ＣＰＵ３３は、アクセスモニタテーブル３４２を更新する。すなわち、ＣＰＵ３３は、アクセスモニタテーブル３４２のライト量カウンタ３４２ｆに、今回のライトコマンドで受領したデータ量を加算し、ライトコマンドカウンタ３４２ｈをインクリメントする。その後、ＣＰＵ３３は、ライトコマンド処理を終了する。
　図２０は、実施例１に係るデータ受領処理（ＲＡＭ）のフローチャートである。
　データ受領処理（ＲＡＭ）は、図１９に示すライトコマンド処理のステップＳ７６の処理に対応する。
　まず、ＣＰＵ３３は、ホスト計算機１０から受領したデータを、ＲＡＭセグメント３４３に書き込む（ステップＳ８１）。
　次にＣＰＵ３３は、書き込んだデータがダーティデータであると設定する（ステップＳ８２）。すなわち、ＣＰＵ３３は、ＳＧＣＴ１２０のダーティビットマップ１２０ｆにおける受領したデータが書き込まれたブロックに対応するビットをＯＮに設定する。
　続いて、ＣＰＵ３３は、コマンドの完了ステータスをホスト計算機１０に送信し、ＲＡＭセグメント３４３を含むスロットを解放（アンロック）し（ステップＳ８４）、データ受領処理（ＲＡＭ）を終了する。
　図２１は、実施例１に係るデータ受領処理（ＦＭ）のフローチャートである。
　データ受領処理（ＦＭ）は、図１９に示すライトコマンド処理のステップＳ７７の処理に対応する。
　まず、ＣＰＵ３３は、ホスト計算機１０から受領したデータを、ＦＭボード３２のバッファメモリ３２３に書き込む（ステップＳ９１）。
　次に、ＣＰＵ３３は、書き込んだデータをバッファメモリ３２３から読み出すことができるかテストする（ステップＳ９２）。このとき、ＣＰＵ３３は、例えばデータに付加されたＣＲＣ（Cyclic　Redundancy　Check）などの保証コードをチェックすることで、データが正常であることを確認してもよい。
　次に、ＣＰＵ３３は、書き込んだデータがダーティデータであると設定する（ステップＳ９３）。すなわち、ＣＰＵ３３は、ＳＧＣＴ１２０のダーティビットマップ１２０ｆにおける、受領したデータが書き込まれたブロックに対応するビットをＯＮにする。
　続いて、ＣＰＵ３３は、コマンドの完了ステータスをホスト計算機１０に送信し、ＦＭセグメント３２５を含むスロットを解放する（ステップＳ９５）。
　次に、ＣＰＵ３３は、ＦＭプロセッサ３０２ｂに対して、バッファメモリ３２３上のデータをＦＭチップ３２１のキャッシュセグメント３２５に格納するよう要求し（ステップＳ９６）、データ受領処理（ＦＭ）を終了する。
　図２２は、実施例１に係るＦＭデータ読み出し処理のフローチャートである。
　ＦＭデータ読み出し処理は、図１３に示すデータ送信処理のステップＳ２４における、ＦＭチップ３２１上のデータをバッファに読み出す要求をＦＭプロセッサ３２０ｂが受信した場合に実行される。
　まず、ＦＭプロセッサ３２０ｂは、ストレージコントローラ３０のＣＰＵ３３から指定された論理アドレスを、ＦＭチップ３２１上のデータ格納位置を表す物理アドレスに変換する（ステップＳ１０１）。なお、論理アドレスから物理アドレスへの変換は、バッファメモリ３２３に格納されている論理アドレスと物理アドレスとの対応関係を示すマッピングテーブルに基づいて行うことができる。
　次に、ＦＭプロセッサ３２０ｂは、ＦＭチップ３２１の物理アドレスに対応する領域から対象データを読み出し、バッファメモリ３２３に格納する（ステップＳ１０２）。
　そして、ＦＭプロセッサ３２０ｂは、完了応答をストレージコントローラ３０のＣＰＵ３３に対して送信し（ステップＳ１０３）、ＦＭデータ読み出し処理を終了する。
　図２３は、実施例１に係るＦＭデータ書き込み処理のフローチャートである。
　ＦＭデータ書き込み処理は、図２１に示すデータ受領処理（ＦＭ）のステップＳ９６における、バッファメモリ３２３上のデータをＦＭチップ３２１のキャッシュセグメント３２５に格納する要求を、ＦＭプロセッサ３２０ｂが受信した場合に実行される。
　まず、ＦＭプロセッサ３２０ｂは、データ格納先のＦＭチップ３２１のページ（ＦＭページともいう。）を確保する（ステップＳ１１１）。ここで、ＦＭチップ３２１は、同一のページに対してデータを上書きできないので、ＦＭプロセッサ３２０ｂは、既に消去済みのＦＭページをデータ格納先として選ぶ。もし消去済みのＦＭページが無い場合は、ＦＭプロセッサ３２０ｂは、ＦＭチップ３２１の空きブロック（空きＦＭブロックともいう）、すなわち有効データが格納されていないＦＭチップ３２１のブロック（ＦＭブロックともいう）を消去して、そのＦＭブロックの先頭から必要な量のＦＭページをデータ格納先として選ぶ。
　次に、ＦＭプロセッサ３２０ｂは、バッファメモリ３２３上のデータを、確保したＦＭページに書き込む（ステップＳ１１２）。
　そして、ＦＭプロセッサ３２０ｂは、今回処理対象とした論理アドレスが、新たにデータを格納したＦＭページの物理アドレスに対応するよう、論理アドレスと物理アドレスとの対応関係を表すマッピングテーブルを更新し、また、古いデータが格納されているＦＭページが無効であることを記憶する（ステップＳ１1３）。このとき、ＦＭプロセッサ３２０ｂは、無効になったＦＭページが含まれるＦＭブロックの全ＦＭページが無効である場合には、当該ＦＭブロックを空きＦＭブロックとして管理する。この時点で、空きＦＭブロックのデータを消去してもよいし、後でバックグラウンド処理として空きＦＭブロックのデータを消去してもよい。
　そして、ＦＭプロセッサ３２０ｂは、完了応答をストレージコントローラ３０のＣＰＵ３３に対して送信し（ステップＳ１１４）、ＦＭデータ書き込み処理を終了する。
　次に、実施例２に係る情報システムについて説明する。その際、前述の実施例のうちの少なくとも１つの実施例との相違点を主に説明し、前述の実施例のうちの少なくとも１つの実施例との共通点については説明を省略あるいは簡略化する。これは、実施例２に限らず、実施例３以降についても同様である。
　図２４は、実施例２に係る情報システムの構成図である。なお、実施例１に係る情報システムと同様な構成に対しては、同一の符号を付している。
　実施例２に係る情報システムと、実施例１に係る情報システムとの主な違いは、ＦＭボード３２がホスト計算機８０に搭載されることにある。このホスト計算機８０が、情報処理装置の一例である。
　実施例２に係る情報システムは、ホスト計算機８０と、ホスト計算機８０に直接あるいはネットワークを経由して接続されるＨＤＤ４０、ＳＳＤ４１、またはストレージシステム２０とを含む。
　ホスト計算機８０は、ＣＰＵ８１と、ＲＡＭ８４と、ＦＭボード３２と、ストレージインタフェース８２と、ネットワークインタフェース８３とを含む。
　ストレージインタフェース８２は、ＨＤＤ４０又はＳＳＤ４１を接続するためのインタフェースである。ネットワークインタフェース８３は、ネットワークを介してストレージシステム２０と接続するためのインタフェースである。ＦＭボード３２は、図４に示す実施例１に係るＦＭボードと同様な構成である。
　ＲＡＭ８４は、ＣＰＵ８１が実行するアプリケーションプログラム８４１と、オペレーティングシステム８４２（オペレーティングシステムＡ、オペレーティングシステムＢ）と、ハイパーバイザプログラム８４３と、ストレージ制御プログラム３４０と、キャッシュ制御情報３４１とを格納する。また、ＲＡＭ８４は、データをキャッシュするためのキャッシュセグメント３４３を格納する。
　ハイパーバイザプログラム８４３は、ホスト計算機８０で構築する仮想マシン（ＶＭ）を管理するプログラムである。なお、ハイパーバイザプログラム８４３の機能を、ハードウェアとして実装してもよい。
　図２５は、実施例２に係るデータ入出力処理の概要を示す図である。
　本実施例に係るホスト計算機８０においては、一番下の階層には、ＣＰＵ８１がハイパーバイザプログラム８４３を実行することにより構築されるハイパーバイザＨＶが位置する。ハイパーバイザＨＶは、仮想化機構の一種である。仮想化機構は、プログラムを実行するプロセッサを有した計算機であっても良い。ハイパーバイザＨＶによって、１以上の仮想マシン（図２５では、仮想マシンＡ（ＶＭＡ）及び仮想マシンＢ（ＶＭＢ）が実現される。仮想マシンＡでは、オペレーティングシステムＡが動作し、その上でアプリケーションプログラム８４１が動く。また、仮想マシンＢでは、オペレーティングシステムＢが動作し、その上でストレージ制御プログラム３４０が動く。ストレージ制御プログラム３４０は、ＲＡＭ３４のキャッシュセグメント３４３およびＦＭチップ３２１のキャッシュセグメント３２５を用いて、実施例１と同様なキャッシュを制御する。なお、ストレージ制御プログラム３４０はホスト計算機８０に接続されたＨＤＤ４０、ＳＳＤ４１、またはストレージシステム２０に対するデータ入出力の制御も行う。
　仮想マシンＡのアプリケーションプログラム８４１と、仮想マシンＢのストレージ制御プログラム３４０とは、仮想マシン間通信によって互いに通信を行う。なお、この仮想マシン間通信は、ハイパーバイザＨＶあるいは各オペレーティングシステム８４２によって仮想化され、アプリケーションプログラム８４１やストレージ制御プログラム３４０にとっては、例えばＳＣＳＩのようなストレージインタフェースを介した通信と同様の仮想的なインタフェースを用いて行ってもよい。
　実施例２に係る情報システムによると、ホスト計算機８０において、ＲＡＭキャッシュセグメント３４３と、ＦＭキャッシュセグメント３２５とを用いて、適切にデータのキャッシュを行うことができる。
　次に、実施例３に係る情報システムについて説明する。
　図２６は、実施例３に係る情報システムの構成を示す図である。
　実施例３に係る情報システムは、実施例２に係る情報システムとは、ホスト計算機におけるＲＡＭで管理する内容が異なっている。
　実施例３に係るホスト計算機９０は、ＲＡＭ９１を含む。このホスト計算機９０は、情報処理装置の一例である。ＲＡＭ９１は、オペレーティングシステム９１１を格納する。オペレーティングシステム９１１は、ストレージ制御プログラム３４０およびキャッシュ制御情報３４１をドライバとして含む。
　図２７は、実施例３に係るデータ入出力処理の概要を示す図である。
　実施例３に係るホスト計算機９０では、アプリケーションプログラム８４１がストレージ（ＨＤＤ４０、ＳＳＤ４１、またはストレージシステム２０）に対する入出力を行う際、オペレーティングシステム９１１に含まれるストレージ制御プログラム３４１がこの入出力要求を処理し、実施例１と同様に、ＲＡＭキャッシュセグメント３４３やＦＭキャッシュセグメント３２５へのキャッシングを行う。また、ストレージ制御プログラム３４１は、ストレージに対して入出力を行うために、各種デバイスドライバ（９１２、９１３）にストレージに対する入出力要求を渡す。デバイスドライバＡ９１２は、入出力要求に基づいて、ストレージインタフェース８２を制御する。デバイスドライバＢ９１３は、入出力要求に基づいて、ネットワークインタフェース８３を制御する。
　実施例３に係る情報システムによると、ホスト計算機９０のオペレーティングシステム９１１が、ＲＡＭキャッシュセグメント３４３と、ＦＭキャッシュセグメント３２５とを用いて、適切にデータのキャッシュを行うことができる。
　次に、実施例４に係る情報システムについて説明する。
　実施例４に係る情報システムと実施例１に係る情報システムとの違いは、リードコマンド処理の手順である。実施例４に係る情報システムでは、ドライブからステージングしたデータを、バッファメモリ３２３からＦＭチップ３２１に書き込む前に、まずバッファメモリ３２３からホスト計算機１０へ送信し、その後でＦＭチップ３２１に書き込む。こうすることでリードコマンド完了までの所要時間（レスポンスタイム）を短くすることができる。
　図２８は、実施例４に係るジョブ制御テーブルの構成図である。
　ジョブ制御テーブル３４４は、ジョブ種類３４４ａと、論理ユニット番号３４４ｂと、論理ブロックアドレス３４４ｃと、転送長３４４ｄと、バッファアドレス３４４ｅとを記憶する。ジョブ種類３４４ａは、ジョブが行う処理の種類を表す。ジョブ種類３４４ａは、例えば、リードコマンド処理であれば「１」、ライトコマンド処理であれば「２」などのジョブを示すＩＤである。論理ユニット番号３４４ｂ、論理ブロックアドレス３４４ｃ、及び転送長３４４ｄは、それぞれ、ホスト計算機１０から受信したリード・ライトコマンドに指定された、アクセス対象についての論理ユニットの番号、論理ブロックアドレス（ＬＢＡ）、転送長を表す。バッファアドレス３４４ｅは、このジョブが確保しているバッファのアドレスを表す。バッファアドレス３４４ｅは、バッファが確保されてないときは、アドレスが無効であることを表す値（例えばＮＵＬＬ）となっている。
　図２９は、実施例４に係るリードコマンド処理の第１のフローチャートであり、図３０は、実施例４に係るリードコマンド処理の第２のフローチャートである。図２９のフローチャートの符号Ａは、図３０のフローチャートの符号Ａに繋がっていることを示している。
　リードコマンド処理は、ホスト計算機１０からストレージコントローラ３０がリードコマンドを受信した場合に実行される。
　まず、リードコマンドを受信したストレージコントローラ３０のＣＰＵ３３は、リードコマンドで指定されているリード対象アドレスに対応するキャッシュセグメントが割り当て済みであるか否かを判定する（ステップＳ１）。この結果、キャッシュセグメントが割り当て済みであれば（ステップＳ１：ＹＥＳ）、ＣＰＵ３３は、ステップＳ３へ処理を進める一方、キャッシュセグメントが未割り当てであれば（ステップＳ１：ＮＯ）、キャッシュ割り当て処理（図１４参照）を実行し（ステップＳ２）、ステップＳ３へ処理を進める。キャッシュ割り当て処理は、実施例１で説明した通りである。
　ステップＳ３では、ＣＰＵ３３は、リード対象アドレスに対応するキャッシュセグメントを含むスロットをロックする。具体的には、ＣＰＵ３３は、このキャッシュセグメントを含むスロットのＳＬＣＴ１１０のスロットステータス１１０ｅの「ロック中」を表すビットをＯＮにすることで、当該スロットがロックされていることを表す。
　続いてＣＰＵ３３は、リード対象のデータがキャッシュセグメントに格納されているか否か、すなわち、キャッシュヒットか否かを判定する（ステップＳ４）。具体的には、ＣＰＵ３３は、リード対象のキャッシュセグメントに対応するＳＧＣＴ１２０のステージングビットマップ１２０ｅおよびダーティビットマップ１２０ｆを調べ、リード対象の全ブロックに関して、当該ブロックに対応するステージングビットマップ１２０ｅのビットもしくはダーティビットマップ１２０ｆのビットのいずれかがＯＮであれば、キャッシュヒットであると判断する。一方、ＣＰＵ３３は、リード対象の範囲内に、ダーティビットマップ１２０ｆとステージングビットマップ１２０ｅとの対応するビットがいずれもＯＦＦであるブロックが一つでもある場合は、キャッシュミスであると判断する。
　この結果、キャッシュヒットの場合（ステップＳ４：ＹＥＳ）は、ＣＰＵ３３は、処理をステップＳ１２２へ進める一方、キャッシュミスの場合（ステップＳ４：ＮＯ）は、ステージング処理（図３１参照）を実行し（ステップＳ１２１）、処理をステップＳ１２２に進める。ステージング処理では、ドライブ（ＨＤＤ４０、またはＳＳＤ４１）からキャッシュセグメント（３２５又は３４３）へデータが読み込まれる。ステージング処理が完了すると、リード対象のデータがキャッシュセグメント（３２５又は３４３）に格納された状態になる。
　ステップＳ１２２では、ＣＰＵ３３は、キャッシュセグメントに格納されたデータをホスト計算機１０に送信するデータ送信処理（図３２参照）を実行する。
　続いて、ＣＰＵ３３は、コマンドの完了ステータスをホスト計算機１０に送信する（ステップＳ７）。すなわち、ＣＰＵ３３は、コマンドの処理中にエラーが発生してリード処理が正常に完了しなかった場合はエラーステータス（例えばCHECK　CONDITION）を返す一方、リード処理が正常に完了した場合は正常ステータス（GOOD）を返す。
　次に、ＣＰＵ３３は、ＦＭチップ３２１へのライトを実施中か否かを判定する（ステップＳ１２３）。「ＦＭチップ３２１へのライトを実施中」とは、バッファメモリ３２３からＦＭチップ３２１へのデータ書き込み要求をＦＭプロセッサ３２０ｂに送信した後、まだＦＭプロセッサ３２０ｂから完了通知を受信していない状態を意味する。この結果、真であれば（ステップＳ１２３：ＹＥＳ）、ＣＰＵ３３は、ＦＭプロセッサ３２０ｂからの完了通知を待ち（ステップＳ１２４）、処理をステップＳ１２５に進める。一方、偽であれば（ステップＳ１２３：ＮＯ）、ＣＰＵ３３は、処理をステップＳ１２５に進める。
　ステップＳ１２５では、ＣＰＵ３３は、バッファを解放する。次いで、ＣＰＵ３３は、ロックしているスロットを解放（アンロック）し（ステップＳ８）、アクセスモニタテーブル３４２を更新し（ステップＳ９）、リードコマンド処理を終了する。アクセスモニタテーブル３４２の更新とは、例えば、リード量カウンタ３４２ｅに今回のリードコマンドで読み出したデータ量を加算し、リードコマンドカウンタ３４２ｇをインクリメントする。
　図３１は、実施例４に係るステージング処理のフローチャートである。
　ステージング処理は、図２９のリードコマンド処理のステップＳ１２１の処理に対応する。
　まず、ＣＰＵ３３は、リード対象アドレスに割り当てられたキャッシュセグメントの基になっているキャッシュメモリの種類を調べ、キャッシュセグメントがＲＡＭ３４上のキャッシュセグメント（ＲＡＭセグメント）３４３であるか否かを判定する（ステップＳ１１）。ここで、キャッシュセグメントの基になっているキャッシュメモリの種類は、対応するＳＧＣＴ１２０のメモリ種類１２０ｃを参照することにより特定することができる。
　この結果、キャッシュセグメントがＲＡＭセグメント３４３であれば（ステップＳ１１：ＹＥＳ）、ＣＰＵ３３は、処理をステップＳ１２に進める一方、キャッシュセグメントがＲＡＭセグメント３４３でなければ（ステップＳ１１：ＮＯ）、処理をステップＳ１３に進める。
　ステップＳ１２では、ＣＰＵ３３は、リード対象（ステージング対象）のデータをドライブ（ＨＤＤ４０またはＳＳＤ４１）から読み出して、ＲＡＭセグメント３４３に格納し、ステージング処理を終了する。
　ステップＳ１３以降の処理では、キャッシュセグメントがＲＡＭセグメント３４３でない、すなわちＦＭチップ３２１上のキャッシュセグメント（ＦＭセグメント）３２５であるので、ドライブから読み上げたデータを直接ＦＭチップ３２１に書くのではなく、一旦、ＦＭボード３２のバッファメモリ３２３に格納した後、バッファメモリ３２３からＦＭチップ３２１に書き込むようにする。
　まず、ステップＳ１３では、ＣＰＵ３３は、バッファメモリ３２３にドライブから読み上げたデータを格納するための領域（バッファ）の確保を行う。すなわち、ＣＰＵ３３は、バッファメモリ３２３のうちステージング対象のデータを格納するのに十分な領域をバッファに割り当てる。
　次に、ＣＰＵ３３は、ステージング対象のデータをドライブから読み出してバッファに格納する（ステップＳ１４）。本実施例では、ＢＥ　Ｉ／Ｆ３５が、ＣＰＵ３３の指示を受けて、ドライブからＦＭボード３２のバッファメモリ３２３のバッファに対してデータを格納している。
　そして、ＣＰＵ３３は、ＦＭプロセッサ３２０ｂに対し、バッファメモリ３２３のバッファ上のデータをＦＭチップ３２１に格納するよう要求する（ステップＳ１５）。この要求に対してＦＭプロセッサ３２０ｂは、データ送信処理（図３２参照）を実行する。
　その後、ＣＰＵ３３は、ステージング処理を終了する。
　図３２は、実施例４に係るデータ送信処理のフローチャートである。
　データ送信処理は、図２９に示すリードコマンド処理のステップＳ１２２の処理に対応する。
　まず、ＣＰＵ３３は、リード対象アドレスに割り当てられたキャッシュセグメントの基になっているキャッシュメモリの種類を調べ、キャッシュセグメントがＲＡＭセグメント３４３であるか否かを判定する（ステップＳ２１）。ここで、キャッシュセグメントの基になっているキャッシュメモリの種類は、対応するＳＧＣＴ１２０のメモリ種類１２０ｃを参照することにより特定することができる。
　この結果、キャッシュセグメントがＲＡＭセグメント３４３であれば（ステップＳ２１：ＹＥＳ）、ＣＰＵ３３は、処理をステップＳ２２に進める一方、キャッシュセグメントがＲＡＭセグメント３４３でなければ（ステップＳ２１：ＮＯ）、処理をステップＳ１３１に進める。
　ステップＳ２２では、ＣＰＵ３３は、リード対象（送信対象）のデータをＲＡＭセグメント３４３からホスト計算機１０へ転送し、データ送信処理を終了する。
　ステップＳ１３１では、ＣＰＵ３３は、リード・ライトコマンドに対応するジョブ制御テーブル３４４のバッファアドレス３４４ｅが有効であるか否かをチェックする。この結果、バッファアドレス３４４ｅが有効であれば（ステップＳ１３１：ＶＡＬＩＤ）、ＣＰＵ３３は、処理をステップＳ１３２に進める一方、バッファアドレス３４４ｅが無効であれば、処理をステップＳ２３に進める。
　ステップＳ２３では、ＣＰＵ３３は、バッファメモリ３２３にバッファの確保を行う。すなわち、ＣＰＵ３３は、バッファメモリ３２３から送信対象のデータを格納するのに十分な領域を割り当てる。
　次に、ＣＰＵ３３は、ＦＭプロセッサ３２０ｂに対し、ＦＭチップ３２１のデータをバッファメモリ３２３のバッファに読み出すよう要求する（ステップＳ２４）。この要求に対してＦＭプロセッサ３２０ｂは、ＦＭデータ読み出し処理（図２２参照）を実行する。ＦＭデータ読み出し処理により、バッファメモリ３２３には、送信対象のデータが格納される。ＦＭプロセッサ３２０ｂは、ＦＭデータ読み出し処理を終了すると、その要求に対する完了応答をＣＰＵ３３に返す。
　続いて、ＣＰＵ３３は、その要求に対する完了応答をＦＭプロセッサ３２０ｂから受け取り（ステップＳ２５）、処理をステップＳ１３２に進める。
　ステップＳ１３２では、ＣＰＵ３３は、送信対象のデータをバッファメモリ３２３からホスト計算機１０に送信する。
　次に、実施例５に係る情報システムについて説明する。
　実施例５に係る情報システムと実施例１に係る情報システムとの違いは、実施例５に係る情報システムが、キャッシュセグメントが割り当てられているメモリ種類の見直しを行い、データのアクセス特性等に応じて、割り当て済のキャッシュセグメントから、異なるメモリ種類のキャッシュセグメントへデータを移動させるようにしたことである。これにより、データをそのデータのアクセス特性に応じた適切なキャッシュセグメントに格納することができる。
　図３３は、実施例５に係るメモリ種類見直し処理のフローチャートである。
　メモリ種類見直し処理は、例えば割り当て済の各セグメントに対して定期的に行ってもよいし、データをあるドライブから別のドライブへ移す際に、当該データが格納されているセグメントに対して行ってもよい。
　まず、ＣＰＵ３３は、処理対象のキャッシュセグメント（図３３の説明において処理対象セグメントという）を含むスロットをロックする（ステップＳ１５１）。
　次に、ＣＰＵ３３は、処理対象セグメントのメモリ種類が適切であるか否かを判定する（ステップＳ１５２）。この判定の基準には、図１４に示したキャッシュ割り当て処理の判定基準の一部あるいは全部を用いることができる。例えばアクセス頻度が高い場合や、ＳＳＤのデータを格納している場合などは、ＲＡＭセグメント３４３が適切であり、それ以外の場合は、ＦＭセグメント３２５が適切であると判定する。
　この判定の結果が真、すなわちメモリ種類が適切な場合（ステップＳ１５２：ＹＥＳ）は、ＣＰＵ３３は、スロットを解放し（ステップＳ１５３）、メモリ種類見直し処理を終了する。一方、判定の結果が偽、すなわちメモリ種類が不適切な場合（ステップＳ１５２：ＮＯ）は、以下の処理に進む。
　すなわち、ＣＰＵ３３は、適切なメモリ種類の空きセグメントがあるか調べる（ステップＳ１５４）。この結果、適切なメモリ種類の空きセグメントが無ければ（ステップＳ１５４：ＮＯ）、ＣＰＵ３３は、スロットを解放し（ステップＳ１５３）、メモリ種類見直し処理を終了する。
　一方、適切なメモリ種類の空きセグメントが有れば（ステップＳ１５４：ＹＥＳ）、ＣＰＵ３３は、処理対象セグメントのデータに対して、適切なメモリ種類のセグメントを新しく割り当てる（ステップＳ１５５）。次に、ＣＰＵ３３は、データを古いキャッシュセグメントから新しいキャッシュセグメントにコピーし（ステップＳ１５６）、古いキャッシュセグメントを解放し（ステップＳ１５７）、スロットを解放し（ステップＳ１５３）、メモリ種類見直し処理を終了する。
　以上、いくつかの実施例を説明したが、これらは、本発明の説明のための例示であって、本発明の範囲をこれらの実施例にのみ限定する趣旨ではない。すなわち、本発明は、他の種々の形態でも実施する事が可能である。
２０：ストレージシステム
３０：ストレージコントローラ
３２：ＦＭボード
３４：ＲＡＭ
３２１：ＦＭチップ 

Claims (15)

  1. 　ホストコンピュータからのＩ／Ｏリクエストを受け付ける情報処理装置であって、
    　特性の異なる複数種類のキャッシュメモリと、
    　前記複数種類のキャッシュメモリに接続された制御デバイスとを備え、
    　前記制御デバイスは、
    　前記Ｉ／Ｏリクエストに伴うデータのアクセス特性に応じて、前記複数の種類のキャッシュメモリのいずれか１つに前記データをキャッシュする情報処理装置。
  2. 　前記複数種類のキャッシュメモリは、第１のメモリで構成された第１のキャッシュメモリと、前記第１種のキャッシュメモリよりもアクセス性能が低い第２のメモリで構成された第２のキャッシュメモリである
    請求項１に記載の情報処理装置。
  3. 　前記制御デバイスは、所定の閾値よりもアクセス頻度が高いデータについては、前記第２のキャッシュメモリよりも前記第１のキャッシュメモリに優先的にキャッシュする
    請求項２に記載の情報処理装置。
  4. 　前記制御デバイスは、所定の閾値よりも前記データに対するアクセス速度が遅い場合に、前記第１のキャッシュメモリよりも前記第２のキャッシュメモリを優先的にキャッシュする
    請求項３に記載の情報処理装置。
  5. 　前記制御デバイスは、
    　データが管理される１以上の論理ボリュームにおける所定の領域毎に、当該領域のデータに対するアクセスに関する情報を収集し、
    　前記アクセスに関する情報に基づいて、前記アクセス速度に関する閾値を決定する
    請求項４に記載の情報処理装置。
  6. 　前記第２のキャッシュメモリよりもアクセス性能の高いバッファメモリを更に備え、
    　前記制御デバイスは、前記第２のキャッシュメモリに対して前記データを格納する際には、前記バッファメモリに前記データを格納し、その後、前記バッファメモリから前記第２のキャッシュメモリに格納する
    請求項３に記載の情報処理装置。
  7. 　前記第１のメモリは、ＲＡＭ（Random　Access　Memory）であり、
    　前記第２のメモリは、フラッシュメモリである
    請求項３に記載の情報処理装置。
  8. 　前記制御デバイスは、前記データがシーケンシャルアクセスの対象となるデータである場合に、前記第２のキャッシュメモリよりも前記第１種のキャッシュメモリに優先的にキャッシュする
    請求項３に記載の情報処理装置。
  9. 　前記制御デバイスは、
    　前記データが最終的に管理されるストレージデバイスが前記第２のメモリで構成されている場合には、前記第１のキャッシュメモリに優先的にキャッシュする
    請求項３に記載の情報処理装置。
  10. 　前記制御デバイスは、前記データが一時的に使用されるデータである場合に、前記第１のキャッシュメモリに優先的にキャッシュする
    請求項３に記載の情報処理装置。
  11. 　前記複数種類のキャッシュメモリは、第３のメモリで構成された第３のキャッシュメモリと、前記第３のメモリよりもデータの更新回数が制限されている第４のキャッシュメモリであり、
    　前記制御デバイスは、更新頻度が高いデータについては、前記第４のキャッシュメモリよりも前記第３のキャッシュメモリに優先的にキャッシュする
    請求項１に記載の情報処理装置。
  12. 　前記第３のメモリは、ＲＡＭであり、
    　前記第４のメモリは、フラッシュメモリである
    請求項１１に記載の情報処理装置。
  13. 　ホストコンピュータからのＩ／Ｏリクエストを受信し、
    　前記Ｉ／Ｏリクエストに伴うデータのアクセス特性に応じて、特性の異なる複数のキャッシュメモリのいずれか１つに前記データをキャッシュする
    キャッシュ制御方法。
  14. 　前記複数のキャッシュメモリは、ＲＡＭにより構成される第１のキャッシュメモリ及びフラッシュメモリにより構成される第２のキャッシュメモリであり、
    　所定の閾値よりもアクセス頻度が高いデータについては、前記第２のキャッシュメモリよりも前記第１のキャッシュメモリに優先的にキャッシュする
    請求項１３に記載のキャッシュ制御方法。
  15. 　前記複数のキャッシュメモリは、ＲＡＭにより構成される第１のキャッシュメモリ及びフラッシュメモリにより構成される第２のキャッシュメモリであり、
    　前記データがシーケンシャルアクセスの対象となるデータである場合は、前記第２のキャッシュメモリよりも前記第１のキャッシュメモリに優先的にキャッシュする
    請求項１３に記載のキャッシュ制御方法。
PCT/JP2013/078731 2012-12-28 2013-10-23 特性の異なる複数種類のキャッシュメモリを有する情報処理装置 Ceased WO2014103489A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/430,643 US20150254186A1 (en) 2012-12-28 2013-10-23 Information processing device having a plurality of types of memory caches with different characteristics
JP2014554203A JP6000376B2 (ja) 2012-12-28 2013-10-23 特性の異なる複数種類のキャッシュメモリを有する情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/008459 WO2014102886A1 (en) 2012-12-28 2012-12-28 Information processing apparatus and cache control method
JPPCT/JP2012/008459 2012-12-28

Publications (1)

Publication Number Publication Date
WO2014103489A1 true WO2014103489A1 (ja) 2014-07-03

Family

ID=47603955

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2012/008459 Ceased WO2014102886A1 (en) 2012-12-28 2012-12-28 Information processing apparatus and cache control method
PCT/JP2013/078731 Ceased WO2014103489A1 (ja) 2012-12-28 2013-10-23 特性の異なる複数種類のキャッシュメモリを有する情報処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/008459 Ceased WO2014102886A1 (en) 2012-12-28 2012-12-28 Information processing apparatus and cache control method

Country Status (3)

Country Link
US (2) US20140189204A1 (ja)
JP (1) JP6000376B2 (ja)
WO (2) WO2014102886A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182674A (ja) * 2013-03-21 2014-09-29 Nec Corp 記憶装置および記憶方法
JP2017015553A (ja) * 2015-07-01 2017-01-19 ファナック株式会社 収集するデータ毎に記憶媒体を分けて保存できるデータロガー
WO2017046871A1 (ja) * 2015-09-15 2017-03-23 株式会社日立製作所 情報処理装置、拡張メモリおよび情報処理装置のメモリ制御方法
JP2017062597A (ja) * 2015-09-24 2017-03-30 日本電気株式会社 情報処理システム及び情報処理方法
JP2018147041A (ja) * 2017-03-01 2018-09-20 株式会社東芝 情報処理装置、情報処理システム、および情報処理プログラム
JP2019049856A (ja) * 2017-09-11 2019-03-28 富士通株式会社 ストレージ制御装置およびストレージ制御プログラム
JP2019128948A (ja) * 2018-01-22 2019-08-01 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 集積回路装置及びストレージ装置
US10521134B2 (en) 2015-09-16 2019-12-31 Kabushiki Kaisha Toshiba Memory system
JP2022078790A (ja) * 2020-11-13 2022-05-25 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2022548887A (ja) * 2019-09-17 2022-11-22 マイクロン テクノロジー，インク． メモリタイプへのページテーブルフック

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8700949B2 (en) 2010-03-30 2014-04-15 International Business Machines Corporation Reliability scheme using hybrid SSD/HDD replication with log structured management
WO2013048497A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Apparatus and method for implementing a multi-level memory hierarchy
JP6191240B2 (ja) * 2013-05-28 2017-09-06 富士通株式会社 変数更新装置、変数更新システム、変数更新方法、変数更新プログラム、変換プログラム、及びプログラム変更検証システム
US9110809B2 (en) * 2013-07-03 2015-08-18 Nvidia Corporation Reducing memory traffic in DRAM ECC mode
KR20150010150A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 메모리 시스템 및 이의 동작 방법
US9471357B2 (en) * 2013-09-13 2016-10-18 American Megatrends, Inc. Monitoring virtual machine interface and local graphical user interface on a thin client and alternating therebetween
JP6097845B2 (ja) 2013-12-24 2017-03-15 株式会社日立製作所 不揮発性キャッシュメモリにデータをバックアップするストレージシステム
JP6093322B2 (ja) * 2014-03-18 2017-03-08 株式会社東芝 キャッシュメモリおよびプロセッサシステム
US9479265B2 (en) * 2015-02-16 2016-10-25 American Megatrends, Inc. System and method for high speed and efficient virtual desktop insfrastructure using photonics
US20160291887A1 (en) * 2015-03-30 2016-10-06 Kabushiki Kaisha Toshiba Solid-state drive with non-volatile random access memory
US10198192B2 (en) * 2015-03-31 2019-02-05 Veritas Technologies Llc Systems and methods for improving quality of service within hybrid storage systems
US10545684B2 (en) * 2015-05-13 2020-01-28 Hitachi, Ltd. Storage device
US10241683B2 (en) * 2015-10-26 2019-03-26 Nxp Usa, Inc. Non-volatile RAM system
US10783146B2 (en) * 2016-07-19 2020-09-22 Sap Se Join operations in hybrid main memory systems
US11977484B2 (en) 2016-07-19 2024-05-07 Sap Se Adapting in-memory database in hybrid memory systems and operating system interface
US10698732B2 (en) 2016-07-19 2020-06-30 Sap Se Page ranking in operating system virtual pages in hybrid memory systems
JP6703790B2 (ja) * 2016-08-05 2020-06-03 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
JP6732684B2 (ja) 2017-03-15 2020-07-29 キオクシア株式会社 情報処理装置、ストレージデバイスおよび情報処理システム
US11010379B2 (en) 2017-08-15 2021-05-18 Sap Se Increasing performance of in-memory databases using re-ordered query execution plans
CN109426623A (zh) * 2017-08-29 2019-03-05 深圳市中兴微电子技术有限公司 一种读取数据的方法及装置
US10444722B2 (en) * 2017-09-29 2019-10-15 Intel Corporation Techniques to direct access requests to storage devices
JP2020071583A (ja) * 2018-10-30 2020-05-07 株式会社日立製作所 データ管理装置、データ管理方法、及びデータ管理プログラム
JP6898393B2 (ja) 2019-03-22 2021-07-07 株式会社日立製作所 ストレージシステム及びデータ転送方法
US10620868B1 (en) * 2019-03-22 2020-04-14 Hitachi, Ltd. Storage system and data transfer method
US10963396B1 (en) 2019-09-17 2021-03-30 Micron Technology, Inc. Memory system for binding data to a memory namespace
US11650742B2 (en) 2019-09-17 2023-05-16 Micron Technology, Inc. Accessing stored metadata to identify memory devices in which data is stored
US11269780B2 (en) 2019-09-17 2022-03-08 Micron Technology, Inc. Mapping non-typed memory access to typed memory access
CN111813712B (zh) * 2019-12-31 2025-08-29 泰斗微电子科技有限公司 一种缓存分配控制方法、装置、终端设备及存储介质
US11392499B2 (en) * 2020-09-18 2022-07-19 Kioxia Corporation Dynamic buffer caching of storage devices
KR20220055717A (ko) * 2020-10-27 2022-05-04 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
CN112463037B (zh) * 2020-11-13 2022-08-12 苏州浪潮智能科技有限公司 一种元数据保存方法、装置、设备、产品
US12182317B2 (en) * 2021-02-13 2024-12-31 Intel Corporation Region-based deterministic memory safety
US12504891B2 (en) 2021-06-24 2025-12-23 Intel Corporation Zero-redundancy tag storage for bucketed allocators
US12235791B2 (en) 2021-08-23 2025-02-25 Intel Corporation Loop driven region based frontend translation control for performant and secure data-space guided micro-sequencing
US12531843B2 (en) * 2023-12-18 2026-01-20 Western Digital Technologies, Inc. Secure peer-to-peer file sharing using distributed ownership data
US12572301B2 (en) 2023-12-18 2026-03-10 Western Digital Technologies, Inc. Peer-to-peer file sharing using consistent hashing for distributing data among storage nodes
US12524353B2 (en) * 2024-01-22 2026-01-13 Arm Limited Cancelling cache allocation transactions
US20260087161A1 (en) * 2024-09-24 2026-03-26 Arm Limited Granule protection checking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076498A (ja) * 2001-09-05 2003-03-14 Hitachi Ltd ディスク記憶装置
JP2009205335A (ja) * 2008-02-27 2009-09-10 Hitachi Ltd ２種のメモリデバイスをキャッシュに用いるストレージシステム及びそのストレージシステムを制御する方法
JP2011022933A (ja) * 2009-07-17 2011-02-03 Toshiba Corp メモリ管理装置を含む情報処理装置及びメモリ管理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4430701A (en) * 1981-08-03 1984-02-07 International Business Machines Corporation Method and apparatus for a hierarchical paging storage system
US6934806B2 (en) * 2002-09-23 2005-08-23 International Business Machines Corporation Method and system for improving input/output performance by proactively flushing and locking an entire page out of caches of a multiprocessor system
US7051174B2 (en) * 2002-09-24 2006-05-23 International Business Machines Corporation Method, system, and program for restoring data in cache
US7613876B2 (en) * 2006-06-08 2009-11-03 Bitmicro Networks, Inc. Hybrid multi-tiered caching storage system
KR20080017982A (ko) * 2006-08-23 2008-02-27 삼성전자주식회사 플래시 메모리 시스템 및 그 프로그램 방법
US8131930B1 (en) 2008-03-31 2012-03-06 Emc Corporation System and method for improving cache efficiency
US9280466B2 (en) * 2008-09-09 2016-03-08 Kabushiki Kaisha Toshiba Information processing device including memory management device managing access from processor to memory and memory management method
US8397016B2 (en) * 2008-12-31 2013-03-12 Violin Memory, Inc. Efficient use of hybrid media in cache architectures
US20110276757A1 (en) * 2009-02-03 2011-11-10 Hitachi, Ltd. Storage control device, and control method for cache memory
US9003159B2 (en) * 2009-10-05 2015-04-07 Marvell World Trade Ltd. Data caching in non-volatile memory
JP2011209892A (ja) * 2010-03-29 2011-10-20 Fujitsu Ltd ストレージシステム、ストレージシステムの制御方法、スイッチ装置およびストレージ装置
US8230123B2 (en) * 2010-08-23 2012-07-24 International Business Machines Corporation Using information on input/output (I/O) sizes of accesses to an extent to determine a type of storage device for the extent
US8656088B2 (en) * 2011-05-20 2014-02-18 International Business Machines Corporation Optimized flash based cache memory
US8788742B2 (en) * 2011-05-23 2014-07-22 International Business Machines Corporation Using an attribute of a write request to determine where to cache data in a storage system having multiple caches including non-volatile storage cache in a sequential access storage device
JP5175953B2 (ja) * 2011-06-02 2013-04-03 株式会社東芝 情報処理装置およびキャッシュ制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076498A (ja) * 2001-09-05 2003-03-14 Hitachi Ltd ディスク記憶装置
JP2009205335A (ja) * 2008-02-27 2009-09-10 Hitachi Ltd ２種のメモリデバイスをキャッシュに用いるストレージシステム及びそのストレージシステムを制御する方法
JP2011022933A (ja) * 2009-07-17 2011-02-03 Toshiba Corp メモリ管理装置を含む情報処理装置及びメモリ管理方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182674A (ja) * 2013-03-21 2014-09-29 Nec Corp 記憶装置および記憶方法
JP2017015553A (ja) * 2015-07-01 2017-01-19 ファナック株式会社 収集するデータ毎に記憶媒体を分けて保存できるデータロガー
WO2017046871A1 (ja) * 2015-09-15 2017-03-23 株式会社日立製作所 情報処理装置、拡張メモリおよび情報処理装置のメモリ制御方法
US10521134B2 (en) 2015-09-16 2019-12-31 Kabushiki Kaisha Toshiba Memory system
JP2017062597A (ja) * 2015-09-24 2017-03-30 日本電気株式会社 情報処理システム及び情報処理方法
JP2018147041A (ja) * 2017-03-01 2018-09-20 株式会社東芝 情報処理装置、情報処理システム、および情報処理プログラム
JP2019049856A (ja) * 2017-09-11 2019-03-28 富士通株式会社 ストレージ制御装置およびストレージ制御プログラム
JP2019128948A (ja) * 2018-01-22 2019-08-01 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 集積回路装置及びストレージ装置
JP7308025B2 (ja) 2018-01-22 2023-07-13 三星電子株式会社 集積回路装置及びストレージ装置
US12061817B2 (en) 2018-01-22 2024-08-13 Samsung Electronics Co., Ltd. Integrated circuit memory devices with enhanced buffer memory utilization during read and write operations and methods of operating same
JP2022548887A (ja) * 2019-09-17 2022-11-22 マイクロン テクノロジー，インク． メモリタイプへのページテーブルフック
JP2022078790A (ja) * 2020-11-13 2022-05-25 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
JP6000376B2 (ja) 2016-09-28
WO2014102886A1 (en) 2014-07-03
US20150254186A1 (en) 2015-09-10
US20140189204A1 (en) 2014-07-03
JPWO2014103489A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP6000376B2 (ja) 特性の異なる複数種類のキャッシュメモリを有する情報処理装置
US12461655B1 (en) Management of discrete namespaces by nonvolatile memory controller
US10996863B1 (en) Nonvolatile memory with configurable zone/namespace parameters and host-directed copying of data across zones/namespaces
US10162536B2 (en) Storage apparatus and storage control method
JP6073471B2 (ja) ストレージ装置
CN106371761B (zh) 内存系统以及非易失性内存的控制方法
US8832371B2 (en) Storage system with multiple flash memory packages and data control method therefor
JP6807376B2 (ja) 仮想ストレージシステム
WO2014141411A1 (ja) ストレージシステムおよびストレージシステム制御方法
US12461683B2 (en) Systems, methods, and devices for reclaim unit formation and selection in a storage device
US10846231B2 (en) Storage apparatus, recording medium, and storage control method
JP2020071583A (ja) データ管理装置、データ管理方法、及びデータ管理プログラム
KR20150105323A (ko) 데이터 스토리지 방법 및 시스템
CN111796765B (zh) 优化数据存储系统性能的方法
WO2016067328A1 (ja) 不揮発メモリデバイスを有するストレージ装置、及び、不揮発メモリデバイス
US11016889B1 (en) Storage device with enhanced time to ready performance
JP6817340B2 (ja) 計算機
JP5768118B2 (ja) 複数のフラッシュパッケージを有するストレージシステム
US10915441B2 (en) Storage system having non-volatile memory device
JP7373018B2 (ja) 仮想ストレージシステム
JP6138318B2 (ja) 複数のフラッシュパッケージを有するストレージシステム
CN120653585A (zh) 具有精简配置的ssd虚拟化
CN117369718A (zh) 在存储装置中形成和选择回收单元的系统、方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13868332

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014554203

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14430643

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13868332

Country of ref document: EP

Kind code of ref document: A1