WO2017056219A1 - ストレージ装置およびストレージ装置の制御方法 - Google Patents

ストレージ装置およびストレージ装置の制御方法 Download PDF

Info

Publication number
WO2017056219A1
WO2017056219A1 PCT/JP2015/077693 JP2015077693W WO2017056219A1 WO 2017056219 A1 WO2017056219 A1 WO 2017056219A1 JP 2015077693 W JP2015077693 W JP 2015077693W WO 2017056219 A1 WO2017056219 A1 WO 2017056219A1
Authority
WO
WIPO (PCT)
Prior art keywords
transfer
data
processor
memory
partial
Prior art date
Application number
PCT/JP2015/077693
Other languages
English (en)
French (fr)
Inventor
三雄 伊達
正法 高田
良介 達見
紀夫 下薗
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2015/077693 priority Critical patent/WO2017056219A1/ja
Publication of WO2017056219A1 publication Critical patent/WO2017056219A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems

Definitions

  • the present invention relates to a storage apparatus.
  • a so-called storage device having a disk array provided with a storage medium such as a plurality of magnetic disk devices and semiconductor memory devices and a storage controller for controlling reading and writing to the disk array is known.
  • This controller has a host interface for connecting to a host computer and a drive interface for connecting to a storage medium.
  • a control method is known in which data received from a host computer connected to a controller is copied to a cache memory on another controller, and the write completion is notified to the host before storage in a storage medium. It has been. This achieves both high availability and high write performance of the storage device.
  • a host computer connected to a controller reads data from a storage medium connected to another controller, the data is temporarily stored in the cache memory on the controller to which the storage medium is connected.
  • a control method is known in which data is transferred to a cache memory on a controller to which a host computer is connected via a connection, and then transferred to the host computer.
  • transfer to a cache memory via each interface and transfer from one cache memory to another cache memory are sequentially transferred for each request data length (transfer length) from the host computer.
  • request data length transfer length
  • the host computer requests the writing of 256 KB data
  • the host interface notifies the completion of reception, and after receiving the notification, another controller
  • a method of initiating a 256 KB transfer to is disclosed. In this control method, when the requested data length increases, the processing delay of the storage apparatus increases in proportion to the sum of the host transfer time and the inter-controller transfer time.
  • Patent Document 2 storage control including a host interface, a memory 1 that reads and writes data from the host interface, a memory 2 that is different from the memory 1, and an LSI that controls data transfer from the memory 1 to the memory 2 is disclosed.
  • the LSI holds transfer control information between memories in advance, and the LSI monitors the amount of data written from the host interface to the memory 1 before the data of the requested data length from the host computer is written to the memory 1.
  • a control method for starting transfer to the memory 2 is disclosed.
  • a processing load for monitoring a memory and a bus and managing a plurality of transfer request states by a dedicated LSI is large.
  • the throughput is increased by increasing the parallelism of communication requests.
  • the monitoring processing load increases as the parallelism increases. Therefore, this technique requires measures such as limiting the number of parallel operations. Further, if such transfer control is performed by a general-purpose CPU (Central Processing Unit) or a memory on a storage controller shared with other controls, the processing performance of the other controls is reduced.
  • a general-purpose CPU Central Processing Unit
  • a storage apparatus includes a first memory and a first processor connected to the first memory, the first device, and the second device.
  • the first processor receives a first transfer request requesting transfer of first data stored in the first device to the second device, and the first processor receives the first transfer request.
  • the first partial completion indicating the completion timing of the transfer of the first partial data that is a part of the first data
  • the first processor initiates the first data transfer, and the first processor determines the first data before completion of the first data transfer based on the first partial completion condition.
  • the second data transfer to be transferred from the first memory to the second device is started.
  • the response performance of the storage device can be improved.
  • FIG. 1 shows a configuration of a computer system according to an embodiment of the present invention.
  • 4 is an example showing area division of data stored in a memory 4.
  • 6 shows a data transfer flow when a write request is received in the storage apparatus 1.
  • the write sequence of a comparative example is shown.
  • the write sequence of Example 1 is shown.
  • 9 shows a write process of the processor # 1 according to the first embodiment.
  • the first response case with respect to the Write request of the first embodiment is shown.
  • requirement of Example 1 is shown.
  • the partial completion notification interval determination process is shown.
  • An interval setting table 1001 and partial completion notification interval setting information 1002 are shown.
  • 6 shows a data transfer flow when a read request is received in the storage apparatus 1.
  • the Read sequence of a comparative example is shown.
  • the Read sequence of Example 1 is shown.
  • 9 shows a read process of the processor # 2 according to the first embodiment.
  • 9 shows a read process of the processor # 1 according to the first embodiment.
  • the write sequence of Example 2 is shown.
  • the Read sequence of Example 2 is shown.
  • the write sequence of Example 3 is shown.
  • 10 shows a write process of the processor # 1 according to the third embodiment.
  • the Read sequence of Example 3 is shown.
  • the write sequence of Example 4 is shown.
  • 10 shows a write process of the processor # 1 according to the fourth embodiment.
  • An example of the speculative transfer parameter and data transfer state management table of Example 4 is shown. The speculative transfer processing of the inter-node I / F 223 of the controller # 1 during the write processing according to the fourth embodiment will be described.
  • the Read sequence of Example 4 is shown.
  • xxx table information may be described using the expression “xxx table”, but the information may be expressed in any data structure. That is, “xxx table” can be referred to as “xxx information” to indicate that the information does not depend on the data structure.
  • xxx information information may be described using the expression “xxx table”, but the information may be expressed in any data structure. That is, “xxx table” can be referred to as “xxx information” to indicate that the information does not depend on the data structure.
  • the configuration of each table is an example, and one table may be divided into two or more tables, or all or part of the two or more tables may be a single table. Good.
  • an ID is used as element identification information, but other types of identification information may be used instead of or in addition thereto.
  • a reference number or a common number in the reference number is used, and when a description is made by distinguishing the same type of element, the reference number of the element is used.
  • an ID assigned to the element may be used instead of the reference code.
  • an I / O (Input / Output) request is a write request or a read request, and may be referred to as an access request.
  • the process may be described using “program” as a subject.
  • the program is executed by a processor (for example, a CPU (Central Processing Unit)), so that a predetermined processing is appropriately performed. Since processing is performed using a storage resource (for example, a memory) and / or an interface device (for example, a communication port), the subject of processing may be a processor.
  • the process described with the program as the subject may be a process or system performed by a processor or an apparatus having the processor.
  • the processor may include a hardware circuit that performs a part or all of the processing.
  • the program may be installed in a computer-like device from a program source.
  • the program source may be, for example, a storage medium that can be read by a program distribution server or a computer.
  • the program distribution server may include a processor (for example, a CPU) and a storage resource, and the storage resource may further store a distribution program and a program to be distributed. Then, the processor of the program distribution server executes the distribution program, so that the processor of the program distribution server may distribute the distribution target program to other computers.
  • a processor for example, a CPU
  • the storage resource may further store a distribution program and a program to be distributed. Then, the processor of the program distribution server executes the distribution program, so that the processor of the program distribution server may distribute the distribution target program to other computers.
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • the management system may include one or more computers.
  • the management computer displays information (specifically, for example, the management computer displays information on its own display device, or the management computer displays display information in a remote display computer)
  • Management computer is the management system.
  • the plurality of computers may include a display computer when the display computer performs display
  • the management computer (eg, management system) may include an interface device connected to the I / O system including the display system, a storage resource (eg, memory), and a processor connected to the interface device and the storage resource.
  • the display system may be a display device included in the management computer or a display computer connected to the management computer.
  • the I / O system may be an I / O device (for example, a keyboard and a pointing device or a touch panel) included in the management computer, a display computer connected to the management computer, or another computer.
  • “Displaying display information” by the management computer means displaying the display information on the display system, which may be displaying the display information on a display device included in the management computer.
  • the management computer may transmit display information to the display computer (in the latter case, the display information is displayed by the display computer).
  • the management computer inputting / outputting information may be inputting / outputting information to / from an I / O device of the management computer, or a remote computer connected to the management computer (for example, a display) Information may be input / output to / from the computer.
  • the information output may be a display of information.
  • the host interface or drive interface in order to improve the I / O response performance in the storage apparatus, notifies the completion of partial data transfer to the memory, and starts the transfer to a different memory based on the notification. It is one Embodiment of the control method.
  • the response performance is improved while suppressing an additional load on the processor and the memory.
  • FIG. 1 shows the configuration of a computer system according to an embodiment of the present invention.
  • the computer system includes a host computer 100 that mainly performs data operations and a storage device 1 that stores data.
  • the storage device 1 includes a plurality of storage nodes 2.
  • a plurality of storage nodes 2 are connected via an internal network 3 of the storage apparatus 1.
  • Each storage node 2 includes a drive chassis 21 that stores data, and a controller 22 that controls the drive chassis 21 while communicating with the host computer 100 and other storage nodes 2.
  • the number of host computers 100, storage nodes 2, drive enclosures 21, and controllers 22 may be one or more.
  • the storage apparatus 1 may include one storage node 2, and the storage node 2 may include one controller 22 and a plurality of drive housings 21.
  • the drive housing 21 has a plurality of storage media 211 such as a hard disk drive (HDD) and a solid state drive (SSD) equipped with a nonvolatile memory such as a flash memory.
  • storage media 211 such as a hard disk drive (HDD) and a solid state drive (SSD) equipped with a nonvolatile memory such as a flash memory.
  • HDD hard disk drive
  • SSD solid state drive
  • the controller 22 communicates with a host interface (hereinafter referred to as host I / F) 221 that communicates with the host computer 100, a drive interface (hereinafter referred to as drive I / F) 222 that communicates with the drive chassis 21, and other storage nodes 2.
  • host I / F host interface
  • drive I / F drive interface
  • Inter-node interface (hereinafter referred to as inter-node I / F) 223 that performs communication
  • processor 224 that relays control and data transfer thereof, data generated by the host computer 100, and various data generated for control inside the storage apparatus
  • the memory 4 is stored. There may be a plurality of these units in the controller 22.
  • the host I / F 221 transmits protocol data used for communication between the host computer 100 and the controller 22 such as Fiber Channel (FC), Fiber Channel Over Ethernet (registered trademark) (FCoE), Internet SCSI (iSCSI), and the like. It has a function to convert to a protocol such as PCI-Express used internally.
  • the drive I / F 222 converts protocol data used for communication between the storage medium 211 and the controller 22 such as FC or Serial Attached SCSI (SAS) into a protocol such as PCI-Express used in the controller 22. It has a function.
  • the inter-node I / F 223 has a function of converting protocol data used for communication between the storage nodes 2 such as Ethernet (registered trademark) and InfiniBand into a protocol such as PCI-Express used in the controller 22.
  • protocol data used for communication between the storage nodes 2 such as Ethernet (registered trademark) and InfiniBand into a protocol such as PCI-Express used in the controller 22.
  • I / Fs may be LSI (Large Scale Integration), or may be software stored in the memory 4 and executed by the processor 224.
  • the processor 224 includes a data bus for transferring data between each I / F and the memory 4, an arithmetic circuit for operating software, and the like.
  • the processor 224 having a data bus function and an arithmetic function is illustrated, but the processor 224 may be an LSI.
  • the memory 4 is a high-speed accessible storage element such as a DRAM, and is connected to the processor 224 via a memory interface such as DDR3 or DDR4.
  • the memory 4 in the controller 22 may include a plurality of memory modules. On the memory 4, data used by each I / F and the processor 224 is held.
  • FIG. 2 is an example showing an area division of data stored in the memory 4.
  • the memory 4 has a user data area 41 for storing user data received from the host computer 100 and a control data area 42 for storing control data in the storage apparatus.
  • the user data area 41 is a temporary area used for exchanging data between the host I / F 221 or drive I / F 222 and the controller, and the transfer buffer area 44, so that frequently read / written data can be accessed at high speed.
  • a user data cache area 43 used for the The user data cache area 43 may be referred to as a cache area 43. Note that the cache area 43 may be used instead of the transfer buffer area 44, or the transfer buffer area 44 may be used instead of the cache area 43.
  • the processor 224, the host I / F 221, the drive I / F 222, and the inter-node I / F 223 share the memory 4.
  • the host I / F 221 does not need to individually have the transfer buffer area 44 and the cache area 43 that store data transferred between the host I / F 221 and the host computer 100.
  • the host I / F 221 transfers data from the host computer 100 to the transfer buffer area 44 in the memory 4, and transfers data stored in the transfer buffer area 44 in the memory 4 to the host computer 100.
  • the drive I / F 222 does not need to individually have the transfer buffer area 44 and the cache area 43 for storing data transferred between the drive I / F 222 and the storage medium 211.
  • the drive I / F 222 transfers data from the storage medium 211 to the transfer buffer area 44 in the memory 4, and transfers data stored in the transfer buffer area 44 in the memory 4 to the storage medium 211.
  • the inter-node I / F 223 does not need to individually have the transfer buffer area 44 and the cache area 43 that store data transferred between the two controllers 22.
  • the inter-node I / F 223 transfers the data stored in the memory 4 of the local controller 22 to the memory 4 of the other controller 22. Thereby, the capacity of the memory included in each of the host I / F 221, the drive I / F 222, and the inter-node I / F 223 can be suppressed.
  • FIG. 3 shows a data transfer flow when the write request is received in the storage apparatus 1.
  • controllers # 1, # 2, and # 3 the three controllers 22 in the storage apparatus 1 are referred to as controllers # 1, # 2, and # 3, respectively.
  • the processors 224 in the controllers # 1, # 2, and # 3 are referred to as processors # 1, # 2, and # 3, respectively.
  • the data received from the host computer 100 by the host I / F 221 of the controller # 1 connected to the host computer 100 is stored in the transfer buffer area 44 of the memory 4 of the controller # 1 (4007). Thereafter, the controller # 1 transfers the received data to the two cache areas 43a and 43b on the different controllers # 2 and # 3 (4009). Thereafter, before writing data to the storage medium 211, the controller # 1 notifies the host computer 100 of the completion of data reception, thereby realizing response performance independent of the writing speed of the storage medium 211. . At that time, the data is copied to the memories on the two controllers so that the data received from the host computer 100 is not lost due to a failure occurring in the single controller 22 (4009).
  • the transfer buffer area 44 and the cache areas 43a and 43b are allocated on different controllers # 1, # 2 and # 3, but one of the cache areas 43a and 43b is The transfer buffer area 44 and the memory 4 on the same controller # 1 may be secured.
  • all the controllers # 1, # 2, and # 3 cross the internal network 3 and exist in different storage nodes 2. However, these controllers exist in the same storage node 2. May be.
  • the processor 224 may include a processor core and a DMA (Direct Memory Access) controller.
  • the DMA controller may execute a DMA transfer between the memory 4 and the memory 4 in another controller.
  • the host I / F 221 may have a DMA controller. In this case, this DMA controller executes DMA transfer between the host computer 100 and the transfer buffer area 44 in accordance with an instruction from the processor 224.
  • the inter-node I / F 223 may have a DMA controller. In this case, this DMA controller executes DMA transfer between the memory 4 of the controller # 1 and the memory 4 of the other controller 22 in accordance with an instruction from the processor 224. Thereby, the load of the processor 224 (processor core) at the time of data transfer can be suppressed.
  • FIG. 4 shows a write sequence of the comparative example.
  • This figure shows an example of a communication sequence from when the storage apparatus of the comparative example receives a write request (write command) from the host computer 100 until it notifies the host computer 100 of completion of write data reception.
  • controller # 1 is called CL1
  • controller # 2 is called CL2.
  • the inter-node I / F 223 is omitted.
  • the operation of the memory 4 of the controller # 1 is also shown in the operation of the processor # 1.
  • the operation of the memory # 4 of the controller # 2 is also shown in the operation of the processor # 2.
  • a case where a write request of 256 KB is received is illustrated.
  • the host I / F 221 writes the Write request (4001) received from the host computer 100 on the memory 4, and notifies the processor # 1 of the receipt of the new request (4002).
  • the processor # 1 analyzes the request and determines a transfer buffer area 44 for receiving data and a controller # 2 including the transfer destination cache area 43.
  • the transfer buffer area 44 may be secured and managed in advance by the processor # 1, or the cache area 43 may be secured and managed in advance by the processor # 2.
  • the processor # 1 requests the other controller # 2 to secure the cache area 43 (4003). Based on this request, the processor # 2 secures the cache area 43 on the memory 4 and notifies the completion thereof (4004).
  • the controller # 1 requests the controller # 2 to secure the cache area after receiving the write request.
  • the controller # 1 knows the available area in the memory 4 of the controller # 2 in advance. Alternatively, it may be requested after XFER_RDY (data transfer request) transmission (4005).
  • the processor # 1 notifies the host computer 100 of XFER_RDY via the host I / F 221 (4005, 4006).
  • the processor # 1 can divide and notify completion of reception preparation of an arbitrary data length in a plurality of times as long as it is equal to or less than the request data length (256 KB in this case) specified by the Write request (4002). .
  • division of XFER_RDY (4005) means an increase in the amount of communication between the host computer 100 and the host I / F 221 and thus leads to a decrease in data transfer efficiency.
  • transferring continuous data corresponding to the same XFER_RDY has higher transfer efficiency than transferring non-continuous data while switching processing to different XFER_RDY. .
  • the storage apparatus 1 generally notifies XFER_RDY indicating the requested data length at a time in response to a write request received from the host computer 100. Also in this example, the processor # 1 issues XFER_RDY indicating the same amount (256 KB) as the request data length (4005).
  • the host computer 100 that has received XFER_RDY starts transferring the write data prepared in advance to the storage apparatus 1 (4007). Receiving this, the host I / F 221 performs protocol conversion and address conversion of data from the host computer 100, and stores the data in the transfer buffer area 44 (4008). When the host I / F 221 completes writing all the data (256 KB in this case) designated by XFER_RDY (4005) to the transfer buffer area 44, it notifies the processor # 1 of completion of data reception (4009). Receiving the data reception completion notification, the processor # 1 starts data transfer to the cache area 43 on the controller # 2 (4010). The processor # 1 notifies the completion of the data transfer (4010) by a message between the processors 224 (4011).
  • the inter-node I / F 223 completes the inter-controller transfer in the same manner as the data reception completion notification (4009) by the host I / F 221. May be notified to the processor # 2.
  • Processor # 2 which has received all the data, notifies processor # 1 of the completion of reception (4012). This communication may also be notified by the mechanism of the inter-node I / F 223.
  • the controller # 1 completes the double writing to the two cache areas 43 of the controllers # 2 and # 3
  • the controller # 1 returns a write data reception completion status (Good) to the host computer 100 via the host I / F 221. (4013, 4014).
  • the host computer 100 determines that the Write request has been completed upon receiving this status. That is, the elapsed time from the issuance of the write request (4001) to the completion status reception (4014) is the write response time of the storage apparatus 1 as viewed from the host computer 100.
  • FIG. 5 shows a write sequence according to the first embodiment.
  • the processing until the host computer 100 starts data transfer is the same as the write sequence of the comparative example.
  • the host I / F 221 has a mechanism for notifying completion of partial data reception (partial completion) before the host I / F 221 completes reception of all data from the host computer 100 (5009).
  • # 1 starts the inter-controller transfer (5010).
  • the host I / F 221 writes 64 KB of data to the transfer buffer area 44 regardless of the request data length (256 KB) specified by XFER_RDY, the host I / F 221 notifies the processor # 1 of this (5009). Show.
  • the host I / F 221 can detect that the transfer of the data length designated by the processor # 1 is completed, and can notify the processor # 1. Receiving this notification, the processor # 1 transfers only 64 KB ready for transfer to the controller # 2 (5010), and notifies the completion of the data transfer by a message between the processors 224 (5011). Data transfer from the transfer buffer area 44 of the controller # 1 to the cache area 43 of the controller # 2 may be executed by the DMA controller in the processor # 1, or may be executed by the processor core in the processor # 1. However, it may be executed by the inter-node I / F 223 of the controller # 1 according to an instruction from the processor # 1.
  • the processor # 2 When the reception of the requested data length (256 KB) designated by the memory allocation (5003) is completed, the processor # 2 notifies the completion notification to the processor # 1 by a message between the processors 224 (5012). Data transfer from the host I / F 221 to the transfer buffer area 44 (5008) and the controller are started by the processor # 1 in response to a partial data reception completion notification (partial completion notification) of the write data. Since the data transfer (5010) between # 1 and # 2 is processed in parallel (pipeline transfer), the storage apparatus 1 can transmit the write data reception completion status (5013, 5014) at an early stage. Thereby, the write response time can be shortened.
  • the amount of shortening varies depending on the interval at which partial completion is notified, the communication band between the host I / F 221 and the transfer buffer area 44, the communication band between controllers, and the like. In order to maximize the reduction amount, it is necessary to switch the control for the partial completion notification (5009) according to these conditions.
  • the target address of the write request may be associated with the storage medium 211 connected to the controller # 1.
  • the processor # 1 issues a write request to the drive I / F 222 of the controller # 1 instead of the 5010, thereby causing the drive I / F 222 to execute data transfer from the transfer buffer area 44 to the storage medium 211. May be.
  • FIG. 6 shows a write process of the processor # 1 according to the first embodiment.
  • This figure shows an example of the control flow of the processor # 1 at the time of Write in the first embodiment.
  • the processor # 1 on the controller # 1 to which the host I / F 221 is connected determines the partial data length indicating the partial completion notification (5009) interval of the host I / F 221.
  • the I / F 221 may autonomously determine the partial completion notification interval, or the processor # 2 may determine the partial completion notification interval.
  • the processor # 1 that has received the write request (S601) requests the controller # 2 to secure a cache area (S602). While waiting for a response to this, the host I / F 221 confirms whether the partial completion notification function can be used (S603).
  • the processor # 1 waits for a cache area reservation completion notification from another controller (S605b) as in the comparative example, and sends a write request to the host computer 100.
  • XFER_RDY indicating the same amount as the request data length specified in (1) is transmitted via the host I / F 221 (S606b).
  • the processor # 1 executes a partial completion notification interval determination process for calculating the partial completion notification interval (S604). This partial completion notification interval determination process will be described later.
  • the processor # 1 waits for a cache area securing completion notification from another controller (other CL) (S605a), and the host computer 100 receives XFER_RDY indicating the same amount as the requested data length specified in the Write request, / F221 is transmitted (S606a).
  • XFER_RDY at this time is XFER_RDY with partial completion indicating a partial completion notification interval.
  • the processor # 1 After transmitting XFER_RDY in S606a or S606b, the processor # 1 waits for a data reception completion notification from the host I / F 221 (S607), and transfers the received data to another controller (transfer between CLs) according to the data reception completion notification. Start (S608). If there is data that has not yet been transferred for the requested data length indicated in the write request (S609), the processor # 1 again waits for a data reception completion notification from the host I / F 221 (S607). ).
  • the processor # 1 repeats until all data transfer of Write data is completed (S607 to S609), and when all data transfer is completed, the processor # 1 waits for a reception completion notification from another controller (S610) and responds to the Write request to the host computer 100. A completion status (Good Status) is returned (S611). ⁇ Notification interval and effect>
  • FIG. 7 shows a first response case to the write request in the first embodiment.
  • This figure shows a case where the transfer band H GB / s (701) between the host I / F 221 and the transfer buffer area 44 is smaller than the transfer band X GB / s (702) between the controllers.
  • the transfer band H GB / s (701) between the host I / F 221 and the transfer buffer area 44 is larger than the transfer band between the host computer 100 and the host I / F 221, the effective bandwidth of the transfer band H is the host This is a transfer band between the computer 100 and the host I / F 221.
  • the response time is shortened by eliminating the sequential transfer of the data transfer (5008) between the host I / F 221 and the transfer buffer area 44 and the data transfer (5010) between the controllers. That is, the effect of the present embodiment is maximized by selecting a partial completion notification interval N KB that minimizes the total processing time T ALL (705) from the start of transfer by the host I / F 221 to the completion of transfer between controllers. it can. Basically, the effect of shortening the response time can be obtained as the time during which two sequential transfers (5008, 5010) are simultaneously processed increases. Further, the smaller the partial completion notification interval N, the finer the transfer granularity that can be processed simultaneously.
  • T ALL is the time T H (704) from when all the transfers between the host I / F 221 and the transfer buffer area 44 are completed until the last completion notification (5009) is transferred.
  • T ALL (N) Equal to the sum of the transfer time T NX (705) required to transfer the last N KB (or smaller than N KB) between the controllers. That is, when the requested data length (total transfer size) requested by the write request is W KB, T ALL (N) can be approximated by the following equation.
  • FIG. 8 shows a second response case to the write request in the first embodiment.
  • the transfer band H GB / s (801) between the host I / F 221 and the transfer buffer area 44 is larger than the transfer band X GB / s (802) between the controllers.
  • the processor # 1 starts the inter-controller transfer (5010), if a plurality of partial completion notifications (5009) have been received, all the data on the transfer buffer area 44 can be transferred between the controllers (5010).
  • the additional processing overhead for that purpose is sufficiently small.
  • T ALL (N) when the time required for transfer is larger than T NX (805) is expressed by the following equation, as in the first response case, and N for minimizing this is as described above.
  • T ALL (N) is expressed by the following equation.
  • the partial completion notification interval N described above is an example of a reference amount that enhances the effect of the present embodiment.
  • the effective band H (701, 801), X (702, 801) of each part, and partial completion are described. Since the processing overhead T OH changes dynamically, it may not be a static optimal solution. A setting in consideration of the dynamic change of each variable or a value calculated by a different approximate model may be used as the partial completion notification interval N.
  • FIG. 9 shows partial completion notification interval determination processing.
  • the partial completion notification interval that leads to the response performance improvement can be estimated by the transfer bandwidth between the controllers and the processing overhead due to notification of partial completion.
  • processor # 1 prepares both a mode for dynamically determining a notification interval and a mode for statically determining and switching between them is illustrated (S6041).
  • the interval setting table 1001 used for the static mode and the partial completion notification interval setting information 1002 used for the dynamic mode will be described.
  • FIG. 10 shows an interval setting table 1001 and partial completion notification interval setting information 1002.
  • the interval setting table 1001 is created in advance from the above approximate values and stored in the control data area 42 of the memory 4.
  • the interval setting table 1001 indicates a partial completion notification interval for each request data length (Write request size).
  • the partial completion notification interval setting information 1002 indicates the CPU operation rate, command processing count, internal bus execution bandwidth, notification interval setting history, and response time history measured by the processor # 1.
  • the CPU operating rate indicates the operating rate of the processor # 1.
  • the command processing count indicates the number of I / O requests currently being processed.
  • the internal bus execution band indicates the execution band of the bus in the controller # 1.
  • the notification interval setting history indicates a partial completion notification interval set in the past of a certain time.
  • the response time history indicates the response time when each partial completion notification interval in the notification interval setting history is set. The response time is the time from the I / O request from the host computer 100 to the response to the host computer 100.
  • the processor # 1 determines the partial completion notification interval corresponding to the requested data length by referring to the interval setting table 1001 (S6047).
  • the processor # 1 determines whether or not the partial completion notification function is valid. In this example, the processor # 1 collects the load status (S6042) of the processor # 1 to be processed and the congestion status (S6043) of the internal bus, and determines whether to use the partial completion notification function based on the collected information. Judging.
  • the load status of the processor # 1 is, for example, the CPU operation rate and the number of command processes in the partial completion notification interval setting information 1002.
  • the internal bus congestion status is, for example, the internal bus execution band in the partial completion notification interval setting information 1002.
  • a high processor load means that a large number of I / O requests and control processes are being processed in parallel. Under such conditions, the response performance per hour is higher than the response performance of specific I / O requests.
  • the number of I / O request processes (throughput) may be important. In such a case, if processor # 1 processes a high-frequency partial notification, the total processing load of processor # 1 is increased, leading to a decrease in throughput. Furthermore, if the processor processing time for each I / O is evenly distributed, as the number of I / Os to be processed increases, the time available for specific I / O processing decreases, and high-frequency partial completion notifications are sent.
  • the processor # 1 of the present embodiment uses the partial completion notification function only when it is determined that there is an effect of shortening the response time (S6044: Y), and when the throughput is important (S6044).
  • the partial completion notification function is not used (S6046).
  • the processor # 1 determines the partial completion notification interval that is effective based on the notification interval setting history and the response time history (S6045). Thereby, an appropriate partial completion notification interval can be determined. Further, in this example, the processor # 1 uses a plurality of determination criteria, but any combination of these determination criteria may be used. ⁇ Effect of Write processing>
  • the host I / F 221 notifies the processor # 1 of the completion of transfer of a part of the requested data length before the transfer of all data from the host computer 100 to the transfer buffer area 44 is completed.
  • the processor # 1 can start data transfer to the cache area 43 on another controller.
  • the processor # 1 can improve the response performance of the storage apparatus 1 to the write request of the host computer 100 by setting the partial transfer completion notification frequency according to the bandwidth ratio of the bus, the data transfer length, the processor load, and the like. . ⁇ Read processing>
  • FIG. 11 shows a data transfer flow when a read request is received in the storage apparatus 1.
  • the controller # 1 connected to the host computer 100 receives a Read request (Read command) from the host computer 100, and the target data of the Read request is a storage medium connected to a controller # 2 different from the controller # 1.
  • the case stored on 211 is assumed.
  • the storage medium 211 connected to the controller # 2 transfers the requested data to the cache area 43 on the controller # 2 (1101).
  • the processor # 2 transfers data from the cache area 43 to the transfer buffer area 44 on the controller # 1 (1102).
  • the processor # 1 transfers data from the transfer buffer area 44 to the host computer 100 via the host I / F 221 (1103). If the target data of the Read request is stored on the storage medium 211 connected to the controller # 1 to which the host computer 100 is connected, the transfer (1102) across the controllers becomes unnecessary.
  • FIG. 12 shows a read sequence of the comparative example.
  • This figure shows an example of a communication sequence from when the storage apparatus of the comparative example receives a Read request (Read command) from the host computer 100 to when the requested Read data is transferred to the host computer 100.
  • the host I / F 221 and the inter-node I / F 223 are omitted.
  • the processor # 1 that has received the Read request from the host computer 100 via the host I / F 221 analyzes the request content, specifies the storage location of the requested data, and secures the transfer buffer area 44 (1201). .
  • the processor # 1 may determine the storage location of the requested data and the transfer buffer area 44 in advance before receiving the Read request.
  • the processor # 1 transfers the Read request to the controller # 2 that manages the target data (1202).
  • the processor # 2 issues a Read request to the storage medium (drive) 211 via the drive I / F 222 and starts reading (1204). At this time, if the target data exists in the cache area 43 of the memory 4 of the controller # 2, reading from the storage medium 211 becomes unnecessary.
  • the storage medium 211 that has received the Read request from the drive I / F 222 starts transferring the data specified in the Read request (1205).
  • the drive I / F 222 performs protocol conversion and address conversion of data from the storage medium 211 and transfers the data to the cache area 43 designated by the processor # 2 (1206).
  • the processor # 2 transfers it to the transfer buffer area 44 of the controller # 1 (1208).
  • the processor # 2 When all the data transfer is completed, the processor # 2 notifies the controller # 1 of the transfer completion by communication between the inter-node I / F 223 and the processor 224 (1209). Receiving the notification, the processor # 1 transfers data to the host computer 100 via the host I / F 221 (1210). At this time, the host I / F 221 performs protocol conversion and address conversion of the data read from the transfer buffer area 44 and transfers the data to the host computer 100.
  • the time from the read request issuance (1201) to the completion of read data reception (1210) is the read response time of the storage apparatus 1 as viewed from the host computer 100.
  • transfer from the storage medium 211 to the cache area 43 of the controller # 2 (1205, 1206), transfer between controllers (1208), transfer from the controller # 1 to the host computer 100 (1210) Are all processed sequentially. For this reason, when the request data length of the Read request becomes large, the Read response time increases in proportion to the total value of the transfer times related to the three transfers (1205, 1208, 1210).
  • FIG. 13 shows a read sequence of the first embodiment.
  • the processing from when the storage medium 211 starts data transfer (1301 to 1305) is the same as the read sequence of the comparative example.
  • the drive I / F 222 before the drive I / F 222 completes reading of all data from the storage medium 211, it has a mechanism for notifying the completion of reception of some data (1307), and the processor # 2 is based on the notification. Transfer between controllers is started (1308).
  • the drive I / F 222 performs partial transfer each time 64 KB data is read from the storage medium 211 and stored in the cache area 43 regardless of the requested data length (256 KB) specified in the Read request. The completion is notified (1307).
  • the drive I / F 222 can detect that the transfer of the data length designated by the processor # 2 is completed, and can notify the processor # 2. Receiving this notification, the processor # 2 transfers the 64 KB ready for transfer to the controller # 1 (1308), and notifies the controller # 1 of the transfer completion of 64 KB (1309).
  • Data transfer from the cache area 43 of the controller # 2 to the transfer buffer area 44 of the controller # 1 may be executed by the DMA controller in the processor # 2 or may be executed by the processor core in the processor # 2. However, it may be executed by the inter-node I / F 223 of the controller # 2 according to an instruction from the processor # 2.
  • Controller # 1 starts transferring 64 KB of data to the host computer 100 in response to the transfer completion notification (1310).
  • the transfer completion notification (1310) data transfer from the storage medium 211 to the cache area 43 (1305, 1306), data transfer between controllers (1308), and data transfer between the transfer buffer area 44 and the host computer 100 (1310) Since parallel processing (pipeline transfer) is performed, the Read response time can be shortened.
  • all three transfers are pipeline transferred. However, only transfer (1305, 1306, 1308) from the storage medium 211 to the transfer buffer area 44 is pipelined, or a cache area. Only the transfer (1308, 1310) from 43 to the host computer 100 may be pipelined.
  • the host computer 100 and the storage medium 211 are illustrated as being connected to different controllers # 1 and # 2, respectively, but the same mechanism can be achieved even when they are connected to the same controller 22. Thus, data transfer from the storage medium 211 to the cache area 43 (1305, 1306) and transfer from the cache area 43 to the host computer 100 (1310) can be pipelined.
  • the response performance improvement effect varies depending on the interval at which partial completion is notified, the request data length of the Read request, and the communication bandwidth of each unit.
  • the target address of the Read request may be associated with the storage medium 211 connected to the controller # 1.
  • the processor # 1 issues a Read request to the drive I / F 222 of the controller # 1 instead of 1302 and 1303, thereby transferring data from the storage medium 211 to the transfer buffer area 44 to the drive I / F 222. It may be executed.
  • the processor # 1 executes a process similar to the read process of the processor # 2 instead of the processor # 2, so that a read indicating a partial completion notification interval is given to the inter-node I / F 223 of the processor # 2 or the controller # 2.
  • a request may be issued.
  • FIG. 14 illustrates the Read process of the processor # 2 according to the first embodiment.
  • This figure shows an example of the control flow of the processor # 2 when the processor # 1 receives the Read request.
  • the basic flow is the same as the write process of the processor # 1 described above.
  • the processor # 2 determines whether the requested data is already stored in the cache area 43 of the controller # 2 (S1402). If stored, the processor # 2 starts inter-controller transfer from the cache area 43 to the transfer buffer area 44 of the controller # 1 (S1407). If not stored, the processor # 2 instructs the drive I / F 222 to read data from the storage medium 211.
  • the processor # 2 determines whether or not the partial completion notification function of the drive I / F 222 can be used (S1403), and if not usable, issues a normal Read request to the drive I / F 222 (S1405b). . If available, the processor # 2 executes partial completion notification interval processing (S1404), and issues a Read request to the drive I / F 222 (S1405a). The Read request at this time is a read request with partial completion indicating a partial completion notification interval. Thereafter, after receiving a data transfer completion notification by the drive I / F 222 (S1406), the processor # 2 starts transfer between controllers (S1407).
  • Processor # 2 repeats steps (S1406 and S1407) until all data transfer for the Read request is completed.
  • the processor # 2 may notify the transfer destination controller # 1 of the partial transfer completion (described above). Read sequence 1309).
  • FIG. 15 illustrates the Read process of the processor # 1 according to the first embodiment.
  • This figure shows an example of the control flow of the processor # 1 when the Read request is received in the first embodiment.
  • the processor # 1 specifies the controller # 2 (destination) managing the requested data based on the Read request, and transfers the Read request to the controller # 2 (S1502).
  • the processor # 1 waits for a transfer completion notification from the controller # 2 (S1503), and upon receiving the notification, transfers the received data from the transfer buffer area 44 to the host computer 100 through the host I / F 221 (S1504).
  • the processor # 1 may notify the host I / F 221 of completion every time a part of data transfer is completed.
  • the processor # 1 repeats this until all the data has been transferred (S1503 to S1505).
  • the partial completion notification interval determination process (S1404) in the read process of the processor # 2 is the same as the partial completion notification interval determination process in the write process by the processor # 1.
  • the same relationship is obtained only when the data transfer direction is reversed at the time of Read. Show.
  • the drive I / F 222 notifies the transfer completion of a part of all the data transfer, so that the data transfer from the storage medium 211 to the cache area 43 is completed on another controller.
  • Data transfer to a certain transfer buffer area 44 can be started.
  • the inter-node I / F 223 and the processor 224 notify the transfer destination controller of the completion of transfer of a part of all data transfer, so that all data from the cache area 43 to the transfer buffer area 44 on another controller is transferred.
  • Data transfer from the transfer buffer area 44 to the host computer 100 can be started before the transfer is completed.
  • the processor 224 sets the partial transfer completion notification frequency according to the bandwidth ratio of the bus, the data transfer length, the processor load, and the like, thereby improving the response performance of the storage apparatus 1 with respect to the Read request of the host computer 100.
  • the host I / F 221 and the drive I / F 222 perform partial transfer.
  • the second data transfer between the memories 4 of the two controllers 22 can be started, and the response performance is improved.
  • the inter-node I / F 223 and the processor 224 notify the completion of the partial transfer, whereby the third data from the transfer destination memory 4 to the host computer 100 is transferred. Data transfer can be started. Response performance is improved by pipelining the first, second, and third data transfers.
  • the host I / F 221 and the drive I / F 222 use the management information regarding the data transfer state that is used for communication with the host computer 100 and the storage medium 211, so that the processor 224 and the memory 4 can be connected. Less additional load and improved response performance. Furthermore, the processor 224 controls the transfer completion notification frequency according to the bandwidth ratio of the bus, the data transfer length, the processor load, etc., so that the response performance improvement effect can be enhanced without reducing the throughput.
  • the basic device configuration and processing flow of the storage device 1 of the second embodiment are the same as those of the first embodiment, but differ from the first embodiment in the method of detecting partial transfer completion.
  • the processor 224 detects the completion of partial data reception by dividing the data transfer request.
  • FIG. 16 shows a write sequence according to the second embodiment.
  • this embodiment differs in the mechanism from the transfer of XFER_RDY (1605) to the transfer completion notification (1609) by the host I / F 221.
  • a plurality of XFER_RDYs indicating finer transfer data lengths are issued to the host computer 100 instead of XFER_RDY indicating the request data length (here, 256 KB) of the Write request.
  • 64 KB XFER_RDY is transferred four times. Receiving this XFER_RDY, the host computer 100 transfers data corresponding to each XFER_RDY (1607).
  • the host I / F 221 that has completed the reception of data (64 KB) corresponding to one XFER_RDY transmits a transfer completion notification for the XFER_RDY to the processor # 1 (1609).
  • the processor # 1 can receive a partial transfer completion notification similar to that of the first embodiment, and can start data transfer between the controllers before receiving all data (1610).
  • the partial completion notification interval in the first embodiment is replaced with the XFER_RDY divided data length which is the data length requested by each XFER_RDY.
  • the relationship between the XFER_RDY division and the response performance improvement effect in the write sequence of the second embodiment is partially different from that of the first embodiment.
  • the transfer efficiency for the XFER_RDY transfer is reduced by dividing the XFER_RDY in the second embodiment, 1605, An additional processing load occurs at 1606.
  • XFER_RDY received by the host computer 100 is divided, when the host computer 100 performs processing for a plurality of host I / Fs 221 at the same time, the transfer target is frequently switched. Such switching basically leads to a decrease in data transfer efficiency of the host computer 100.
  • these processing load increases can also be used when determining the XFER_RDY divided data length.
  • completion notifications (1609) that are not equally spaced can be easily realized.
  • the write sequence of the second embodiment and the write sequence of the first embodiment have been illustrated on the assumption that completion notifications are equally spaced every 64 KB. However, these need not be evenly spaced.
  • the host I / F 221 transfers a relatively large transfer data length at the start of transfer, and gradually reduces the transfer data length to narrow the notification interval. , T ALL (705) can be further shortened.
  • the host I / F 221 performs high-frequency notification at the start of transfer, and gradually increases the notification interval, thereby reducing the load on the processor # 1 that processes the notification.
  • the processor # 1 since the processor # 1 first sets the notification interval in the host I / F 221, it is relatively difficult to finely change the notification frequency. In the second embodiment, since the processor # 1 can change the set value for an arbitrary XFER_RDY, notification at non-uniform intervals becomes easy.
  • the processor # 1 may determine the data length of the next data transfer based on the load at the time of the first data transfer from the host computer 100 to the transfer buffer area 44, and issue XFER_RDY indicating the data length. .
  • FIG. 17 shows a read sequence of the second embodiment.
  • the mechanism from issuing a read request (1703) to a transfer completion notification (1706) by the drive I / F 222 is different.
  • the Read request indicating the request data length of the Read request (here 256 KB)
  • it is divided into a Read request indicating a finer transfer data length and issued to the storage medium 211 (here 64 KB request) Shows an example of transferring 4 times).
  • the storage medium 211 that has received this request transfers data corresponding to each request (1705).
  • the drive I / F 222 that has received all data (64 KB) corresponding to the request sends a Read completion notification to the request (1707).
  • the processor # 2 can receive a partial transfer completion notification similar to that of the first embodiment, and can start data transfer between controllers before receiving all data (1708).
  • the processor # 2 may divide the transfer and notify the completion of the partial transfer.
  • the relationship between the Read request division and the response performance improvement effect in the Read sequence of the second embodiment is partially different from the relationship between the partial completion notification and the response performance improvement effect of the first embodiment, but the effect of the Write sequence of the second embodiment. It is the same as that of description.
  • the processing overhead (703, 804) due to the division in the first response case and the second response case of the first embodiment, in the second embodiment, by dividing the Read request, an additional processing load is generated in 1703, 1704. .
  • the storage medium 211 is simultaneously processing requests from the plurality of drive I / Fs 222, the read target is frequently switched.
  • the controller # 1 according to the second embodiment may determine the XFER_RDY division data length using the increase in the processing load.
  • the storage apparatus 1 according to the second embodiment can use non-uniform notifications in the Read process. The advantage is the same as that of Write processing.
  • the storage device 1 divides the requested data length into a plurality of transfer data lengths, and sends a plurality of XFER_RDY indicating the plurality of transfer data lengths to the host computer 100 or storage medium that is the transfer source.
  • a notification can be received before the first data transfer from the transfer source to the controller 22 is completed, and the second data transfer between the memories 4 of the two controllers 22 can be started.
  • Response performance is improved.
  • the transfer source processor 224 notifies the transfer completion of the partial transfer from the memory 4 to the host computer 100. Three data transfer can be started. Response performance is improved by pipelining the first, second, and third data transfers.
  • the processor 224 performs control according to the bandwidth ratio of the bus, the data transfer length, the processor load, and the like, so that the response performance improvement effect can be enhanced. Further, by dividing the data length for notifying the completion of transfer non-uniformly, it is possible to realize a further response performance improvement effect.
  • the basic device configuration and processing flow of the storage device 1 of the third embodiment are the same as those of the first and second embodiments, but the method for detecting the completion of partial transfer is different from the first and second embodiments. .
  • the processor 224 monitors a specific monitoring address in the memory 4 to detect the completion of partial data reception.
  • FIG. 18 shows a write sequence according to the third embodiment.
  • the processor # 1 after the processor # 1 sends XFER_RDY similar to that in the comparative example (1805), the processor # 1 periodically monitors the transfer destination address in the transfer buffer area 44 of the memory 4 (1809).
  • the host computer 100 performs data transfer to the transfer buffer area 44 via the host I / F 221 (1808), and when an update of the monitoring address data in the transfer buffer area 44 is detected, transfer between controllers is started (1810).
  • a series of data (256 KB in this case) requested by XFER_RDY is transferred in order from the first data block. Therefore, the detection of the update of the data at the monitoring address guarantees that the data transfer from the data transfer start address to the monitoring address is completed.
  • the processor # 1 is monitoring the monitoring address at the interval of 64 KB, and when detecting the first 64 KB point update, the inter-controller communication is started (1810) and the next 128 KB is monitored. An example is shown.
  • processor # 1 stores the data stored in the monitoring address before the update, and detects the update of the monitoring address data by comparing the stored data with the data stored in the monitoring address.
  • the update of the data at the monitoring address may be detected by detecting the data flow rate on the bus of the memory 4 or the access to the monitoring address.
  • the processor # 1 may acquire the data flow rate from hardware such as a memory counter or a bus counter related to the memory 4.
  • the processor # 1 detects by the method of comparing the data of the monitoring address, there is a possibility that the update cannot be detected when the same data is written, but even in this case, the transfer completion notification by the host I / F 221
  • the inter-controller transfer (1810) may be started in response to (1811). Further, even if the monitoring time interval becomes longer due to the load of the processor # 1, the inter-controller transfer (1810) can be started by the transfer completion notification (1811). Therefore, the processing time of the write sequence according to the present embodiment is not significantly increased as compared with the write sequence according to the comparative example.
  • FIG. 19 shows a write process of the processor # 1 according to the third embodiment.
  • This figure shows an example of the control flow of the processor # 1 when the processor # 1 receives the write request.
  • the processor # 1 receives the write request (S1901), and requests the other controller # 2 to secure the cache area 43 (S1902), and the monitoring address interval for monitoring and a plurality of monitoring addresses based on the monitoring address interval A monitoring address determination process is performed to determine (S1903).
  • the processor # 1 can determine the monitoring address interval according to the load of the processor # 1, the internal bus, the requested data length, etc., in the same manner as the partial completion notification interval determination process of the first embodiment.
  • the processor # 1 When the processor # 1 receives the completion notification from the other controller # 2 (S1904), the processor # 1 transmits XFER_RDY to the host computer 100 via the host I / F 221 (S1905), and starts monitoring the monitoring address periodically (S1905). S1906). When the processor # 1 detects updating of data at the monitoring address by data comparison, bus monitoring, or the like (S1907: Y), the processor # 1 performs inter-controller transfer for the received data (S1908). The processor # 1 continues to monitor and transfer until the transfer of all data having the requested data length is completed (S1909: Y).
  • the processor # 1 transfers all remaining data when a detection failure has occurred for some reason or when a completion notification is received from the host I / F 221 prior to detection by monitoring (S1906 to S1909).
  • the processor # 1 receives a notification of completion of the transfer of all data of the requested data length from the other controller # 2 (S1910), it returns a completion status (Good Status) to the write request to the host computer 100 (S1911).
  • the relationship between the memory monitoring frequency and the response performance improvement effect in the third embodiment is partially different from that in the first embodiment.
  • a processor memory load due to memory monitoring occurs in the third embodiment.
  • the processor # 1 monitors the transfer buffer area 44 more frequently, the load on the bus of the processor # 1 and the memory 4 increases, but the delay time from data transfer to the transfer buffer area 44 until detection decreases. Therefore, the processor # 1 arranges only the monitored area in the transfer destination area in the memory 4 in the cache area 43 or the like having a lower access load than the transfer buffer area 44. Can be reduced.
  • the processor # 1 assigns a transfer destination area in the transfer buffer area 44, and assigns an area having an access load lower than the access load of the transfer buffer area 44 to the monitoring address. Further, by making the monitored address intervals non-uniform, it is possible to realize the same effect as the partial transfer completion notification with non-uniform intervals as described in the second embodiment.
  • FIG. 20 shows a read sequence of the third embodiment.
  • Processor # 2 monitors the monitoring address in the cache area 43 that is the transfer destination by the drive I / F 222 (2007).
  • the processor # 2 detects this and transfers the data up to the detected monitoring address between the controllers (2008). , And notifies the transfer destination controller # 1 of the completion of the transfer between the controllers (2009). Receiving this notification, the processor # 1 transfers data to the host computer 100 via the host I / F 221 (2010). As described above, the three data transfers are pipelined, and the response performance is improved.
  • the memory monitoring method may be performed by comparing data as described in the explanation regarding Write, or may be performed by measuring the amount of data transferred on the bus.
  • the read process of the processor # 2 of the third embodiment is the same as the read process of the controller # 2 of the first embodiment, but instead of the partial completion notification interval determination process (S1404), the write of the controller # 1 of the third embodiment.
  • a monitoring address determination process (S1903) in the process is executed.
  • the read process of the processor # 1 according to the third embodiment is the same as the read process of the controller # 1 according to the first embodiment.
  • the processor 224 monitors a predetermined memory address update, so that the first data transfer from the host computer 100 or the storage medium 211 to the memory 4 is completely completed. Since the second data transfer between the memories 4 of the two controllers 22 can be started, the response performance is improved. Furthermore, before the second data transfer is completed, the processor 224 notifies the partial transfer completion, thereby starting the third data transfer from the destination memory 4 of the second data transfer to the host computer 100. Can do. Response performance is improved by pipelining the first, second, and third data transfers.
  • the processor 224 controls the memory monitoring frequency and monitoring address according to the bandwidth ratio of the bus, the data transfer length, the processor load, etc., thereby reducing the response performance without limiting the throughput reduction or the number of parallel processing I / Os. Can be increased.
  • the processor 224 sets the monitoring frequency and monitoring address non-uniformly for data transfer, or stores only the monitoring address area in a memory area with a low access load, thereby further improving response performance. realizable.
  • the basic apparatus configuration and processing flow are the same as those in the first embodiment, but the processor 224 speculatively starts the second data transfer before the completion of the first data transfer is confirmed. However, during the first data transfer, a guarantee code that is uniquely determined is assigned to the data transfer, and the guarantee code in the data is compared with the expected value during the second data transfer. If a mismatch is detected during the second transfer, the first transfer incompletion is detected and the transfer is attempted again.
  • FIG. 21 shows a write sequence according to the fourth embodiment.
  • the host I / F 221 and the inter-node I / F 223 may be part of control software that operates on the processor 224.
  • the fourth embodiment can be considered as an example in which the monitoring target in the third embodiment is set in all guarantee code areas.
  • the processor # 1 that has received the write request notifies the host I / F 221 of XFER_RDY and requests that a guarantee code be added to the received data (2015).
  • the guarantee code is a code for detecting an unintended data change, and may be an error detection code such as CRC (Cyclic Redundancy Check) or any DIF (Data Integrity Field defined by the user). ) Or a plurality of types of guarantee codes such as these may be included.
  • the processor # 1 notifies the internode I / F 223 of speculative transfer parameters for speculative transfer from the controller # 1 to the controller # 2 (DMA setting 2107).
  • the speculative transfer parameters are information that determines the transfer source address on the transfer buffer area 44 in which the data received according to XFER_RDY is stored, the transfer destination address on the cache area 43 of the controller # 2, and the guarantee code. Including. Receiving XFER_RDY, the host computer 100 transfers the data to the host I / F 221 (2108). The host I / F 221 adds a guarantee code to the received data and stores it in the transfer buffer area 44.
  • the processor # 1 after notifying the host I / F 221 of XFER_RDY, the processor # 1 notifies the inter-node I / F 223 of the inter-controller transfer and the speculative transfer parameter related to the guarantee code (2107).
  • the inter-controller transfer in this example is a DMA transfer from the transfer buffer area 44 of the controller # 1 to the cache area 43 of the controller # 2.
  • the inter-node I / F 223 that has received the speculative transfer parameter receives the controller # 1 from the transfer buffer area 44 of the controller # 1 according to the speculative transfer parameter before the processor # 1 receives the completion notification (2113) from the host I / F 221.
  • the inter-controller transfer to the second cache area 43 is started (2110).
  • the inter-node I / F 223 compares the expected value of the guarantee code with the guarantee code assigned to the data read from the transfer buffer area 44. If they match, the inter-node I / F 223 determines that the speculative transfer is successful, and notifies the processor # 2 of the transfer success through the control data area 42 in the memory 4 of the controller # 2 (2111). If this does not match, the inter-node I / F 223 determines that the data has not yet been transferred to the transfer buffer area 44, and interrupts the transfer (2112). In this figure, an example in which the transfer is interrupted is shown, but it is not necessary to interrupt the transfer.
  • the inter-node I / F 223 can reduce the processing load of the inter-node I / F 223 by asynchronously performing the inter-controller transfer, the guarantee code check, and the notification of the check result. Thereafter, the inter-node I / F 223 retries the interrupted transfer according to the transfer parameter (2113). The inter-node I / F 223 writes a data transfer state, which is a state of inter-controller transfer, in the control data area 42.
  • the processor # 1 refers to the data transfer state in the control data area 42. If there is untransferred data based on the data transfer state, processor # 1 performs transfer between the controllers of the untransferred data.
  • the transfer destination controller # 2 receives all the data based on the data transfer state, it notifies the completion of reception (2115), and the controller # 1 that has received it receives the host computer via the host I / F 221 (2116). 100 is notified of Write completion (2117).
  • FIG. 22 shows a write process of the processor # 1 according to the fourth embodiment.
  • This figure shows an example of the control flow of the processor # 1 when the processor # 1 receives the write request.
  • the processor # 1 receives the write request (S2201)
  • it requests the controller # 2 to secure the cache area 43 and determines a guarantee code for the received write data (S2202).
  • the processor # 1 executes speculative transfer determination processing for determining speculative transfer parameters (S2203).
  • the processor # 1 Upon receiving the reception preparation completion notification from the controller # 2 (S2204), the processor # 1 notifies the host I / F 221 of XFER_RDY and sets the guarantee code assignment (S2205), and the inter-node I / F 223
  • the speculative transfer is set by notifying the speculative transfer parameter (S2206).
  • the processor # 1 waits until receiving a notification of completion of all data reception from the host I / F 221 (S2207). After receiving the completion notification, the processor # 1 refers to the data transfer state (S2208) to confirm the normality of the speculative transfer (S2209). This transfer normal confirmation may be only confirmation of the guarantee code match by the inter-node I / F 223, or the reception completion notification from the transfer destination controller # 2 may be the normal transfer completion. If all the data of the requested data length has been transferred normally (S2211: Y), the processor # 1 waits for a reception completion notification from the controller # 2 (S2212).
  • the processor # 1 If there is still untransferred data (S2211: N), the processor # 1 requests the inter-node I / F 223 to transfer only the untransferred data (S2210).
  • the untransferred data includes data whose transfer is interrupted due to an abnormality.
  • the processor # 1 receives from the controller # 2 a notification of completion of reception of all data of the requested data length, the processor # 1 notifies the host computer 100 of the completion status for the write request via the host I / F 221 (S2213).
  • FIG. 23 shows an example of the speculative transfer parameter and data transfer state management table of the fourth embodiment.
  • the inter-node I / F 223 performs speculative transfer parameters 2301 for executing speculative transfer between controllers, and the inter-controller transfer when the processor # 1 receives a reception completion notification from the host I / F 221.
  • a data transfer state management table 2302 indicating a data transfer state of speculative transfer is stored.
  • the speculative transfer parameter 2301 indicates a request ID, guarantee code information, a speculative transfer start opportunity, and the number of retransmissions for each I / O request.
  • the request ID is an identifier indicating an I / O request.
  • the guarantee code information indicates a guarantee code expected value or a calculation algorithm.
  • the speculative transfer start trigger indicates a trigger for starting speculative transfer, and indicates a wait time from when the internode I / F 223 is set to speculative transfer until the transfer is started.
  • the number of retransmissions indicates the number of data transfer retransmissions (described later) when a guarantee code mismatch is detected.
  • the data transfer state management table 2302 includes a request ID, a data area, speculative transfer completed information, and other CL completion notified information for each I / O request.
  • the request ID is an identifier indicating an I / O request.
  • the data area indicates an address area for performing data transfer.
  • the speculative transfer completed information indicates the address of data that has been speculatively transferred.
  • the other CL completion notification completion information indicates the address of data for which transfer completion notification has been received from the transfer destination controller.
  • FIG. 24 illustrates speculative transfer processing of the inter-node I / F 223 of the controller # 1 during the write processing of the fourth embodiment.
  • This figure shows the operation of the inter-node I / F 223 that has received the speculative transfer parameter from the processor # 1 in the write process in the controller # 1.
  • the inter-node I / F 223 After receiving the speculative transfer parameter (S2401), the inter-node I / F 223 reads data from the address of the set transfer buffer area 44 of the transfer source when detecting the occurrence of the speculative transfer start trigger (S2402). .
  • the inter-node I / F 223 detects the occurrence of the speculative transfer start trigger by detecting that the wait time included in the inter-node I / F 223 has been received after receiving the speculative transfer parameter.
  • the inter-node I / F 223 compares the guarantee code assigned to the read data with the set guarantee code expected value (S2403). If the comparison results match (S2404: Y), the inter-node I / F 223 has transferred the data to the address of the designated transfer destination cache area 43, and the data has been successfully transferred to the data transfer status management table 2302 Information indicating the presence is recorded (S2405). If the comparison results do not match (S2404: N), the inter-node I / F 223 tries to retransmit according to the setting (S2407). In this example, the inter-node I / F 223 attempts retransmission if the guarantee code mismatch count is less than or equal to the retransmission count.
  • the inter-node I / F 223 may determine whether or not to perform retransfer according to the progress of data transfer (whether the request data length is the beginning or end of the requested data length). It may be determined according to the field that does not match the expected value (CRC part, user setting tag part, etc.), or depending on whether a reception completion notification has been received from the transfer destination for the preceding transfer You may judge. For example, the inter-node I / F 223 retransmits immediately if the mismatched portion is within the last predetermined range of the request data length, and if the mismatched portion is within the first predetermined range of the requested data length, the inter-node I / F 223 Resend or do not resend after waiting. The inter-node I / F 223 repeats the above (S2402 to S2405, S2407) until the transfer of all data of the requested data length is completed (S2406).
  • the inter-node I / F 223 interrupts the transfer. Thereafter, the processor # 1 issues a transfer request for untransferred data to the inter-node I / F 223 (S2210), and when a speculative transfer process abnormality occurs, the processor # 1 notifies the host computer 100 of the abnormality.
  • this embodiment may be implemented in combination with other embodiments. That is, the first transfer start trigger (S2402) of the inter-node I / F 223 is notified to the inter-node I / F 223 using the method shown in the other embodiments, and thereafter, the inter-node I / F 223 sends a guarantee code. Transfer may be performed while checking. By doing so, the transfer start timing can be made accurate, so that the processing load of the inter-node I / F 223 can be reduced and the processing load of the processor 224 for subsequent partial completion notification and memory monitoring can be reduced.
  • the third embodiment since a series of data requested by XFER_RDY is assumed to be transferred in order from the first data block, combining with this embodiment, even if the transfer order is disturbed, It is possible to detect completion of data transfer up to.
  • FIG. 25 shows a read sequence of the fourth embodiment.
  • the processor # 2 When the processor # 2 receives a read request from the processor # 1 (2501, 2502), it issues a read request to the drive I / F 222 (2503), and speculative transfer for speculative transfer from the controller # 2 to the controller # 1 The parameter is notified to the inter-node I / F 223 (DMA setting, 2505).
  • the storage medium 211 When a guarantee code is assigned to data read based on a request from the drive I / F 222, the storage medium 211 notifies the inter-node I / F 223 of the expected value of the guarantee code.
  • the guarantee code is not given to the data read based on the request from the drive I / F 222, or when the guarantee code is replaced by the drive I / F 222, the drive I / F 222 also has the expected guarantee code value.
  • the inter-node I / F 223 Independent of data transfer from the drive I / F 222 to the cache area 43, the inter-node I / F 223 starts speculative transfer from the cache area 43 of the controller # 2 to the transfer buffer area 44 of the controller # 1 according to the speculative transfer parameter. (2508). At that time, the inter-node I / F 223 compares the guarantee code assigned to the data on the cache area 43 with the designated guarantee code expected value.
  • the inter-node I / F 223 issues an inter-controller transfer completion notification to the processor # 1 (2509). Receiving this notification, the processor # 1 transfers the data transferred to the transfer buffer area 44 to the host computer 100 via the host I / F 221 (2512). At this time, data transfer from the controller # 1 to the host computer 100 may also be speculatively performed by performing a guarantee code check by the host I / F 221.
  • the read process of the processor # 2 of the fourth embodiment is realized by a combination of the read process of the processor # 2 of the first embodiment and the write process of the processor # 1 of the fourth embodiment.
  • the speculative transfer process of the inter-node I / F 223 of the controller # 2 during the Read process is the same as the speculative transfer process of the inter-node I / F 223 of the controller # 1 during the Write process, but the transfer source is the controller # 2.
  • the transfer destination is the transfer buffer area 44 of the controller # 1.
  • a guarantee code is assigned during the first data transfer from the host computer 100 or the storage medium 211 to the memory 4, and the second data transfer between the memories 4 of the two controllers 22 is performed. While performing speculatively, checking the match of the guarantee code makes it possible to start the second data transfer before the completion of the first data transfer, thereby improving the response performance. Furthermore, at the time of Read processing, the third data transfer is started before the second data transfer is completed by checking the guarantee code match even during the third data transfer from the transfer destination memory 4 to the host computer 100. can do. Response performance is improved by pipelining the first, second, and third data transfers.
  • the processor 224 controls the speculative transfer execution interval according to the bandwidth ratio of the bus, the data transfer length, the processor load, and the like, thereby improving the response performance improvement effect.
  • the inter-node I / F 223 determines the retransmission when the guarantee code mismatch is detected according to the part where the mismatch is detected in the guarantee code or the offset of the part where the mismatch is detected in the requested data length data. By controlling, the effect can be enhanced.
  • the first transfer request may be a write request
  • the first processor may be the processor # 1
  • the first device may be the host computer 100
  • the second device may be the memory 4 of the controller # 2.
  • the first transfer request may be a write request
  • the first processor may be the processor # 1
  • the first device may be the host computer 100
  • the second device may be the storage medium 211 connected to the controller # 1.
  • the first transfer request may be a Read request
  • the first processor may be the processor # 2
  • the first device may be the storage medium 211 connected to the controller # 2
  • the second device may be the memory 4 in the controller # 1. .
  • the first transfer request may be a Read request
  • the first processor may be the processor # 1
  • the first device may be the memory 4 in the controller # 2
  • the second device may be the host computer 100.
  • the first transfer request may be a Read request
  • the first processor may be the processor # 1
  • the first device may be the storage medium 211 connected to the controller # 1
  • the second device may be the host computer 100.
  • the first transfer device and the second transfer device may be a host I / F 221, a drive I / F 222, an inter-node I / F 223, a processor 224, a DMA controller in the controller 22, or the like.
  • the first partial completion condition may be that the host I / F 221 of the controller # 1 notifies the processor # 1 of completion of transfer of the data length of the partial completion notification interval, or the host I / F 221 of the controller # 1 May notify the processor # 1 of the completion of the transfer for XFER_RDY indicating the transfer of the data length of the partial completion notification interval, or the processor # 1 detects a change in the data of the monitoring address.
  • the inter-node I / F 223 of the controller # 1 may detect the occurrence of a speculative transfer start opportunity.
  • the first data transfer instruction and the first partial data transfer instruction may be XFER_RDY.
  • the start timing may be a speculative transfer start opportunity.
  • the second memory may be the memory 4 of the controller # 2
  • the second processor may be the processor # 2
  • the storage device 211 may be a storage device connected to the controller # 2.
  • the second transfer request may be a Read request from the processor # 1 to the processor # 2.
  • the second partial completion condition may be that the drive I / F 222 of the controller # 2 notifies the processor # 2 of completion of transfer of the data length of the partial completion notification interval, or the drive I / F of the controller # 2 F222 may notify the processor # 2 of the completion of the transfer in response to the Read request indicating the transfer of the data length of the partial completion notification interval, or the processor # 2 detects the change of the monitoring address data.
  • the inter-node I / F 223 of the controller # 2 may detect occurrence of a speculative transfer start trigger.
  • SYMBOLS 1 ... Storage apparatus, 2 ... Storage node, 3 ... Internal network, 4 ... Memory, 21 ... Drive housing, 22 ... Controller, 100 ... Host computer, 211 ... Storage medium, 224 ... Processor, 221 ... Host I / F, 222: Drive I / F, 223: Inter-node I / F

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

ストレージ装置の応答性能を向上させることができる。　ストレージ装置は、第一メモリと、第一メモリ、第一デバイス、及び第二デバイスに接続される第一プロセッサと、を備える。第一プロセッサは、第一デバイスに格納されている第一データを、第二デバイスへ転送することを要求する第一転送要求を受領し、第一プロセッサは、第一転送要求に基づいて、第一データを第一デバイスから第一メモリへ転送する第一データ転送において、第一データの一部である第一部分データの転送の完了のタイミングを示す第一部分完了条件を決定し、第一プロセッサは、第一データ転送を開始させ、第一プロセッサは、第一部分完了条件に基づいて、第一データ転送の完了前に、第一データを第一メモリから第二デバイスへ転送する第二データ転送を開始させる。

Description

ストレージ装置およびストレージ装置の制御方法
　本発明は、ストレージ装置に関する。
　複数の磁気ディスク装置や半導体メモリデバイスなどの記憶メディアを備えたディスクアレイと、ディスクアレイへの読み書きを制御するストレージコントローラとを有する、いわゆるストレージ装置が知られている。このコントローラは、ホストコンピュータと接続するためのホストインターフェースや、記憶メディアと接続するためのドライブインターフェースを有する。
　また、コントローラ内にキャッシュメモリを持つことで読み書き性能を向上させたストレージ装置や、複数のコントローラを冗長接続することで可用性を向上させたストレージ装置が知られている。このようなストレージ装置において、あるコントローラに接続されたホストコンピュータから受領したデータを、別のコントローラ上のキャッシュメモリに複製し、記憶メディアへの格納前にホストに書き込み完了を通知する制御方法が知られている。これによって、ストレージ装置の高い可用性と高い書き込み性能を両立している。また、あるコントローラと接続されたホストコンピュータが、別のコントローラに接続された記憶メディアからデータを読み出す際に、記憶メディアが接続されたコントローラ上のキャッシュメモリにデータを一時的に格納し、コントローラ間接続を介してホストコンピュータが接続されたコントローラ上のキャッシュメモリにデータを転送し、その後ホストコンピュータにデータ転送する制御方法が知られている。
　一般に、各インターフェースを介したキャッシュメモリへの転送と、あるキャッシュメモリから別のキャッシュメモリへの転送は、ホストコンピュータからの要求データ長（転送長）毎に、逐次転送される。たとえば特許文献１では、ホストコンピュータが２５６ＫＢのデータの書き込みを要求する場合、２５６ＫＢのデータの全てがキャッシュメモリに格納された後に、ホストインターフェースが受領完了を通知し、通知を受けてから別のコントローラへ２５６ＫＢ転送を開始する方法が開示されている。この制御方法では、要求データ長が大きくなると、ホスト転送時間とコントローラ間転送時間の合算値に比例してストレージ装置の処理遅延が増加してしまう。
　また、特許文献２では、ホストインターフェースと、ホストインターフェースがデータを読み書きするメモリ１と、メモリ１とは異なるメモリ２と、メモリ１からメモリ２へのデータ転送を制御するＬＳＩとを含むストレージの制御部において、ＬＳＩがメモリ間の転送制御情報を予め保持し、なおかつＬＳＩがホストインターフェースからメモリ１への書き込み量を監視することで、ホストコンピュータからの要求データ長のデータがメモリ１に書き込まれる前に、メモリ２への転送を開始する制御方法が開示されている。
特開平９－１４６８４２号公報 米国特許第６９８５９９４号明細書
　特許文献２のような技術では、専用ＬＳＩによる、メモリ及びバスの監視や、複数の転送要求の状態を管理するための処理負荷が大きい。一般に、ホストコンピュータや記憶メディアとストレージコントローラ間の通信では、通信要求の並列度を増やすことでスループットを高めるが、この技術では並列度増加に伴い監視処理負荷が増大してしまう。そのため、この技術では、並列動作数などに制限を設ける等の対策が必要になる。また、このような転送制御を、他の制御と共有するストレージコントローラ上の汎用ＣＰＵ（Central Processing Unit）やメモリで実施すると、他の制御の処理性能の低下に繋がる。
　上記課題を解決するために、本発明の一態様であるストレージ装置は、第一メモリと、前記第一メモリ、第一デバイス、及び第二デバイスに接続される第一プロセッサと、を備える。前記第一プロセッサは、前記第一デバイスに格納されている第一データを、前記第二デバイスへ転送することを要求する第一転送要求を受領し、前記第一プロセッサは、前記第一転送要求に基づいて、前記第一データを前記第一デバイスから前記第一メモリへ転送する第一データ転送において、前記第一データの一部である第一部分データの転送の完了のタイミングを示す第一部分完了条件を決定し、前記第一プロセッサは、前記第一データ転送を開始させ、前記第一プロセッサは、前記第一部分完了条件に基づいて、前記第一データ転送の完了前に、前記第一データを前記第一メモリから前記第二デバイスへ転送する第二データ転送を開始させる。
　ストレージ装置の応答性能を向上させることができる。
本発明の実施例のコンピュータシステムの構成を示す。 メモリ４に格納されるデータの領域区分を示す一例である。 ストレージ装置１におけるＷｒｉｔｅ要求受領時のデータ転送フローを示す。 比較例のＷｒｉｔｅシーケンスを示す。 実施例１のＷｒｉｔｅシーケンスを示す。 実施例１のプロセッサ＃１のＷｒｉｔｅ処理を示す。 実施例１のＷｒｉｔｅ要求に対する第一応答ケースを示す。 実施例１のＷｒｉｔｅ要求に対する第二応答ケースを示す。 部分完了通知間隔決定処理を示す。 間隔設定テーブル１００１及び部分完了通知間隔設定用情報１００２を示す。 ストレージ装置１におけるＲｅａｄ要求受領時のデータ転送フローを示す。 比較例のＲｅａｄシーケンスを示す。 実施例１のＲｅａｄシーケンスを示す。 実施例１のプロセッサ＃２のＲｅａｄ処理を示す。 実施例１のプロセッサ＃１のＲｅａｄ処理を示す。 実施例２のＷｒｉｔｅシーケンスを示す。 実施例２のＲｅａｄシーケンスを示す。 実施例３のＷｒｉｔｅシーケンスを示す。 実施例３のプロセッサ＃１のＷｒｉｔｅ処理を示す。 実施例３のＲｅａｄシーケンスを示す。 実施例４のＷｒｉｔｅシーケンスを示す。 実施例４のプロセッサ＃１のＷｒｉｔｅ処理を示す。 実施例４の投機転送パラメータとデータ転送状態管理テーブルの一例を示す。 実施例４のＷｒｉｔｅ処理時のコントローラ＃１のノード間Ｉ／Ｆ２２３の投機転送処理を示す。 実施例４のＲｅａｄシーケンスを示す。
　以下、図面を参照して本発明の実施形態を説明する。
　以下の説明では、「×××テーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「×××テーブル」を「×××情報」と呼ぶことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
　また、以下の説明では、要素の識別情報として、ＩＤが使用されるが、それに代えて又は加えて他種の識別情報が使用されてもよい。
　また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号又は参照符号における共通番号を使用し、同種の要素を区別して説明する場合は、その要素の参照符号を使用又は参照符号に代えてその要素に割り振られたＩＤを使用することがある。
　また、以下の説明では、Ｉ／Ｏ（Input/Output）要求は、ライト要求又はリード要求であり、アクセス要求と呼ばれてもよい。
　また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又はインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理又はシステムとしてもよい。また、プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　また、以下の説明では、管理システムは、一以上の計算機を含んでいてもよい。具体的には、例えば、管理計算機が情報を表示する場合（具体的には、例えば、管理計算機が自分の表示デバイスに情報を表示する、或いは、管理計算機が表示用情報を遠隔の表示用計算機に送信する場合）、管理計算機が管理システムである。また、例えば、複数の計算機で管理計算機と同等の機能が実現されている場合は、当該複数の計算機（表示を表示用計算機が行う場合は表示用計算機を含んでよい）が、管理システムである。管理計算機（例えば管理システム）は、表示システムを含むＩ／Ｏシステムに接続されたインタフェースデバイスと、記憶資源（例えばメモリ）と、インタフェースデバイス及び記憶資源に接続されたプロセッサとを有してよい。表示システムは、管理計算機が有する表示デバイスでもよいし、管理計算機に接続された表示用計算機でもよい。Ｉ／Ｏシステムは、管理計算機が有するＩ／Ｏデバイス（例えばキーボード及びポインティングデバイス、タッチパネル）でもよいし、管理計算機に接続された表示用計算機又は別の計算機でもよい。管理計算機が「表示用情報を表示する」ことは、表示システムに表示用情報を表示することであり、これは、管理計算機が有する表示デバイスに表示用情報を表示することであってもよいし、管理計算機が表示用計算機に表示用情報を送信することであってもよい（後者の場合は表示用計算機によって表示用情報が表示される）。また、管理計算機が情報を入出力するとは、管理計算機が有するＩ／Ｏデバイスとの間で情報の入出力を行うことであってもよいし、管理計算機に接続された遠隔の計算機（例えば表示用計算機）との間で情報の入出力を行うことであってもよい。情報の出力は、情報の表示であってもよい。
　以下、添付図面を参照して本発明の実施形態を説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。
　実施例１は、ストレージ装置においてＩ／Ｏの応答性能向上のために、ホストインターフェースやドライブインターフェースがメモリへのデータ転送の部分完了を通知し、その通知に基づいて異なるメモリへの転送を開始する制御方法の一実施形態である。実施例１では、インターフェースに記憶されるデータ転送状態に関する管理情報を用いることで、プロセッサやメモリへの追加の負荷を抑えつつ、応答性能向上を実現する。以下、図面を用いて本実施例の詳細を説明する。
＜装置の説明＞
　図１は、本発明の実施例のコンピュータシステムの構成を示す。
　コンピュータシステムは、主にデータ演算を行うホストコンピュータ１００と、データを格納するストレージ装置１とを含む。ストレージ装置１は、複数台のストレージノード２を含む。複数台のストレージノード２は、ストレージ装置１の内部ネットワーク３を介して接続されている。各ストレージノード２は、データを格納するドライブ筐体２１と、ホストコンピュータ１００や他のストレージノード２と通信をしながらドライブ筐体２１を制御するコントローラ２２とを含む。尚、ホストコンピュータ１００、ストレージノード２、ドライブ筐体２１、コントローラ２２のそれぞれの数は、１台であっても複数台あってもよい。例えばストレージ装置１は一つのストレージノード２を含み、ストレージノード２は、１台のコントローラ２２と複数台のドライブ筐体２１とを含んでいても良い。
　ドライブ筐体２１は、ハードディスクドライブ（ＨＤＤ）や、フラッシュメモリ等の不揮発メモリを搭載したソリッドステートドライブ（ＳＳＤ）などの複数の記憶メディア２１１を有する。
　コントローラ２２は、ホストコンピュータ１００との通信を行うホストインターフェース（以下、ホストＩ／Ｆ）２２１、ドライブ筐体２１と通信を行うドライブインターフェース（以下、ドライブＩ／Ｆ）２２２、他のストレージノード２と通信を行うノード間インターフェース（以下、ノード間Ｉ／Ｆ）２２３、それらの制御やデータ転送を中継するプロセッサ２２４、ホストコンピュータ１００によって生成されるデータやストレージ装置内部で制御用に生成される各種データを蓄えるメモリ４を有する。これらの各部は、コントローラ２２内に複数台あっても良い。
　ホストＩ／Ｆ２２１は、Fibre Channel（ＦＣ）、Fibre Channel Over Ethernet（登録商標）　（ＦＣｏＥ）、Internet SCSI（ｉＳＣＳＩ）等、ホストコンピュータ１００とコントローラ２２の間の通信に用いられるプロトコルデータを、コントローラ２２内部で用いられるPCI-Express等のプロトコルに変換する機能を有する。同様にドライブＩ／Ｆ２２２は、ＦＣやSerial Attached SCSI（ＳＡＳ）等、記憶メディア２１１とコントローラ２２の間の通信に用いられるプロトコルデータを、コントローラ２２内部で用いられるPCI-Express等のプロトコルに変換する機能を有する。また同様に、ノード間Ｉ／Ｆ２２３は、イーサネット（登録商標）やInfiniBand等、ストレージノード２間の通信に用いられるプロトコルデータを、コントローラ２２内部で用いられるPCI-Express等のプロトコルに変換する機能を有する。これらのＩ／Ｆは、ＬＳＩ（Large Scale Integration）であってもよいし、メモリ４に格納されるソフトウェアであってプロセッサ２２４により実行されてもよい。
　プロセッサ２２４は、各Ｉ／Ｆ及びメモリ４の間のデータ転送を行うためのデータバスや、ソフトウェアを動作させるための演算回路等を有する。この例ではデータバス機能と演算機能を有するプロセッサ２２４を例示しているが、プロセッサ２２４は、ＬＳＩであってもよい。
　メモリ４は、ＤＲＡＭ等の高速アクセス可能な記憶素子であり、プロセッサ２２４とＤＤＲ３やＤＤＲ４などのメモリインターフェースで接続される。コントローラ２２内のメモリ４は、複数のメモリモジュールを含んでいても良い。メモリ４上には、各Ｉ／Ｆやプロセッサ２２４が利用するデータを保持する。
　図２は、メモリ４に格納されるデータの領域区分を示す一例である。
　メモリ４は、ホストコンピュータ１００から受信したユーザデータを格納するユーザデータ領域４１と、ストレージ装置内の制御データを格納する制御データ領域４２とを有する。ユーザデータ領域４１は、ホストＩ／Ｆ２２１やドライブＩ／Ｆ２２２とコントローラの間でデータをやりとりするために用いる一時的な領域を転送バッファ領域４４と、頻繁に読み書きされるデータを高速にアクセスできるようにするために用いられるユーザデータキャッシュ領域４３とを備える。ユーザデータキャッシュ領域４３をキャッシュ領域４３と呼ぶことがある。なお、転送バッファ領域４４の代わりにキャッシュ領域４３が用いられてもよいし、キャッシュ領域４３の代わりに転送バッファ領域４４が用いられてもよい。
　本実施例では、プロセッサ２２４とホストＩ／Ｆ２２１とドライブＩ／Ｆ２２２とノード間Ｉ／Ｆ２２３がメモリ４を共用する。ホストＩ／Ｆ２２１は、ホストＩ／Ｆ２２１とホストコンピュータ１００の間で転送されるデータを格納する、転送バッファ領域４４やキャッシュ領域４３を個別に持つ必要がない。ホストＩ／Ｆ２２１は、ホストコンピュータ１００からのデータをメモリ４内の転送バッファ領域４４へ転送し、メモリ４内の転送バッファ領域４４に格納されたデータをホストコンピュータ１００へ転送する。同様に、ドライブＩ／Ｆ２２２は、ドライブＩ／Ｆ２２２と記憶メディア２１１の間で転送されるデータを格納する、転送バッファ領域４４やキャッシュ領域４３を個別に持つ必要がない。ドライブＩ／Ｆ２２２は、記憶メディア２１１からのデータをメモリ４内の転送バッファ領域４４へ転送し、メモリ４内の転送バッファ領域４４に格納されたデータを記憶メディア２１１へ転送する。同様に、ノード間Ｉ／Ｆ２２３は、二つのコントローラ２２の間で転送されるデータを格納する、転送バッファ領域４４やキャッシュ領域４３を個別に持つ必要がない。ノード間Ｉ／Ｆ２２３は、ローカルのコントローラ２２のメモリ４に格納されたデータを、他のコントローラ２２のメモリ４へ転送する。これにより、ホストＩ／Ｆ２２１、ドライブＩ／Ｆ２２２、ノード間Ｉ／Ｆ２２３のそれぞれに含まれるメモリの容量を抑えることができる。
＜Ｗｒｉｔｅ処理＞
　図３は、ストレージ装置１におけるＷｒｉｔｅ要求受領時のデータ転送フローを示す。
　ここでは、ストレージ装置１における３台のコントローラ２２を夫々、コントローラ＃１、＃２、＃３と呼ぶ。コントローラ＃１、＃２、＃３内のプロセッサ２２４をそれぞれ、プロセッサ＃１、＃２、＃３と呼ぶ。
　ホストコンピュータ１００が接続されたコントローラ＃１のホストＩ／Ｆ２２１がホストコンピュータ１００から受領したデータは、コントローラ＃１のメモリ４の転送バッファ領域４４に格納される（４００７）。その後、コントローラ＃１は、受領したデータを、異なるコントローラ＃２、＃３上の２か所のキャッシュ領域４３ａ、４３ｂに転送する（４００９）。その後、コントローラ＃１は、記憶メディア２１１に対してデータを書き込む前に、ホストコンピュータ１００に対してデータの受領完了を通知することで、記憶メディア２１１の書き込み速度とは独立した応答性能を実現できる。その際、単一のコントローラ２２に発生した障害によって、ホストコンピュータ１００から受領したデータを失わないように、２か所のコントローラ上のメモリにデータをコピーしている（４００９）。この例では、転送バッファ領域４４とキャッシュ領域４３ａ、４３ｂが、互いに異なるコントローラ＃１、＃２、＃３上に確保される例を示しているが、キャッシュ領域４３ａ、４３ｂの内の一方は、転送バッファ領域４４と同一コントローラ＃１上のメモリ４に確保されていても良い。また、この例では、全てのコントローラ＃１、＃２、＃３が内部ネットワーク３を跨り、異なるストレージノード２内に存在するケースを示しているが、これらは同一のストレージノード２内に存在しても良い。
　プロセッサ２２４が、プロセッサコアとＤＭＡ（Direct Memory Access）コントローラを有していてもよい。プロセッサコアがＤＭＡコントローラに指示することにより、ＤＭＡコントローラは、メモリ４と他のコントローラ内のメモリ４の間のＤＭＡ転送を実行してもよい。また、ホストＩ／Ｆ２２１がＤＭＡコントローラを有していてもよい。この場合、このＤＭＡコントローラは、プロセッサ２２４からの指示に応じて、ホストコンピュータ１００と転送バッファ領域４４の間のＤＭＡ転送を実行する。また、ノード間Ｉ／Ｆ２２３がＤＭＡコントローラを有していてもよい。この場合、このＤＭＡコントローラは、プロセッサ２２４からの指示に応じて、コントローラ＃１のメモリ４と他のコントローラ２２のメモリ４の間のＤＭＡ転送を実行する。これにより、データ転送時のプロセッサ２２４（プロセッサコア）の負荷を抑えることができる。
＜比較例のＷｒｉｔｅシーケンス＞
　ここで、比較例のストレージ装置が部分完了の通知を用いない場合の動作を説明する。
　図４は、比較例のＷｒｉｔｅシーケンスを示す。
　この図は、比較例のストレージ装置が、ホストコンピュータ１００からＷｒｉｔｅ要求（Ｗｒｉｔｅコマンド）を受領してから、ホストコンピュータ１００にＷｒｉｔｅデータ受領完了を通知するまでの通信シーケンスの一例を示す。この図では、キャッシュ領域４３を格納する２つのコントローラ＃２、＃３は等価であるため、一方を代表して示している。図中では、コントローラ＃１をＣＬ１と呼び、コントローラ＃２をＣＬ２と呼ぶ。また、図中では、ノード間Ｉ／Ｆ２２３を省略している。この図では、プロセッサ＃１の動作に、コントローラ＃１のメモリ４の動作も示されている。また、プロセッサ＃２の動作に、コントローラ＃２のメモリ４の動作も示されている。この例では、２５６ＫＢの書き込み要求を受領した場合を例示する。
　まず、コントローラ＃１において、ホストＩ／Ｆ２２１は、ホストコンピュータ１００から受領したＷｒｉｔｅ要求（４００１）をメモリ４上に書き込み、プロセッサ＃１に新規要求の受領を通知する（４００２）。この通知を受けたプロセッサ＃１は、要求を解析し、データを受け取る転送バッファ領域４４と、転送先のキャッシュ領域４３を含むコントローラ＃２とを決定する。なお、転送バッファ領域４４は予めプロセッサ＃１により確保され管理されていてもよいし、キャッシュ領域４３は予めプロセッサ＃２により確保され管理されていてもよい。その後、プロセッサ＃１は、他のコントローラ＃２にキャッシュ領域４３の確保を依頼する（４００３）。この依頼に基づいて、プロセッサ＃２は、メモリ４上のキャッシュ領域４３を確保し、その完了を通知する（４００４）。この例では、Ｗｒｉｔｅ要求受領後に、コントローラ＃１がコントローラ＃２にキャッシュ領域確保を依頼する例を示しているが、コントローラ＃１がコントローラ＃２のメモリ４内の利用可能な領域を予め把握しておいても良いし、ＸＦＥＲ＿ＲＤＹ（データ転送要求）送信（４００５）後に依頼しても良い。プロセッサ＃１は、Ｗｒｉｔｅデータの受領準備が完了したら、ホストＩ／Ｆ２２１を介して、ホストコンピュータ１００にＸＦＥＲ＿ＲＤＹを通知する（４００５、４００６）。
　このとき、プロセッサ＃１は、Ｗｒｉｔｅ要求（４００２）で指定された要求データ長（ここでは２５６ＫＢ）以下であれば、任意のデータ長の受領準備完了を複数回に分割して通知することができる。ただし、そのようなＸＦＥＲ＿ＲＤＹ（４００５）の分割は、ホストコンピュータ１００とホストＩ／Ｆ２２１間の通信量増加を意味する為、データ転送効率低下に繋がる。またホストコンピュータ１００内のデータ転送に関しても、一般に、同一のＸＦＥＲ＿ＲＤＹに対応する連続データを転送することは、異なるＸＦＥＲ＿ＲＤＹへの処理を切り替えながら非連続なデータを転送することよりも、転送効率が高い。そのため、ストレージ装置１は、ホストコンピュータ１００から受領したＷｒｉｔｅ要求に対して、要求データ長を示すＸＦＥＲ＿ＲＤＹを一回で通知することが一般的である。この例でも、プロセッサ＃１は、要求データ長と同量（２５６ＫＢ）を示すＸＦＥＲ＿ＲＤＹを発行する（４００５）。
　ＸＦＥＲ＿ＲＤＹを受領したホストコンピュータ１００は、予め準備していたＷｒｉｔｅデータをストレージ装置１に転送を開始する（４００７）。これを受領したホストＩ／Ｆ２２１は、ホストコンピュータ１００からのデータのプロトコル変換及びアドレス変換を行い、転送バッファ領域４４にデータを格納する（４００８）。ホストＩ／Ｆ２２１は、ＸＦＥＲ＿ＲＤＹ（４００５）によって指定された全データ（ここでは２５６ＫＢ）の転送バッファ領域４４への書き込みを完了したら、プロセッサ＃１にデータ受領完了を通知する（４００９）。データ受領完了通知を受けたプロセッサ＃１は、コントローラ＃２上のキャッシュ領域４３にデータ転送を開始する（４０１０）。プロセッサ＃１は、データ転送（４０１０）の完了を、プロセッサ２２４間のメッセージによって通知する（４０１１）。また、プロセッサ＃１がノード間Ｉ／Ｆ２２３にコントローラ間転送（４０１０）を指示する場合、ホストＩ／Ｆ２２１によるデータ受領完了通知（４００９）と同様に、ノード間Ｉ／Ｆ２２３がコントローラ間転送の完了をプロセッサ＃２に通知しても良い。全データの受領を完了したプロセッサ＃２は、受領完了をプロセッサ＃１に通知する（４０１２）。本通信もノード間Ｉ／Ｆ２２３の仕組みによって通知しても良い。コントローラ＃１は、コントローラ＃２、＃３の２か所のキャッシュ領域４３への２重書きが完了したら、ホストＩ／Ｆ２２１を介してホストコンピュータ１００に、Ｗｒｉｔｅデータ受領完了ステータス（Ｇｏｏｄ）を返信する（４０１３、４０１４）。ホストコンピュータ１００は、本ステータス受信を持って、Ｗｒｉｔｅ　要求の完了と判断する。すなわち、Ｗｒｉｔｅ要求発行（４００１）から、完了ステータス受信（４０１４）までの経過時間がホストコンピュータ１００から見たストレージ装置１のＷｒｉｔｅ応答時間となる。
　比較例の通信シーケンスでは、ホストＩ／Ｆ２２１から転送バッファ領域４４へのデータ転送（４００８）と、コントローラ＃１、＃２間のデータ転送（４０１０）が２５６ＫＢ単位で逐次実行される。そのため、ホストコンピュータ１００からの要求データ長が増加すると、二つの転送（４００８、４０１０）に係る転送時間の合計値に比例して、Ｗｒｉｔｅ応答時間が増加する。
＜実施例１のＷｒｉｔｅシーケンス＞
　図５は、実施例１のＷｒｉｔｅシーケンスを示す。
　ホストコンピュータ１００がデータ転送を開始する（５００７）までの処理は、比較例のＷｒｉｔｅシーケンスと同一である。本実施例では、ホストＩ／Ｆ２２１がホストコンピュータ１００から全データを受領完了する前に、一部のデータ受領完了（部分完了）を通知する（５００９）仕組みを有し、その通知に基づいてプロセッサ＃１がコントローラ間転送を開始する（５０１０）。この例において、ホストＩ／Ｆ２２１はＸＦＥＲ＿ＲＤＹで指定した要求データ長（２５６ＫＢ）とは無関係に、６４ＫＢのデータを転送バッファ領域４４へ書き込む毎に、それをプロセッサ＃１に通知する（５００９）例を示している。ホストＩ／Ｆ２２１は、転送したデータ長を管理しているため、プロセッサ＃１から指定されたデータ長の転送が完了したことを検出でき、プロセッサ＃１に通知することができる。この通知を受けたプロセッサ＃１は、転送準備の出来ている６４ＫＢ分だけ、コントローラ＃２に転送し（５０１０）、データ転送の完了を、プロセッサ２２４間のメッセージによって通知する（５０１１）。コントローラ＃１の転送バッファ領域４４からコントローラ＃２のキャッシュ領域４３へのデータ転送は、プロセッサ＃１内のＤＭＡコントローラによって実行されてもよいし、プロセッサ＃１内のプロセッサコアによって実行されてもよいし、プロセッサ＃１からの指示に応じてコントローラ＃１のノード間Ｉ／Ｆ２２３によって実行されてもよい。
　プロセッサ＃２は、メモリ確保（５００３）で指定された要求データ長（２５６ＫＢ）の受領が完了すると、プロセッサ２２４間のメッセージによって、完了通知をプロセッサ＃１へ通知する（５０１２）。プロセッサ＃１がＷｒｉｔｅデータの一部のデータ受領完了通知（部分完了通知）に応じてコントローラ間転送を開始することにより、ホストＩ／Ｆ２２１から転送バッファ領域４４へのデータ転送（５００８）と、コントローラ＃１、＃２間のデータ転送（５０１０）が並列処理（パイプライン転送）されるようになるため、ストレージ装置１がＷｒｉｔｅデータ受領完了ステータス（５０１３、５０１４）を早期に送信できるようになる。これにより、Ｗｒｉｔｅ応答時間を短縮できる。ただし、その短縮量は、部分完了が通知される間隔や、ホストＩ／Ｆ２２１と転送バッファ領域４４の間の通信帯域や、コントローラ間の通信帯域等によって変化する。短縮量を最大化するためには、これらの条件に応じて、部分完了通知（５００９）に対する制御を切り替える必要がある。
　なお、Ｗｒｉｔｅ要求の対象アドレスが、コントローラ＃１に接続された記憶メディア２１１に関連付けられていてもよい。この場合、プロセッサ＃１は、５０１０の代わりに、コントローラ＃１のドライブＩ／Ｆ２２２へＷｒｉｔｅ要求を発行することで、ドライブＩ／Ｆ２２２に転送バッファ領域４４から記憶メディア２１１へのデータ転送を実行させてもよい。
　図６は、実施例１のプロセッサ＃１のＷｒｉｔｅ処理を示す。
　この図は、実施例１における、Ｗｒｉｔｅ時の、プロセッサ＃１の制御フローの一例を示す。ここでは、ホストＩ／Ｆ２２１が接続されたコントローラ＃１上のプロセッサ＃１によって、ホストＩ／Ｆ２２１の部分完了通知（５００９）間隔を示す部分データ長が決定される例を示しているが、ホストＩ／Ｆ２２１が自律的に部分完了通知間隔を決定しても良いし、プロセッサ＃２が部分完了通知間隔を決定しても良い。まず、Ｗｒｉｔｅ要求を受領（Ｓ６０１）したプロセッサ＃１は、コントローラ＃２にキャッシュ領域確保を依頼する（Ｓ６０２）。これに対する応答を待っている間に、ホストＩ／Ｆ２２１が部分完了通知機能を利用可能か確認する（Ｓ６０３）。もし、ホストＩ／Ｆ２２１が部分完了通知機能を使えないならば、プロセッサ＃１は、比較例と同様に、他コントローラからのキャッシュ領域確保完了通知を待ち（Ｓ６０５ｂ）、ホストコンピュータ１００にはＷｒｉｔｅ要求で指定された要求データ長と同量を示すＸＦＥＲ＿ＲＤＹを、ホストＩ／Ｆ２２１を介して送信する（Ｓ６０６ｂ）。もし、ホストＩ／Ｆ２２１が部分完了通知機能を有しているならば、プロセッサ＃１は、その部分完了通知間隔を算出する部分完了通知間隔決定処理を実行する（Ｓ６０４）。この部分完了通知間隔決定処理については後述する。その後、プロセッサ＃１は、他コントローラ（他ＣＬ）からのキャッシュ領域確保完了通知を待ち（Ｓ６０５ａ）、ホストコンピュータ１００にはＷｒｉｔｅ要求で指定された要求データ長と同量を示すＸＦＥＲ＿ＲＤＹを、ホストＩ／Ｆ２２１を介して送信する（Ｓ６０６ａ）。このときのＸＦＥＲ＿ＲＤＹは、部分完了通知間隔を示す部分完了付きＸＦＥＲ＿ＲＤＹである。
　Ｓ６０６ａ又はＳ６０６ｂのＸＦＥＲ＿ＲＤＹ送信後、プロセッサ＃１は、ホストＩ／Ｆ２２１によるデータ受領完了通知を待ち（Ｓ６０７）、データ受領完了通知に応じて、受領したデータ分を他コントローラに転送（ＣＬ間転送）開始する（Ｓ６０８）。Ｗｒｉｔｅ要求に示された要求データ長に対して、まだ転送を開始していないデータが残っている場合（Ｓ６０９）、プロセッサ＃１は、再びホストＩ／Ｆ２２１からのデータ受領完了通知を待つ（Ｓ６０７）。プロセッサ＃１は、Ｗｒｉｔｅデータの全データ転送が完了するまで（Ｓ６０７～Ｓ６０９）を繰り返し、全データ転送を完了したら、他コントローラからの受領完了通知を待ち（Ｓ６１０）、ホストコンピュータ１００にＷｒｉｔｅ要求に対する完了ステータス（Good Status）を返答する（Ｓ６１１）。
＜通知間隔と効果＞
　以下、本実施例の効果の尺度の例について説明する。
　図７は、実施例１のＷｒｉｔｅ要求に対する第一応答ケースを示す。
　第一応答ケースを用いて、部分完了通知の効果と部分完了通知頻度の関係について説明する。この図は、ホストＩ／Ｆ２２１と転送バッファ領域４４の間の転送帯域Ｈ　ＧＢ／ｓ（７０１）が、コントローラ間の転送帯域Ｘ　ＧＢ／ｓ（７０２）より小さい場合を示す。また、ホストＩ／Ｆ２２１と転送バッファ領域４４の間の転送帯域Ｈ　ＧＢ／ｓ（７０１）が、ホストコンピュータ１００とホストＩ／Ｆ２２１間の転送帯域より大きい場合、転送帯域Ｈの実効帯域は、ホストコンピュータ１００とホストＩ／Ｆ２２１間の転送帯域となる。
　本実施例は、ホストＩ／Ｆ２２１と転送バッファ領域４４の間のデータ転送（５００８）と、コントローラ間のデータ転送（５０１０）の逐次転送を解消することにより、応答時間を短縮する。つまり、ホストＩ／Ｆ２２１による転送開始からコントローラ間転送完了までの総処理時間ＴＡＬＬ（７０５）を最小化するような、部分完了通知間隔Ｎ　ＫＢを選ぶことで、本実施例の効果を最大化できる。基本的には、二つの逐次転送（５００８、５０１０）が、同時処理される時間が増える程、応答時間短縮の効果を得られる。また、部分完了通知間隔Ｎを小さくする程、同時処理可能な転送粒度が細かくなる。ただし、部分完了通知頻度を高めると、ホストＩ／Ｆ２２１と転送バッファ領域４４の間の通知通信（５００９）が増加し、更にプロセッサ＃１が部分完了通知を検出（５００９）してコントローラ間転送（５０１０）を開始するためのプロセッサ処理負荷も増大してしまう。従って、これらの部分完了通知に関する処理オーバーヘッドＴＯＨ（７０３）より、逐次転送の解消による効果が大きいときにのみ、部分完了通知頻度を高める効果が得られる。この例では、ＴＡＬＬ（７０５）は、ホストＩ／Ｆ２２１と転送バッファ領域４４の間の転送が全て完了して、最後の完了通知（５００９）を転送完了するまでの時間ＴＨ（７０４）と、コントローラ間で最後のＮ　ＫＢ（もしくはＮ　ＫＢより小さい）を転送するために要する転送時間ＴＮＸ（７０５）との和に等しい。すなわち、Ｗｒｉｔｅ要求で要求される要求データ長（総転送サイズ）をＷ　ＫＢとしたとき、ＴＡＬＬ（Ｎ）は以下の等式で近似できる。
　ＴＡＬＬ（Ｎ）　＝　ＴＨ　＋　ＴＮＸ　＝　ＴＯＨ　＊　Ｗ／Ｎ　＋　Ｗ／Ｈ　＋　Ｎ／Ｘ
　ＴＡＬＬ（Ｎ）　＝　０　を解くと、ＴＡＬＬを最小化するＮは、（Ｘ＊Ｗ＊ＴＯＨ）＾１／２である。これにより、本実施例の効果を最大化する部分完了通知間隔Ｎを求めることができる。
　図８は、実施例１のＷｒｉｔｅ要求に対する第二応答ケースを示す。
　第二応答ケースを用いて、部分完了通知の効果と部分完了通知頻度の関係について説明する。第二応答ケースは、第一応答ケースと異なり、ホストＩ／Ｆ２２１と転送バッファ領域４４の間の転送帯域Ｈ　ＧＢ／ｓ（８０１）が、コントローラ間の転送帯域Ｘ　ＧＢ／ｓ（８０２）より大きい場合を示す。ここで、プロセッサ＃１がコントローラ間転送（５０１０）を開始するときに、複数の部分完了通知（５００９）を受信済みである場合、転送バッファ領域４４上の全データをコントローラ間転送（５０１０）可能であるとする。そのための追加処理オーバーヘッドは、十分に小さいものとする。このとき、ホストＩ／Ｆ２２１から転送バッファ領域４４にＮ　ＫＢを転送するために必要な時間ＴＮＨ（８０３）と部分完了通知に伴う処理オーバーヘッドＴＯＨ（８０４）の和が、コントローラ間でＮ　ＫＢ転送するために必要な時間ＴＮＸ（８０５）より大きいときのＴＡＬＬ（Ｎ）は、第一応答ケースと同様、次式で表され、これを最小化するＮは前述の通りである。
　ＴＡＬＬ（Ｎ）　＝　ＴＨ　＋　ＴＮＸ＝ＴＯＨ＊Ｗ／Ｎ　＋　Ｗ／Ｈ　＋　Ｎ／Ｘ
　ＴＮＨ（８０３）とＴＯＨ（８０４）の和が、ＴＮＸ（８０５）より小さいとき、コントローラ間の転送（５０１０）開始以後は、コントローラ間の転送遅延が総処理遅延ＴＡＬＬ（８０７）を決定するため、ＴＡＬＬ（Ｎ）は次式で表される。
　ＴＡＬＬ（Ｎ）　＝　ＴＮＨ　＋　ＴＯＨ　＋　ＴＷＸ　＝　Ｎ／Ｈ　＋　ＴＯＨ　＋　Ｗ／Ｘ
　ＴＡＬＬ（Ｎ）（８０７）は、Ｎに対して線形増加するため、ＴＮＨ（８０３）とＴＯＨ（８０４）の和がＴＮＸ（８０５）と等しいときに最小値を示す。従って、ＴＮＨ　＋　ＴＯＨ　＝　ＴＮＸは、Ｎ／Ｈ　＋　ＴＯＨ　＝　Ｎ／Ｘであるから、Ｎ　＝　ＴＯＨ＊（Ｈ－Ｘ）／（ＨＸ）で本実施例の効果を最大化できる。
　以上に示した部分完了通知間隔Ｎは、本実施例の効果を高める目安量の一例であるが、実効的な各部の帯域Ｈ（７０１、８０１）、Ｘ（７０２、８０１）や、部分完了に関する処理オーバーヘッドＴＯＨは動的に変化するため、静的な最適解とはならないことがある。各変数の動的な変化を考慮した設定や、異なる近似モデルによって算出した値を部分完了通知間隔Ｎとして使っても良い。
　図９は、部分完了通知間隔決定処理を示す。
　第一応答ケース及び第一応答ケースを用いて説明したように、応答性能向上に繋がる部分完了通知間隔を、Ｗｒｉｔｅ要求の要求データ長と、ホストＩ／Ｆ２２１と転送バッファ領域４４の転送帯域と、コントローラ間の転送帯域と、部分完了を通知することに依る処理オーバーヘッドによって概算することができる。
　ここでは、プロセッサ＃１が、動的に通知間隔を決めるモードと静的に決めるモードの両方を用意し、それらを切り替えるケースを例示している（Ｓ６０４１）。ここで、静的モードに用いられる間隔設定テーブル１００１と、動的モードに用いられる部分完了通知間隔設定用情報１００２とについて説明する。
　図１０は、間隔設定テーブル１００１及び部分完了通知間隔設定用情報１００２を示す。
　間隔設定テーブル１００１は、上記概算値などから予め作成され、メモリ４の制御データ領域４２に格納される。間隔設定テーブル１００１は、要求データ長（Ｗｒｉｔｅリクエストサイズ）毎に、部分完了通知間隔を示す。
　部分完了通知間隔設定用情報１００２は、プロセッサ＃１により測定された、ＣＰＵ稼働率、コマンド処理数、内部バス実行帯域、通知間隔設定履歴、応答時間履歴を示す。ＣＰＵ稼働率は、プロセッサ＃１の稼働率を示す。コマンド処理数は、現在処理中のＩ／Ｏ要求数を示す。内部バス実行帯域は、コントローラ＃１内のバスの実行帯域を示す。通知間隔設定履歴は、一定の時間の過去に設定された部分完了通知間隔を示す。応答時間履歴は、通知間隔設定履歴内の各部分完了通知間隔が設定されたときの応答時間を示す。応答時間は、ホストコンピュータ１００からのＩ／Ｏ要求からホストコンピュータ１００への応答までの時間である。
　予め静的モードに設定されている場合、プロセッサ＃１は、間隔設定テーブル１００１を参照することで、要求データ長に対応する部分完了通知間隔を決定する（Ｓ６０４７）。
　予め動的モードに設定されている場合、プロセッサ＃１は、部分完了通知機能が有効であるか否かを判定する。この例において、プロセッサ＃１は、処理するプロセッサ＃１の負荷状況（Ｓ６０４２）や内部バスの混雑状況（Ｓ６０４３）を採取し、採取された情報に基づいて、部分完了通知機能を使うか否かを判断する。プロセッサ＃１の負荷状況は例えば、部分完了通知間隔設定用情報１００２におけるＣＰＵ稼働率、コマンド処理数である。内部バスの混雑状況は例えば、部分完了通知間隔設定用情報１００２における内部バス実行帯域である。
　プロセッサ負荷が高いということは、多数のＩ／Ｏ要求や制御処理を並行して処理していることを意味する為、このような条件下では特定Ｉ／Ｏ要求の応答性能よりも、時間当たりのＩ／Ｏ要求処理数（スループット）が重要となることがある。そのような場合に、プロセッサ＃１が高頻度な部分通知を処理すると、プロセッサ＃１の総処理負荷の増加を招き、スループット低下に繋がってしまう。更に、Ｉ／Ｏ毎のプロセッサ処理時間を均等に分配するならば、処理するＩ／Ｏ数が増える程、特定Ｉ／Ｏの処理に使える時間が少なくなり、高頻度な部分完了通知を行ってもプロセッサ＃１がそれを検出するまでの時間が長くなる（実質的なＴＯＨが増大する）ため、Ｉ／Ｏの応答時間も却って長くなってしまう。内部バスの混雑度に関しても同様で、バスが混雑しているときに転送を分割すると、バスの総処理負荷増大によるスループット低下や、応答時間の増大に繋がってしまう。また、Ｉ／Ｏ長が短く、プロセッサ＃１による処理遅延が応答時間の支配的要因であるときも同様で、部分完了通知によるプロセッサ処理負荷増大は応答時間増大に繋がってしまう。本実施例のプロセッサ＃１は、これらを考慮し、応答時間の短縮効果があると判定された場合（Ｓ６０４４：Ｙ）だけ、部分完了通知機能を用い（Ｓ６０４５）、スループットを重視するとき（Ｓ６０４４：Ｎ）、部分完了通知機能を用いない（Ｓ６０４６）。部分完了通知機能を用いると判定された場合、プロセッサ＃１は、通知間隔設定履歴と応答時間履歴に基づいて、効果があった部分完了通知間隔を決定する（Ｓ６０４５）。これにより、適切な部分完了通知間隔を決定することができる。また、この例において、プロセッサ＃１は、複数の判断基準を用いているが、これらの判断基準の内の任意の判断基準の組み合わせを用いても良い。
＜Ｗｒｉｔｅ処理の効果＞
　以上のＷｒｉｔｅ処理によれば、ホストＩ／Ｆ２２１が要求データ長の一部のデータの転送完了をプロセッサ＃１に通知することで、ホストコンピュータ１００から転送バッファ領域４４に対する全データの転送完了前に、プロセッサ＃１は、別のコントローラ上にあるキャッシュ領域４３にデータ転送を開始することが可能になる。プロセッサ＃１は、その部分転送完了通知頻度を、バスの帯域比率やデータ転送長やプロセッサ負荷などに応じて設定することで、ホストコンピュータ１００のＷｒｉｔｅ要求に対するストレージ装置１の応答性能向上を実現できる。
＜Ｒｅａｄ処理＞
　図１１は、ストレージ装置１におけるＲｅａｄ要求受領時のデータ転送フローを示す。
　ここでは、ホストコンピュータ１００が接続されたコントローラ＃１がホストコンピュータ１００からＲｅａｄ要求（Ｒｅａｄコマンド）を受領し、Ｒｅａｄ要求の対象データが、コントローラ＃１とは異なるコントローラ＃２に接続された記憶メディア２１１上に格納されているケースを想定している。コントローラ＃２に接続された記憶メディア２１１は、要求されたデータをコントローラ＃２上のキャッシュ領域４３に転送する（１１０１）。その後、プロセッサ＃２は、キャッシュ領域４３からコントローラ＃１上の転送バッファ領域４４にデータを転送する（１１０２）。最後にプロセッサ＃１は、転送バッファ領域４４からホストＩ／Ｆ２２１を介してホストコンピュータ１００にデータを転送する（１１０３）。もし、Ｒｅａｄ要求の対象データが、ホストコンピュータ１００が接続されたコントローラ＃１に接続された記憶メディア２１１上に格納されている場合は、コントローラを跨いだ転送（１１０２）が不要となる。
＜比較例のＲｅａｄシーケンス＞
　図１２は、比較例のＲｅａｄシーケンスを示す。
　この図は、比較例のストレージ装置が、ホストコンピュータ１００からＲｅａｄ要求（Ｒｅａｄコマンド）を受領してから、ホストコンピュータ１００に要求されたＲｅａｄデータを転送するまでの通信シーケンスの一例を示す。この図では、ホストＩ／Ｆ２２１やノード間Ｉ／Ｆ２２３は省略している。
　まず、ホストコンピュータ１００からホストＩ／Ｆ２２１を介してＲｅａｄ要求を受領したプロセッサ＃１は、要求内容を解析し、要求されたデータの格納先を特定し、転送バッファ領域４４を確保する（１２０１）。プロセッサ＃１は、Ｒｅａｄ要求受領前に、要求されたデータの格納先及び転送バッファ領域４４を予め決めていてもよい。次に、プロセッサ＃１は、Ｒｅａｄ要求を、対象データを管理するコントローラ＃２に転送する（１２０２）。Ｒｅａｄ要求を受領したプロセッサ＃２は、ドライブＩ／Ｆ２２２経由で、記憶メディア（ドライブ）２１１にＲｅａｄ要求を発行し、読み出しを開始する（１２０４）。このとき、対象データが、コントローラ＃２のメモリ４のキャッシュ領域４３に存在した場合は、記憶メディア２１１からの読み出しは不要となる。
　ドライブＩ／Ｆ２２２からＲｅａｄ要求を受領した記憶メディア２１１は、Ｒｅａｄ要求に指定されたデータの転送を開始する（１２０５）。ここでは、Ｒｅａｄ要求で指定された要求データ長が２５６ＫＢである場合を例示している。ドライブＩ／Ｆ２２２は、記憶メディア２１１からのデータのプロトコル変換及びアドレス変換を行い、プロセッサ＃２から指定されたキャッシュ領域４３にデータを転送する（１２０６）。ドライブＩ／Ｆ２２２は、全てのデータ読み出しを完了したら、読み出し完了を通知する（１２０７）。プロセッサ＃２は、この完了通知を受領したら、コントローラ＃１の転送バッファ領域４４に転送する（１２０８）。プロセッサ＃２は、全てのデータ転送を完了したら、ノード間Ｉ／Ｆ２２３やプロセッサ２２４間の通信によって、転送完了をコントローラ＃１へ通知する（１２０９）。通知を受けたプロセッサ＃１は、ホストＩ／Ｆ２２１を介してホストコンピュータ１００にデータを転送する（１２１０）。このときホストＩ／Ｆ２２１は、転送バッファ領域４４から読み出したデータのプロトコル変換及びアドレス変換を行い、ホストコンピュータ１００へ転送する。
　以上の、Ｒｅａｄ要求発行（１２０１）から、Ｒｅａｄデータ受領完了（１２１０）までの時間が、ホストコンピュータ１００から見た、ストレージ装置１のＲｅａｄ応答時間となる。以上のＲｅａｄシーケンスでは、記憶メディア２１１からコントローラ＃２のキャッシュ領域４３への転送（１２０５、１２０６）と、コントローラ間の転送（１２０８）と、コントローラ＃１からホストコンピュータ１００への転送（１２１０）とが全て逐次処理される。そのため、Ｒｅａｄ要求の要求データ長が大きくなると、三つの転送（１２０５、１２０８、１２１０）に係わる転送時間の合計値に比例してＲｅａｄ応答時間が増加する。
＜実施例１のＲｅａｄシーケンス＞
　図１３は、実施例１のＲｅａｄシーケンスを示す。
　記憶メディア２１１がデータ転送を開始する（１３０１から１３０５）までの処理は、比較例のＲｅａｄシーケンスと同一である。本実施例では、ドライブＩ／Ｆ２２２が記憶メディア２１１から全データの読み出しを完了する前に、一部のデータ受領完了を通知する（１３０７）仕組みを有し、その通知に基づいてプロセッサ＃２がコントローラ間転送を開始する（１３０８）。この例では、ドライブＩ／Ｆ２２２は、Ｒｅａｄ要求で指定された要求データ長（２５６ＫＢ）とは無関係に、記憶メディア２１１から６４ＫＢのデータを読み出してキャッシュ領域４３に格納する毎に、部分的な転送完了を通知する（１３０７）。ドライブＩ／Ｆ２２２は、転送したデータ長を管理しているため、プロセッサ＃２から指定されたデータ長の転送が完了したことを検出でき、プロセッサ＃２に通知することができる。この通知を受けたプロセッサ＃２は、転送準備の出来ている６４ＫＢ分だけ、コントローラ＃１に転送し（１３０８）、６４ＫＢの転送完了をコントローラ＃１に通知する（１３０９）。コントローラ＃２のキャッシュ領域４３からコントローラ＃１の転送バッファ領域４４へのデータ転送は、プロセッサ＃２内のＤＭＡコントローラによって実行されてもよいし、プロセッサ＃２内のプロセッサコアによって実行されてもよいし、プロセッサ＃２からの指示に応じてコントローラ＃２のノード間Ｉ／Ｆ２２３によって実行されてもよい。
　コントローラ＃１は、転送完了通知に応じて、６４ＫＢのデータをホストコンピュータ１００へ転送開始する（１３１０）。これらによって、記憶メディア２１１からキャッシュ領域４３へのデータ転送（１３０５、１３０６）と、コントローラ間のデータ転送（１３０８）と、転送バッファ領域４４とホストコンピュータ１００の間のデータ転送（１３１０）とが、並列処理（パイプライン転送）されるようになるため、Ｒｅａｄ応答時間を短縮できる。
　なお、この例では、三つの転送の全てをパイプライン転送する例を示しているが、記憶メディア２１１から転送バッファ領域４４への転送（１３０５、１３０６、１３０８）のみのパイプライン化や、キャッシュ領域４３からホストコンピュータ１００への転送（１３０８、１３１０）のみのパイプライン化を行っても良い。また、この例ではホストコンピュータ１００と記憶メディア２１１とがそれぞれ異なるコントローラ＃１、＃２に接続されている場合を例示しているが、同一のコントローラ２２に接続されている場合でも、同様の仕組みによって、記憶メディア２１１からキャッシュ領域４３へのデータ転送（１３０５、１３０６）と、キャッシュ領域４３からホストコンピュータ１００への転送（１３１０）とをパイプライン化することも可能である。ただし、Ｗｒｉｔｅの場合と同様に、応答性能の向上効果は、部分完了が通知される間隔や、Ｒｅａｄ要求の要求データ長、各部の通信帯域によって変化する。応答時間の短縮量を最大化するためには、これらの条件に応じて、部分完了通知（１３０７、１３０９）に対する制御を切り替える必要がある。
　なお、Ｒｅａｄ要求の対象アドレスが、コントローラ＃１に接続された記憶メディア２１１に関連付けられていてもよい。この場合、プロセッサ＃１は、１３０２、１３０３の代わりに、コントローラ＃１のドライブＩ／Ｆ２２２へＲｅａｄ要求を発行することで、ドライブＩ／Ｆ２２２に記憶メディア２１１から転送バッファ領域４４へのデータ転送を実行させてもよい。
　また、プロセッサ＃２の代わりにプロセッサ＃１が、プロセッサ＃２のＲｅａｄ処理と同様の処理を実行することで、プロセッサ＃２またはコントローラ＃２のノード間Ｉ／Ｆ２２３に部分完了通知間隔を示すＲｅａｄ要求を発行してもよい。
　図１４は、実施例１のプロセッサ＃２のＲｅａｄ処理を示す。
　この図は、プロセッサ＃１がＲｅａｄ要求を受領した場合の、プロセッサ＃２の制御フローの一例を示す。基本的なフローは、前述したプロセッサ＃１のＷｒｉｔｅ処理と同じである。プロセッサ＃２は、コントローラ＃１からＲｅａｄ要求を受領したら（Ｓ１４０１）、要求されたデータが既にコントローラ＃２のキャッシュ領域４３に格納されているかどうか判断する（Ｓ１４０２）。格納されていれば、プロセッサ＃２は、キャッシュ領域４３からコントローラ＃１の転送バッファ領域４４へのコントローラ間転送を開始する（Ｓ１４０７）。格納されていなければ、プロセッサ＃２は、ドライブＩ／Ｆ２２２に記憶メディア２１１からデータの読み出しを指示する。その際に、プロセッサ＃２は、ドライブＩ／Ｆ２２２の部分完了通知機能を利用可能か否かを判定し（Ｓ１４０３）、利用不可ならば通常のＲｅａｄ要求をドライブＩ／Ｆ２２２へ発行する（Ｓ１４０５ｂ）。利用可能ならば、プロセッサ＃２は、部分完了通知間隔処理を実行し（Ｓ１４０４）、Ｒｅａｄ要求をドライブＩ／Ｆ２２２へ発行する（Ｓ１４０５ａ）。このときのＲｅａｄ要求は、部分完了通知間隔を示す部分完了付Ｒｅａｄ要求である。その後、プロセッサ＃２は、ドライブＩ／Ｆ２２２によるデータ転送完了通知受領後（Ｓ１４０６）、コントローラ間転送を開始する（Ｓ１４０７）。プロセッサ＃２は、Ｒｅａｄ要求に対する全データ転送が完了するまで、ステップ（Ｓ１４０６とＳ１４０７）を繰り返す。全データ転送完了判断（Ｓ１４０８）により、未転送のデータが存在した際（Ｓ１４０８、Ｎ）に、プロセッサ＃２は、転送先のコントローラ＃１に部分的な転送完了を通知しても良い（前述したＲｅａｄシーケンスの１３０９）。
　図１５は、実施例１のプロセッサ＃１のＲｅａｄ処理を示す。
　この図は、実施例１における、Ｒｅａｄ要求受領時の、プロセッサ＃１の制御フローの一例を示す。Ｒｅａｄ要求を受領したプロセッサ＃１は、Ｒｅａｄ要求に基づいて、要求されたデータを管理しているコントローラ＃２（宛先）を特定し、コントローラ＃２にＲｅａｄ要求を転送する（Ｓ１５０２）。その後、プロセッサ＃１は、コントローラ＃２からの転送完了通知を待ち（Ｓ１５０３）、通知を受け取ったら受領したデータを、転送バッファ領域４４からホストＩ／Ｆ２２１を通じてホストコンピュータ１００に転送する（Ｓ１５０４）。プロセッサ＃１は、一部のデータ転送が完了する度に、ホストＩ／Ｆ２２１に完了を通知してもよい。プロセッサ＃１は、全データの転送が完了するまでこれを繰り返す（Ｓ１５０３～Ｓ１５０５）。
　前述したプロセッサ＃２のＲｅａｄ処理における部分完了通知間隔決定処理（Ｓ１４０４）は、プロセッサ＃１によるＷｒｉｔｅ処理における部分完了通知間隔決定処理と同様である。第一応答ケース及び第二応答ケースを用いて説明したＷｒｉｔｅ時の応答性能向上効果と部分完了通知間隔の関係性についても、Ｒｅａｄ時はデータ転送方向が逆になるだけで、同様の関係性を示す。ただしＲｅａｄ処理の場合、記憶メディア２１１からコントローラ＃２のキャッシュ領域４３への転送（１３０６）と、コントローラ＃２のキャッシュ領域４３からコントローラ＃１の転送バッファ領域４４への転送（１３０８）と、コントローラ＃１の転送バッファ領域４４からホストコンピュータ１００への転送（１３１０）との全てをパイプライン転送する場合と、一部のみパイプライン転送する場合を、応答性能向上効果に応じて使い分けることができる。また、完了通知間隔を算出するために用いる情報や、その保持方法も、Ｗｒｉｔｅ処理と同様、前述した間隔設定テーブル１００１及び部分完了通知間隔設定用情報１００２を用いて実施可能である。
＜Ｒｅａｄ処理の効果＞
　以上により、ストレージ装置１において、ドライブＩ／Ｆ２２２が、全データ転送の内一部の転送完了を通知することで、記憶メディア２１１からキャッシュ領域４３に対する全データ転送完了前に、別のコントローラ上にある転送バッファ領域４４にデータ転送を開始することが可能になる。同様に、ノード間Ｉ／Ｆ２２３やプロセッサ２２４が、全データ転送の一部の転送完了を転送先コントローラに通知することで、キャッシュ領域４３から別のコントローラ上にある転送バッファ領域４４への全データ転送が完了する前に、転送バッファ領域４４から、ホストコンピュータ１００へのデータ転送を開始することが可能になる。また、プロセッサ２２４が部分転送完了通知頻度を、バスの帯域比率やデータ転送長やプロセッサ負荷などに応じて設定することで、ホストコンピュータ１００のＲｅａｄ要求に対するストレージ装置１の応答性能向上を実現できる。
＜実施例１の効果＞
　本実施例によれば、ストレージ装置１において、コントローラ２２と、ホストコンピュータ１００又は記憶メディア２１１の間の第一データ転送が完了する前に、ホストＩ／Ｆ２２１やドライブＩ／Ｆ２２２が部分的な転送完了を通知することで、二つのコントローラ２２のメモリ４間の第二データ転送を開始可能になり、応答性能が向上する。さらに、第二データ転送が完了する前に、ノード間Ｉ／Ｆ２２３やプロセッサ２２４が部分的な転送完了を通知することで、第二データ転送の転送先のメモリ４からホストコンピュータ１００への第三データ転送を開始することができる。これら、第一、第二、第三データ転送をパイプライン化することで、応答性能が向上する。本実施例では、ホストＩ／Ｆ２２１やドライブＩ／Ｆ２２２が、ホストコンピュータ１００や記憶メディア２１１との通信用に用いている、データ転送状態に関する管理情報を用いることで、プロセッサ２２４やメモリ４への追加負荷を少なく、応答性能向上を実現している。更に、プロセッサ２２４が、転送完了通知頻度を、バスの帯域比率やデータ転送長やプロセッサ負荷などに応じて制御することで、スループットを低下させることなく、応答性能向上効果を高めることができる。
　実施例２のストレージ装置１の基本的な装置構成や処理フローは実施例１と同様であるが、部分的な転送完了を検知する方法において実施例１とは異なる。実施例２では、プロセッサ２２４がデータ転送要求を分割することで、部分的なデータ受領完了を検知する。
　図１６は、実施例２のＷｒｉｔｅシーケンスを示す。
　ここでは、実施例１のＷｒｉｔｅシーケンスとの相違点について説明する。特に言及されない処理は、実施例１のＷｒｉｔｅシーケンス内の処理と同様である。実施例１と比較すると、本実施例では、ＸＦＥＲ＿ＲＤＹの転送（１６０５）から、ホストＩ／Ｆ２２１による転送完了通知（１６０９）までの仕組みが異なる。実施例２では、Ｗｒｉｔｅ要求の要求データ長（ここでは２５６ＫＢ）を示すＸＦＥＲ＿ＲＤＹの代わりに、より細かい転送データ長を示す複数のＸＦＥＲ＿ＲＤＹを、ホストコンピュータ１００へ発行する。この例は、６４ＫＢのＸＦＥＲ＿ＲＤＹを４回転送する。このＸＦＥＲ＿ＲＤＹを受け取ったホストコンピュータ１００は、それぞれのＸＦＥＲ＿ＲＤＹに対応するデータを転送する（１６０７）。一つのＸＦＥＲ＿ＲＤＹに対応するデータ（６４ＫＢ）の受領を完了したホストＩ／Ｆ２２１は、ＸＦＥＲ＿ＲＤＹに対する転送の完了通知をプロセッサ＃１へ送信する（１６０９）。結果として、プロセッサ＃１は、実施例１と類似の部分転送完了通知を受領することができ、全データ受領前に、コントローラ間のデータ転送を開始することができる（１６１０）。
　実施例２のプロセッサ＃１のＷｒｉｔｅ処理の大部分は実施例１と同様である。但し、実施例２では、実施例１の部分完了通知間隔が、各ＸＦＥＲ＿ＲＤＹにより要求するデータ長であるＸＦＥＲ＿ＲＤＹ分割データ長に置き換えられる。
　実施例２のＷｒｉｔｅシーケンスにおける、ＸＦＥＲ＿ＲＤＹ分割と応答性能向上効果の関係は、実施例１と一部異なる。実施例１の第一応答ケース及び第二応答ケースにおける、分割処理オーバーヘッド（７０３、８０４）に加え、実施例２ではＸＦＥＲ＿ＲＤＹを分割することにより、ＸＦＥＲ＿ＲＤＹ転送のための転送効率が低下し、１６０５、１６０６に追加の処理負荷が発生する。また、ホストコンピュータ１００により受領されるＸＦＥＲ＿ＲＤＹを分割すると、ホストコンピュータ１００が複数のホストＩ／Ｆ２２１に対する処理を同時に行っているとき、転送対象の切り替えが高頻度になる。このような切り替えは、基本的にはホストコンピュータ１００のデータ転送効率低下に繋がる。実施例２ではこれらの、処理負荷増も、ＸＦＥＲ＿ＲＤＹ分割データ長を決める際に用いることができる。
　また、実施例２では等間隔でない完了通知（１６０９）を容易に実現できる。実施例２のＷｒｉｔｅシーケンスや、実施例１のＷｒｉｔｅシーケンスでは、６４ＫＢ毎の等間隔な完了通知を前提として例示したが、これらは等間隔である必要はない。非等間隔な通知が可能なとき、第一応答ケースにおいて、転送開始時にホストＩ／Ｆ２２１が比較的大きな転送データ長の転送を行い、徐々に転送データ長を小さくして通知間隔を狭めることで、ＴＡＬＬ（７０５）を更に短くできる。第二応答ケースにおいて、逆に転送開始時にホストＩ／Ｆ２２１が高頻度な通知を行い、徐々に通知間隔を長くすることで、通知を処理するプロセッサ＃１の負荷を軽減できる。ただし、実施例１では、プロセッサ＃１が最初に通知間隔をホストＩ／Ｆ２２１に設定するため、通知頻度を細かに変更することが比較的難しい。実施例２では、プロセッサ＃１が任意のＸＦＥＲ＿ＲＤＹへの設定値を変更できるため、非等間隔な通知が容易となる。また、プロセッサ＃１がホストコンピュータ１００から転送バッファ領域４４への最初のデータ転送時の負荷に基づいて、次のデータ転送のデータ長を決定し、そのデータ長を示すＸＦＥＲ＿ＲＤＹを発行してもよい。
　図１７は、実施例２のＲｅａｄシーケンスを示す。
　ここでは、実施例１のＲｅａｄシーケンスとの相違点について説明する。特に言及されない処理は、実施例１のＲｅａｄシーケンス内の処理と同様である。実施例１と比較すると、本実施例では、Ｒｅａｄ要求の発行（１７０３）から、ドライブＩ／Ｆ２２２による転送完了通知（１７０６）までの仕組みが異なる。実施例２では、Ｒｅａｄ要求の要求データ長（ここでは２５６ＫＢ）を示すＲｅａｄ要求の代わりに、より細かい転送データ長を示すＲｅａｄ要求に分割して、記憶メディア２１１へ発行する（ここでは６４ＫＢの要求を４回に分けて転送する例を示す）。この要求を受け取った記憶メディア２１１は、それぞれの要求に対応するデータを転送する（１７０５）。要求に対応する全データ（６４ＫＢ）を受領したドライブＩ／Ｆ２２２は、要求に対するＲｅａｄの完了通知を行う（１７０７）。結果として、プロセッサ＃２は、実施例１と類似の部分転送完了通知を受領することができ、全データ受領前に、コントローラ間のデータ転送を開始することができる（１７０８）。コントローラ間のデータ転送（１７０８）と転送バッファ領域４４からホストコンピュータ１００への転送（１７１０）のみをパイプライン転送する場合は、プロセッサ＃２が転送を分割し部分転送完了を通知すればよい。
　実施例２におけるプロセッサ＃２のＲｅａｄ処理とプロセッサ＃１のＲｅａｄ処理の大部分も実施例１と同様である。
　また、実施例２のＲｅａｄシーケンスにおける、Ｒｅａｄ要求分割と応答性能向上効果の関係は、実施例１の部分完了通知と応答性能向上効果の関係と一部異なるが、実施例２のＷｒｉｔｅシーケンスの効果の説明と同様である。実施例１の第一応答ケース及び第二応答ケースにおける、分割による処理オーバーヘッド（７０３、８０４）に加え、実施例２ではＲｅａｄ要求を分割することによって、１７０３、１７０４に追加の処理負荷が発生する。また、記憶メディア２１１が複数のドライブＩ／Ｆ２２２からの要求の処理を同時に行っているとき、読み出し対象の切り替えが高頻度になる。このような切り替えは、記憶メディア２１１内の非連続な領域に対するアクセス頻度の増加に繋がるため、特に記憶メディア２１１がハードディスクドライブである場合の転送効率低下に繋がる。実施例２のコントローラ＃１は、これらの処理負荷の増加を用いて、ＸＦＥＲ＿ＲＤＹ分割データ長を決めてもよい。また、実施例２のストレージ装置１は、Ｒｅａｄ処理においても非等間隔な通知を用いることができる。その利点はＷｒｉｔｅ処理と同様である。
　本実施例によれば、ストレージ装置１は、要求データ長を複数の転送データ長に分割し、それらの複数の転送データ長をそれぞれ示す複数のＸＦＥＲ＿ＲＤＹを、転送元であるホストコンピュータ１００や記憶メディア２１１に発行することで、転送元からコントローラ２２への第一データ転送が全て完了する前に通知を受けることができ、二つのコントローラ２２のメモリ４間の第二データ転送が開始可能になるため、応答性能が向上する。さらに、第二データ転送が完了する前に、第二データ転送の転送元のプロセッサ２２４が部分的な転送完了を通知することで、転送先のプロセッサ２２４は、メモリ４からホストコンピュータ１００への第三データ転送を開始することができる。これら、第一、第二、第三データ転送をパイプライン化することで、応答性能が向上する。更に、プロセッサ２２４が、バスの帯域比率やデータ転送長やプロセッサ負荷などに応じて制御することで、応答性能向上効果を高めることができる。また、転送完了を通知するデータ長を非均等に分割することで、更なる応答性能向上効果を実現できる。
　実施例３のストレージ装置１の基本的な装置構成や処理フローは実施例１及び実施例２と同一であるが、部分的な転送完了を検知する方法が実施例１及び実施例２とは異なる。実施例３では、プロセッサ２２４がメモリ４内の特定の監視アドレスを監視することで、部分的なデータ受領完了を検知する。
　図１８は、実施例３のＷｒｉｔｅシーケンスを示す。
　ここでは、実施例１のＷｒｉｔｅシーケンスとの相違点について説明する。特に言及されない処理は、実施例１のＷｒｉｔｅシーケンス内の処理と同様である。この図では、プロセッサ＃１によるメモリ４の監視とコントローラ間転送の関係をわかり易くするために、プロセッサ＃１とメモリ４を区別して図示しているが、本実施例のストレージ装置１の物理構成は実施例１と同様である。
　本実施例では、プロセッサ＃１が比較例と同様のＸＦＥＲ＿ＲＤＹを送出（１８０５）後、プロセッサ＃１はメモリ４の転送バッファ領域４４のうち転送先のアドレスの定期的な監視を行う（１８０９）。ホストコンピュータ１００がホストＩ／Ｆ２２１経由で転送バッファ領域４４にデータ転送を行い（１８０８）、転送バッファ領域４４内の監視アドレスのデータの更新が検出されると、コントローラ間転送を開始する（１８１０）。本実施例では、ＸＦＥＲ＿ＲＤＹで要求された一連のデータ（ここでは２５６ＫＢ）は、先頭のデータブロックから順番に転送されることを想定している。そのため、監視アドレスのデータの更新の検出は、データ転送開始アドレスから監視アドレスまでのデータ転送が完了していることを保証する。この例では、プロセッサ＃１は、６４ＫＢ間隔の監視アドレスを監視しており、最初の６４ＫＢ点更新を検出したら、コントローラ間通信を開始し（１８１０）、次の１２８ＫＢ目の監視を行う、という場合の例を示している。また、プロセッサ＃１は、更新前に監視アドレスに格納されているデータを記憶し、記憶されたデータと監視アドレスに格納されているデータとを比較することによって、監視アドレスのデータの更新を検出してもよいし、メモリ４のバス上のデータ流量や、監視アドレスへのアクセスを検出することにより、監視アドレスのデータの更新を検出してもよい。プロセッサ＃１は、メモリ４に関するメモリカウンタやバスカウンタ等のハードウェアからデータ流量を取得してもよい。プロセッサ＃１は、監視アドレスのデータを比較する方法で検出する場合、たまたま同一データが書き込まれたときに、更新を検出できない可能性があるが、その場合でも、ホストＩ／Ｆ２２１による転送完了通知（１８１１）を契機にコントローラ間転送（１８１０）を開始すれば良い。また、プロセッサ＃１の負荷によって監視の時間間隔が長くなっても、転送完了通知（１８１１）を契機にコントローラ間転送（１８１０）を開始できる。そのため、本実施例のＷｒｉｔｅシーケンスは、比較例のＷｒｉｔｅシーケンスと比べて、処理時間が大幅に長くなることはない。
　図１９は、実施例３のプロセッサ＃１のＷｒｉｔｅ処理を示す。
　この図は、プロセッサ＃１がＷｒｉｔｅ要求を受領した場合の、プロセッサ＃１の制御フローの一例を示す。プロセッサ＃１は、Ｗｒｉｔｅ要求を受領し（Ｓ１９０１）、他のコントローラ＃２にキャッシュ領域４３の確保を依頼（Ｓ１９０２）している間に、監視を行う監視アドレス間隔と、それに基づく複数の監視アドレスを決定する監視アドレス決定処理を実行する（Ｓ１９０３）。ここでプロセッサ＃１は、実施例１の部分完了通知間隔決定処理と同様で、プロセッサ＃１の負荷や内部バスや要求データ長などによって監視アドレス間隔を決定することができる。プロセッサ＃１は、他のコントローラ＃２から完了通知を受信したら（Ｓ１９０４）、ホストＩ／Ｆ２２１を介してホストコンピュータ１００にＸＦＥＲ＿ＲＤＹを送信し（Ｓ１９０５）、定期的な監視アドレスの監視を開始する（Ｓ１９０６）。プロセッサ＃１は、データ比較やバス監視などで、監視アドレスのデータの更新を検出したら（Ｓ１９０７：Ｙ）、受信完了したデータ分だけコントローラ間転送を行う（Ｓ１９０８）。プロセッサ＃１は、要求データ長の全データの転送を完了する（Ｓ１９０９：Ｙ）まで、監視と転送を続ける。但し、プロセッサ＃１は、なんらかの理由で検出漏れが発生していた場合や、監視による検出より先にホストＩ／Ｆ２２１からの完了通知を受領したら、残りの全データを転送する（Ｓ１９０６～Ｓ１９０９）。プロセッサ＃１は、他のコントローラ＃２から要求データ長の全データの転送の完了通知を受領すると（Ｓ１９１０）、ホストコンピュータ１００へＷｒｉｔｅ要求に対する完了ステータス（Good Status）を返答する（Ｓ１９１１）。
　実施例３における、メモリ監視頻度と応答性能向上効果の関係性は、実施例１と一部異なる。実施例１の第一応答ケース及び第二応答ケースにおける、分割処理オーバーヘッド（７０３、８０４）に加え、実施例３ではメモリ監視によるプロセッサ・メモリ負荷が発生する。プロセッサ＃１が高頻度に転送バッファ領域４４を監視するほど、プロセッサ＃１やメモリ４のバスの負荷は増加するが、転送バッファ領域４４へのデータ転送から検出までの遅延時間が減少する。そこで、プロセッサ＃１は、メモリ４内の転送先の領域のうち、監視される領域のみを、転送バッファ領域４４よりもアクセス負荷の低いキャッシュ領域４３などに配置することで、メモリ監視の処理負荷を削減することができる。即ち、プロセッサ＃１は、転送バッファ領域４４内に転送先の領域を割り当て、転送バッファ領域４４のアクセス負荷より低いアクセス負荷を有する領域を監視アドレスに割り当てる。また、監視するアドレス間隔を非均等にすることで、実施例２で述べたような非等間隔な部分転送完了通知と同様の効果を実現できる。
　図２０は、実施例３のＲｅａｄシーケンスを示す。
　ここでは、実施例１のＲｅａｄシーケンスとの相違点について説明する。特に言及されない処理は、実施例１のＲｅａｄシーケンス内の処理と同様である。ここでは、プロセッサ＃２によるメモリ４の監視とコントローラ間転送との関係をわかり易くするために、プロセッサ＃２とメモリ４を区別して図示しているが、本実施例のストレージ装置１の物理構成は実施例１と同様である。
　プロセッサ＃２は、ドライブＩ／Ｆ２２２による転送先であるキャッシュ領域４３の内、監視アドレスを監視する（２００７）。Ｒｅａｄ要求に対するデータがドライブＩ／Ｆ２２２からキャッシュ領域４３内の各監視アドレスまで書き込まれる（２００６）と、プロセッサ＃２はこれを検出し、検出された監視アドレスまでのデータのコントローラ間転送（２００８）を開始し、各コントローラ間転送の転送完了を、転送先のコントローラ＃１に通知する（２００９）。この通知を受けたプロセッサ＃１は、ホストＩ／Ｆ２２１を介してホストコンピュータ１００にデータを転送する（２０１０）。以上によって、三つのデータ転送をパイプライン化し、応答性能が向上する。なお、メモリの監視方法はＷｒｉｔｅに関する説明で述べた通り、データの比較によって行っても良いし、バス上のデータ転送量計測等によって行っても良い。
　実施例３のプロセッサ＃２のＲｅａｄ処理は、実施例１のコントローラ＃２のＲｅａｄ処理と同様であるが、部分完了通知間隔決定処理（Ｓ１４０４）の代わりに、実施例３のコントローラ＃１のＷｒｉｔｅ処理における監視アドレス決定処理（Ｓ１９０３）を実行する。実施例３のプロセッサ＃１のＲｅａｄ処理は、実施例１のコントローラ＃１のＲｅａｄ処理と同様である。
　本実施例によれば、ストレージ装置１において、プロセッサ２２４が所定のメモリアドレス更新を監視することによって、ホストコンピュータ１００や記憶メディア２１１からメモリ４への第一データ転送が全て完了する前に、二つのコントローラ２２のメモリ４間の第二データ転送が開始可能になるため、応答性能が向上する。さらに、第二データ転送が完了する前に、プロセッサ２２４が部分的な転送完了を通知することで、第二データ転送の転送先のメモリ４からホストコンピュータ１００への第三データ転送を開始することができる。これら、第一、第二、第三データ転送をパイプライン化することで、応答性能が向上する。更に、プロセッサ２２４がメモリ監視頻度と監視アドレスを、バスの帯域比率やデータ転送長やプロセッサ負荷などに応じて制御することで、スループット低下や並列処理Ｉ／Ｏ数を制限することなく、応答性能を高めることができる。また、プロセッサ２２４が監視頻度や監視アドレスをデータ転送に対して非均等に設定したり、監視アドレスの領域のみをアクセス負荷の低いメモリ領域に格納したりすることで、更なる応答性能向上効果を実現できる。
　実施例４は、基本的な装置構成や処理フローは実施例１と同一であるが、プロセッサ２２４は、第一データ転送完了が確定する前に投機的に第二データ転送を開始する。ただし、第一データ転送中に、データ転送に対して一意に定まる保証コードを付与し、第二データ転送中にデータ中の保証コードと期待値を比較する。第二の転送中に不一致を検出した場合、第一の転送未完了を検出し、再度転送を試みる。
　図２１は、実施例４のＷｒｉｔｅシーケンスを示す。
　ここでは、実施例１のＷｒｉｔｅシーケンスとの相違点について説明する。特に言及されない処理は、実施例１のＷｒｉｔｅシーケンス内の処理と同様である。この図では、ノード間Ｉ／Ｆ２２３による投機的な転送開始をわかり易くするために、プロセッサ＃１とノード間Ｉ／Ｆ２２３を区別して図示しているが、本実施例のストレージ装置１の物理構成は実施例１と同様である。ただし、ホストＩ／Ｆ２２１とノード間Ｉ／Ｆ２２３は、プロセッサ２２４から設定されたパラメータに従って、保証コードを付与、チェックする機能を有する。また前述の通り、ホストＩ／Ｆ２２１やノード間Ｉ／Ｆ２２３はプロセッサ２２４上で動作する制御ソフトウェアの一部であってもよい。その場合、実施例４は、実施例３における監視対象を全ての保証コードの領域に設定した例、と考えることもできる。
　この図では、Ｗｒｉｔｅ要求を受領したプロセッサ＃１が、ホストＩ／Ｆ２２１に、ＸＦＥＲ＿ＲＤＹを通知すると共に、受領するデータに保証コードを付与することを依頼する（２０１５）。保証コードは、意図に反したデータ変更を検出するためのコードであり、例えばＣＲＣ（Cyclic Redundancy Check）などの誤り検出符号であってもよいし、ユーザーにより定義される任意のＤＩＦ（Data Integrity Field）であっても良いし、これらのような複数種類の保証コードを含んでも良い。プロセッサ＃１は、コントローラ＃１からコントローラ＃２への投機転送のための投機転送パラメータを、ノード間Ｉ／Ｆ２２３に通知する（ＤＭＡ設定、２１０７）。投機転送パラメータは、ＸＦＥＲ＿ＲＤＹに応じて受領されるデータが格納される転送バッファ領域４４上の転送元のアドレスと、コントローラ＃２のキャッシュ領域４３上の転送先のアドレスと、保証コードを決定する情報とを含む。ＸＦＥＲ＿ＲＤＹを受領したホストコンピュータ１００は、データをホストＩ／Ｆ２２１に転送する（２１０８）。ホストＩ／Ｆ２２１は受領するデータに保証コードを付与して転送バッファ領域４４に格納する。
　一方で、プロセッサ＃１は、ＸＦＥＲ＿ＲＤＹをホストＩ／Ｆ２２１へ通知した後に、コントローラ間転送と保証コードに関する投機転送パラメータをノード間Ｉ／Ｆ２２３に通知する（２１０７）。この例におけるコントローラ間転送は、コントローラ＃１の転送バッファ領域４４からコントローラ＃２のキャッシュ領域４３へのＤＭＡ転送である。投機転送パラメータを受領したノード間Ｉ／Ｆ２２３は、プロセッサ＃１がホストＩ／Ｆ２２１からの完了通知（２１１３）を受信する前に、投機転送パラメータに従って、コントローラ＃１の転送バッファ領域４４からコントローラ＃２のキャッシュ領域４３へのコントローラ間転送を開始する（２１１０）。その際、ノード間Ｉ／Ｆ２２３は、保証コードの期待値と、転送バッファ領域４４から読み出したデータに付与された保証コードとを比較する。これが一致すれば、ノード間Ｉ／Ｆ２２３は、投機転送成功と判断し、コントローラ＃２のメモリ４内の制御データ領域４２を通じて転送成功をプロセッサ＃２に通知する（２１１１）。これが一致しなければ、ノード間Ｉ／Ｆ２２３は、データが未だ転送バッファ領域４４上に転送されていないと判断し、転送を中断する（２１１２）。この図では、転送を中断する例を示しているが、中断しなくてもよい。すなわちノード間Ｉ／Ｆ２２３は、コントローラ間転送と、保証コードのチェック及びチェック結果の通知とを、非同期に実施することで、ノード間Ｉ／Ｆ２２３の処理負荷を削減することも可能である。その後、ノード間Ｉ／Ｆ２２３は、転送パラメータに従って、中断された転送を再試行する（２１１３）。ノード間Ｉ／Ｆ２２３は、制御データ領域４２に、コントローラ間転送の状態であるデータ転送状態を書き込む。
　ホストＩ／Ｆ２２１が要求データ長の全データを転送バッファ領域４４に転送完了したことをプロセッサ＃１に通知すると（２１１４）、プロセッサ＃１は、制御データ領域４２内のデータ転送状態を参照する。データ転送状態に基づいて未転送のデータがあれば、プロセッサ＃１は、未転送のデータのコントローラ間転送を実施する。転送先のコントローラ＃２は、データ転送状態に基づいて全データを受け取ったら受領完了を通知し（２１１５）、それを受け取ったコントローラ＃１は、ホストＩ／Ｆ２２１を介して（２１１６）、ホストコンピュータ１００にＷｒｉｔｅ完了を通知する（２１１７）。
　図２２は、実施例４のプロセッサ＃１のＷｒｉｔｅ処理を示す。
　この図は、プロセッサ＃１がＷｒｉｔｅ要求を受領した場合の、プロセッサ＃１の制御フローの一例を示す。プロセッサ＃１は、Ｗｒｉｔｅ要求を受領すると（Ｓ２２０１）、コントローラ＃２にキャッシュ領域４３の確保を依頼すると共に、受領するＷｒｉｔｅデータに対する保証コードを決定する（Ｓ２２０２）。プロセッサ＃１は、投機転送パラメータを決定する投機転送決定処理を実行する（Ｓ２２０３）。プロセッサ＃１は、コントローラ＃２から受領準備完了通知を受領すると（Ｓ２２０４）、ホストＩ／Ｆ２２１に対し、ＸＦＥＲ＿ＲＤＹを通知すると共に保証コード付与を設定し（Ｓ２２０５）、ノード間Ｉ／Ｆ２２３に対し、投機転送パラメータを通知することで投機転送を設定する（Ｓ２２０６）。その後、プロセッサ＃１は、ホストＩ／Ｆ２２１から全データ受領の完了通知を受けるまで待機する（Ｓ２２０７）。プロセッサ＃１は、その完了通知を受けた後に、データ転送状態を参照することで（Ｓ２２０８）、投機転送の正常性を確認する（Ｓ２２０９）。この転送正常確認は、ノード間Ｉ／Ｆ２２３による保証コードの一致確認だけであってもよいし、転送先であるコントローラ＃２からの受領完了通知の受領を正常転送完了としてもよい。要求データ長の全データが正常転送済みであれば（Ｓ２２１１：Ｙ）、プロセッサ＃１は、コントローラ＃２からの受領完了通知を待つ（Ｓ２２１２）。まだ未転送のデータがあれば（Ｓ２２１１：Ｎ）、プロセッサ＃１は、未転送データのみの転送をノード間Ｉ／Ｆ２２３に要求する（Ｓ２２１０）。ここで未転送のデータは、異常により転送を中断したデータを含む。プロセッサ＃１は、コントローラ＃２から、要求データ長の全データの受領完了通知を受け取ったら、ホストＩ／Ｆ２２１を介してホストコンピュータ１００に、Ｗｒｉｔｅ要求に対する完了ステータスを通知する（Ｓ２２１３）。
　図２３は、実施例４の投機転送パラメータとデータ転送状態管理テーブルの一例を示す。
　制御データ領域４２には、ノード間Ｉ／Ｆ２２３がコントローラ間の投機転送を実行するための投機転送パラメータ２３０１と、プロセッサ＃１がホストＩ／Ｆ２２１から受領完了通知を受け取った際にコントローラ間転送で未転送のデータを判別するために、投機転送のデータ転送状態を示すデータ転送状態管理テーブル２３０２が格納される。投機転送パラメータ２３０１は、Ｉ／Ｏ要求毎に、要求ＩＤと、保証コード情報と、投機転送開始契機と、再送回数とを示す。要求ＩＤは、Ｉ／Ｏ要求を示す識別子である。保証コード情報は、保証コード期待値もしくは算出アルゴリズムを示す。投機転送開始契機は、投機転送を開始するための契機を示し、ノード間Ｉ／Ｆ２２３が投機転送を設定されてから転送を開始するまでのＷａｉｔ時間などを示す。再送回数は、保証コード不一致を検出した際のデータ転送の再送回数（後述）を示す。データ転送状態管理テーブル２３０２は、Ｉ／Ｏ要求毎に、要求ＩＤと、データ領域と、投機転送済情報と、他ＣＬ完了通知済情報とを含む。要求ＩＤは、Ｉ／Ｏ要求を示す識別子である。データ領域は、データ転送を行うアドレス領域を示す。投機転送済情報は、投機転送済みのデータのアドレスを示す。他ＣＬ完了通知済情報は、転送先コントローラから転送完了通知受信済みのデータのアドレスを示す。
　図２４は、実施例４のＷｒｉｔｅ処理時のコントローラ＃１のノード間Ｉ／Ｆ２２３の投機転送処理を示す。
　この図は、コントローラ＃１において、Ｗｒｉｔｅ処理時にプロセッサ＃１から投機転送パラメータを受領したノード間Ｉ／Ｆ２２３の動作を示す。ノード間Ｉ／Ｆ２２３は、投機転送パラメータを受領した後（Ｓ２４０１）、設定された投機転送開始契機の発生を検出すると、設定された転送元の転送バッファ領域４４のアドレスからデータを読み出す（Ｓ２４０２）。例えば、ノード間Ｉ／Ｆ２２３は、タイマーにより、投機転送パラメータを受領してから、それに含まれるＷａｉｔ時間が経過したことを検出することで、投機転送開始契機の発生を検出する。このとき、ノード間Ｉ／Ｆ２２３は、読み出したデータに付与された保証コードと、設定された保証コード期待値とを比較する（Ｓ２４０３）。比較結果が一致すれば（Ｓ２４０４：Ｙ）、ノード間Ｉ／Ｆ２２３は、指定された転送先のキャッシュ領域４３のアドレスにデータを転送し、データ転送状態管理テーブル２３０２にデータが正常に転送済みであることを示す情報を記録する（Ｓ２４０５）。比較結果が一致しなければ（Ｓ２４０４：Ｎ）、ノード間Ｉ／Ｆ２２３は、設定に従って再転送を試みる（Ｓ２４０７）。この例においてノード間Ｉ／Ｆ２２３は、保証コード不一致回数が再送回数以下であれば、再転送を試みる。ノード間Ｉ／Ｆ２２３は、再転送を行うか否かについて、データ転送の進捗（要求データ長の内初めの方か、終わりの方かなど）に応じて判断しても良いし、保証コードのうち期待値と不一致したフィールド（ＣＲＣ部か、ユーザー設定タグ部かなど）に応じて判断しても良いし、先行する転送に対して転送先から受領完了通知を受けているか否かに応じて判断しても良い。例えば、ノード間Ｉ／Ｆ２２３は、不一致箇所が要求データ長の最後の所定の範囲内であれば、すぐに再送し、不一致箇所が要求データ長の最初の所定の範囲内であれば、所定時間待ってから再送する、もしくは再送しない。ノード間Ｉ／Ｆ２２３は、要求データ長の全データの転送が完了するまで上記（Ｓ２４０２からＳ２４０５、Ｓ２４０７）を繰り返す（Ｓ２４０６）。
　保証コードの不一致の発生回数が再送回数を超えた場合、ノード間Ｉ／Ｆ２２３は転送を中断する。その後、プロセッサ＃１は、未転送のデータの転送要求をノード間Ｉ／Ｆ２２３へ発行し（Ｓ２２１０）、投機転送処理の異常が発生すると、プロセッサ＃１は、異常をホストコンピュータ１００へ通知する。
　また、本実施例は他の実施例と組み合わせて実施されても良い。すなわち、ノード間Ｉ／Ｆ２２３の初回の転送開始契機（Ｓ２４０２）を、他の実施例にて示した手法を用いてノード間Ｉ／Ｆ２２３に通知し、その後、ノード間Ｉ／Ｆ２２３は保証コードをチェックしながら転送を行っても良い。こうすることで、転送開始契機を正確することができるのでノード間Ｉ／Ｆ２２３の処理負荷は削減しつつ、その後の部分完了通知やメモリ監視に対するプロセッサ２２４の処理負荷を削減することができる。特に実施例３においては、ＸＦＥＲ＿ＲＤＹで要求された一連のデータは、先頭のデータブロックから順番に転送されることを想定したため、本実施例と組み合わせることで、仮に転送順序が乱れた場合でも、途中までのデータ転送の完了を検出することが可能になる。
　図２５は、実施例４のＲｅａｄシーケンスを示す。
　ここでは、実施例１のＲｅａｄシーケンスとの相違点について説明する。特に言及されない処理は、実施例１のＲｅａｄシーケンス内の処理と同様である。ここでは、ノード間Ｉ／Ｆ２２３による投機手的な転送をわかり易くするために、プロセッサ２２４とノード間Ｉ／Ｆ２２３を区別して図示しているが、本実施例のストレージ装置１の物理構成は実施例１と同様である。
　プロセッサ＃２は、プロセッサ＃１からＲｅａｄ要求を受領すると（２５０１、２５０２）、ドライブＩ／Ｆ２２２にＲｅａｄ要求を発行（２５０３）し、コントローラ＃２からコントローラ＃１への投機転送のための投機転送パラメータを、ノード間Ｉ／Ｆ２２３に通知する（ＤＭＡ設定、２５０５）。記憶メディア２１１は、ドライブＩ／Ｆ２２２からの要求に基づいて読み出すデータに保証コードが付与されている場合、その保証コードの期待値をノード間Ｉ／Ｆ２２３に通知する。記憶メディア２１１は、ドライブＩ／Ｆ２２２からの要求に基づいて読み出すデータに保証コードが付与されていない、もしくは、ドライブＩ／Ｆ２２２による保証コード付け替えを行う場合、ドライブＩ／Ｆ２２２にも保証コード期待値を通知する。ドライブＩ／Ｆ２２２からキャッシュ領域４３へのデータ転送とは独立に、ノード間Ｉ／Ｆ２２３は投機転送パラメータに従って、コントローラ＃２のキャッシュ領域４３からコントローラ＃１の転送バッファ領域４４への投機転送を開始する（２５０８）。その際、ノード間Ｉ／Ｆ２２３は、キャッシュ領域４３上のデータに付与された保証コードと、指定された保証コード期待値とを比較する。保証コードが一致したら正常転送完了を通知（２５０９）し、不一致を検出したら転送を中断する（２５１０）。ノード間Ｉ／Ｆ２２３は、投機転送を正常に完了すると、コントローラ間転送完了通知をプロセッサ＃１へ発行する（２５０９）。この通知を受けたプロセッサ＃１は、転送バッファ領域４４に転送されたデータを、ホストＩ／Ｆ２２１を介してホストコンピュータ１００へ転送する（２５１２）。このとき、コントローラ＃１からホストコンピュータ１００へのデータ転送も、ホストＩ／Ｆ２２１による保証コードチェックを行うことで、投機的に行っても良い。
　実施例４のプロセッサ＃２のＲｅａｄ処理は、実施例１のプロセッサ＃２のＲｅａｄ処理と、実施例４のプロセッサ＃１のＷｒｉｔｅ処理との組み合わせにより実現される。また、Ｒｅａｄ処理時のコントローラ＃２のノード間Ｉ／Ｆ２２３の投機転送処理は、Ｗｒｉｔｅ処理時のコントローラ＃１のノード間Ｉ／Ｆ２２３の投機転送処理と同様であるが、転送元がコントローラ＃２のキャッシュ領域４３になり、転送先がコントローラ＃１の転送バッファ領域４４になる。
　本実施例によれば、ストレージ装置１において、ホストコンピュータ１００や記憶メディア２１１からメモリ４への第一データ転送中に保証コードを付与し、二つのコントローラ２２のメモリ４間の第二データ転送を投機的に行いつつ、保証コードの一致をチェックすることで、第一データ転送が完了する前に第二データ転送を開始可能になるため、応答性能が向上する。さらに、Ｒｅａｄ処理時、転送先のメモリ４からホストコンピュータ１００への第三データ転送中にも保証コードの一致を確認することで、第二データ転送が完了する前に、第三データ転送を開始することができる。これら、第一、第二、第三データ転送をパイプライン化することで、応答性能が向上する。更に、本実施例によれば、プロセッサ２２４が投機的な転送の実行間隔をバスの帯域比率やデータ転送長やプロセッサ負荷などに応じて制御することで、応答性能向上効果を高めることができる。また、ノード間Ｉ／Ｆ２２３が、保証コード不一致検出時の再送判断を、保証コード内で不一致が検出された部分や、要求データ長のデータのうち、不一致が検出された部分のオフセットに応じて制御することで、効果を高めることができる。
　本発明の一態様の表現について説明する。第一転送要求がＷｒｉｔｅ要求で、第一プロセッサがプロセッサ＃１で、第一デバイスがホストコンピュータ１００で、第二デバイスがコントローラ＃２のメモリ４であってもよい。第一転送要求がＷｒｉｔｅ要求で、第一プロセッサがプロセッサ＃１で、第一デバイスがホストコンピュータ１００で、第二デバイスがコントローラ＃１に接続された記憶メディア２１１であってもよい。第一転送要求がＲｅａｄ要求で、第一プロセッサがプロセッサ＃２で、第一デバイスがコントローラ＃２に接続された記憶メディア２１１で、第二デバイスがコントローラ＃１内のメモリ４であってもよい。第一転送要求がＲｅａｄ要求で、第一プロセッサがプロセッサ＃１で、第一デバイスがコントローラ＃２内のメモリ４で、第二デバイスがホストコンピュータ１００であってもよい。第一転送要求がＲｅａｄ要求で、第一プロセッサがプロセッサ＃１で、第一デバイスがコントローラ＃１に接続された記憶メディア２１１で、第二デバイスがホストコンピュータ１００であってもよい。
　第一転送デバイス及び第二転送デバイスは、ホストＩ／Ｆ２２１、ドライブＩ／Ｆ２２２、ノード間Ｉ／Ｆ２２３、プロセッサ２２４、コントローラ２２内のＤＭＡコントローラ等であってもよい。
　第一部分完了条件は、コントローラ＃１のホストＩ／Ｆ２２１が部分完了通知間隔のデータ長の転送の完了を、プロセッサ＃１へ通知することであってもよいし、コントローラ＃１のホストＩ／Ｆ２２１が部分完了通知間隔のデータ長の転送を示すＸＦＥＲ＿ＲＤＹに対する転送の完了を、プロセッサ＃１へ通知することであってもよいし、プロセッサ＃１が監視アドレスのデータの変更を検出することであってもよいし、コントローラ＃１のノード間Ｉ／Ｆ２２３が投機転送開始契機の発生を検出することであってもよい。第一データ転送指示及び第一部分データ転送指示が、ＸＦＥＲ＿ＲＤＹであってもよい。開始タイミングが、投機転送開始契機であってもよい。
　第二メモリがコントローラ＃２のメモリ４で、第二プロセッサがプロセッサ＃２で、記憶デバイスがコントローラ＃２に接続されている記憶メディア２１１であってもよい。第二転送要求が、プロセッサ＃１からプロセッサ＃２へのＲｅａｄ要求であってもよい。
　第二部分完了条件は、コントローラ＃２のドライブＩ／Ｆ２２２が部分完了通知間隔のデータ長の転送の完了を、プロセッサ＃２へ通知することであってもよいし、コントローラ＃２のドライブＩ／Ｆ２２２が部分完了通知間隔のデータ長の転送を示すＲｅａｄ要求に対する転送の完了を、プロセッサ＃２へ通知することであってもよいし、プロセッサ＃２が監視アドレスのデータの変更を検出することであってもよいし、コントローラ＃２のノード間Ｉ／Ｆ２２３が投機転送開始契機の発生を検出することであってもよい。
　以上、本発明の実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲を上記構成に限定する趣旨ではない。本発明は、他の種々の形態でも実施する事が可能である。
　１…ストレージ装置、　２…ストレージノード、　３…内部ネットワーク、　４…メモリ、　２１…ドライブ筐体、　２２…コントローラ、　１００…ホストコンピュータ、　２１１…記憶メディア、　２２４…プロセッサ、　２２１…ホストＩ／Ｆ、　２２２…ドライブＩ／Ｆ、　２２３…ノード間Ｉ／Ｆ

Claims (15)

  1. 　第一メモリと、
    　前記第一メモリ、第一デバイス、及び第二デバイスに接続される第一プロセッサと、
    を備え、
    　前記第一プロセッサは、前記第一デバイスに格納されている第一データを、前記第二デバイスへ転送することを要求する第一転送要求を受領し、
    　前記第一プロセッサは、前記第一転送要求に基づいて、前記第一データを前記第一デバイスから前記第一メモリへ転送する第一データ転送において、前記第一データの一部である第一部分データの転送の完了のタイミングを示す第一部分完了条件を決定し、
    　前記第一プロセッサは、前記第一データ転送を開始させ、
    　前記第一プロセッサは、前記第一部分完了条件に基づいて、前記第一データ転送の完了前に、前記第一データを前記第一メモリから前記第二デバイスへ転送する第二データ転送を開始させる、
    ストレージ装置。
  2. 　前記第一転送要求は、前記第一データの長さである第一データ長を含み、
    　前記第一プロセッサは、前記第一データ長に基づいて、前記第一部分データの長さである第一部分データ長を決定し、前記第一部分データ長に基づいて前記第一部分完了条件を決定する、
    請求項１に記載のストレージ装置。
  3. 　前記第一デバイス、前記第一メモリ、及び前記第一プロセッサに接続される第一転送デバイスと、
    　前記第二デバイス、前記第一メモリ、及び前記第一プロセッサに接続される第二転送デバイスと、
    を更に含み、
    　前記第一転送デバイスは、前記第一プロセッサからの指示に基づいて、前記第一データ転送を実行し、
    　前記第二転送デバイスは、前記第一部分完了条件の成立に応じて、前記第二データ転送を実行する、
    請求項２に記載のストレージ装置。
  4. 　前記第一デバイスは、ホストコンピュータであり、
    　前記第一転送要求は、前記ホストコンピュータに格納されている前記第一データを前記ストレージ装置へ書き込むことを要求するライト要求である、
    請求項３に記載のストレージ装置。
  5. 　前記第二デバイスである第二メモリと、
    　記憶デバイスと、
    　前記第一メモリ、前記第一プロセッサ、前記第二メモリ、及び前記記憶デバイスに接続される第二プロセッサと、
    を更に備え、
    　前記第一プロセッサは、前記ホストコンピュータから、前記ストレージ装置に格納されているデータを前記ホストコンピュータへ読み出すことを要求するリード要求を受領し、
    　前記第一プロセッサは、前記リード要求に応じて、前記ストレージ装置に格納されている第二データを前記第一メモリへ転送することを要求する第二転送要求を、前記第二プロセッサへ発行し、
    　前記第二プロセッサは、前記第二転送要求に基づいて、前記第二データを前記記憶デバイスから前記第二メモリへ転送する第三データ転送において、前記第二データの一部である第二部分データの転送の完了のタイミングを示す第二部分完了条件を決定し、
    　前記第二プロセッサは、前記第二データ転送を開始させ、
    　前記第二プロセッサは、前記第二部分完了条件に基づいて、前記第三データ転送の完了前に、前記第二データを前記第二メモリから前記第一メモリへ転送する第四データ転送を開始させる、
    請求項４に記載のストレージ装置。
  6. 　前記第一プロセッサは、前記第二部分データが前記第一メモリへ転送されたことを認識し、前記第四データ転送の完了前に、前記第二部分データを前記第一メモリから前記ホストコンピュータへ転送する第五データ転送を開始させる、
    請求項５に記載のストレージ装置。
  7. 　前記第一プロセッサは、前記第一部分データ長を前記第一転送デバイスへ通知し、
    　前記第一転送デバイスは、前記第一部分データ長に基づいて、前記第一部分データを前記第一デバイスから前記第一メモリへ転送し、前記第一部分データの転送の完了を示す第一部分完了通知を前記第一プロセッサへ発行し、
    　前記第一プロセッサは、前記第一部分完了通知に応じて、前記第一部分データを前記第一メモリから前記第二デバイスへ転送することを、前記第二転送デバイスに指示する、
    請求項３に記載のストレージ装置。
  8. 　前記第一プロセッサは、前記第一データ長の転送を指示する第一データ転送指示であって前記第一部分データ長を含む前記第一データ転送指示を、前記第一転送デバイスへ発行し、
    　前記第一転送デバイスは、前記第一データ転送指示に基づいて、前記第一データを前記第一デバイスから前記第一メモリへ転送し、前記第一データ転送により転送されたデータ長が前記第一部分データ長に達した場合、前記第一部分完了通知を前記第一プロセッサへ発行する、
    請求項７に記載のストレージ装置。
  9. 　前記第一プロセッサは、前記第一部分データ長の転送を指示する第一部分データ転送指示と、前記第一データのうち前記第一部分データより後の第二部分データの転送を指示する第二部分データ転送指示とを、前記第一転送デバイスへ発行し、
    　前記第一転送デバイスは、前記第一部分データ転送指示に基づいて、前記第一部分データを前記第一デバイスから前記第一メモリへ転送し、前記第一部分データの転送が完了したした場合、前記第一部分完了通知を前記第一プロセッサへ発行し、前記第二部分データ転送指示に基づいて、前記第二部分データを前記第一デバイスから前記第一メモリへ転送する、
    請求項７に記載のストレージ装置。
  10. 　前記第一プロセッサは、前記第一メモリ内で前記第一部分データの転送先のアドレスである監視アドレスを決定し、
    　前記第一プロセッサは、前記第一転送デバイスへ前記第一データ転送の指示を発行し、前記監視アドレスを監視し、
    　前記第一プロセッサは、前記監視アドレスの監視に基づいて、前記第一デバイスから前記第一メモリへの前記第一部分データの転送の完了を検出した場合、前記第一部分データを前記第一メモリから前記第二デバイスへ転送することを、前記第二転送デバイスに指示する、
    請求項３に記載のストレージ装置。
  11. 　前記第一プロセッサは、前記第一メモリから前記第一データ転送の転送先の領域を割り当て、前記転送先の領域のアクセス負荷よりが低いアクセス負荷を有する領域を前記監視アドレスに割り当てる、
    請求項１０に記載のストレージ装置。
  12. 　前記第一プロセッサは、前記第一部分データ長に基づいて、前記第一部分データを前記第一メモリから前記第二デバイスへ転送を開始する開始タイミングを決定し、
    　前記第一プロセッサは、前記開始タイミングを前記第二転送デバイスへ通知し、
    　前記第一転送デバイスは、前記第一部分データを前記第一デバイスから前記第一メモリへ転送すると共に、保証コードを前記第一メモリへ書き込み、
    　前記第二転送デバイスは、前記開始タイミングに応じて、前記第一メモリから前記保証コードを読み出し、前記保証コードが正常である場合、前記第一部分データを前記第一メモリから前記第二デバイスへ転送する、
    請求項３に記載のストレージ装置。
  13. 　前記第一プロセッサは、前記第一データ転送の転送帯域と、前記第二データ転送の転送帯域と、前記第一プロセッサの負荷と、前記第一データ転送において前記第一部分データの転送の完了を認識することによる負荷の増加量と、過去の第一部分データ長と、前記ホストコンピュータに対する過去の応答時間との少なくとも一つに基づいて、前記第一部分データ長を決定する、
    請求項２に記載のストレージ装置。
  14. 　前記第一プロセッサは、前記第一データのうち前記第一部分データより後の第二部分データの長さである第二部分データ長を決定し、
    　前記第二部分データ長は、前記第一部分データ長と異なる、
    請求項２に記載のストレージ装置。
  15. 　ストレージ装置の制御方法であって、
    　第一プロセッサを用いて、第一デバイスに格納されている第一データを、第二デバイスへ転送することを要求する第一転送要求を受領し、
    　前記第一プロセッサを用いて、前記第一転送要求に基づいて、前記第一データを前記第一デバイスから第一メモリへ転送する第一データ転送において、前記第一データの一部である第一部分データの転送の完了のタイミングを示す第一部分完了条件を決定し、
    　前記第一プロセッサを用いて、前記第一データ転送を開始させ、
    　前記第一プロセッサを用いて、前記第一部分完了条件に基づいて、前記第一データ転送の完了前に、前記第一データを前記第一メモリから前記第二デバイスへ転送する第二データ転送を開始させる、
    制御方法。
PCT/JP2015/077693 2015-09-30 2015-09-30 ストレージ装置およびストレージ装置の制御方法 WO2017056219A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077693 WO2017056219A1 (ja) 2015-09-30 2015-09-30 ストレージ装置およびストレージ装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077693 WO2017056219A1 (ja) 2015-09-30 2015-09-30 ストレージ装置およびストレージ装置の制御方法

Publications (1)

Publication Number Publication Date
WO2017056219A1 true WO2017056219A1 (ja) 2017-04-06

Family

ID=58422891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077693 WO2017056219A1 (ja) 2015-09-30 2015-09-30 ストレージ装置およびストレージ装置の制御方法

Country Status (1)

Country Link
WO (1) WO2017056219A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019174994A (ja) * 2018-03-27 2019-10-10 株式会社日立製作所 ストレージシステム及びその制御方法
JP2020077248A (ja) * 2018-11-08 2020-05-21 株式会社日立製作所 ストレージシステム、データ管理方法、及びデータ管理プログラム
JP2021039771A (ja) * 2020-11-06 2021-03-11 株式会社日立製作所 ストレージシステム及びその制御方法
JP2022010181A (ja) * 2018-11-08 2022-01-14 株式会社日立製作所 ストレージシステム、データ管理方法、及びデータ管理プログラム
US20220137882A1 (en) * 2016-12-01 2022-05-05 Micron Technology, Inc. Memory protocol

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338306A (ja) * 2005-06-01 2006-12-14 Fuji Electric Holdings Co Ltd 非接触ｉｃチップを利用した大量データ転送システムおよび方法
JP2009289085A (ja) * 2008-05-29 2009-12-10 Media Logic Corp 情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338306A (ja) * 2005-06-01 2006-12-14 Fuji Electric Holdings Co Ltd 非接触ｉｃチップを利用した大量データ転送システムおよび方法
JP2009289085A (ja) * 2008-05-29 2009-12-10 Media Logic Corp 情報処理システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220137882A1 (en) * 2016-12-01 2022-05-05 Micron Technology, Inc. Memory protocol
JP2019174994A (ja) * 2018-03-27 2019-10-10 株式会社日立製作所 ストレージシステム及びその制御方法
US11294578B2 (en) 2018-03-27 2022-04-05 Hitachi, Ltd. Storage system and control method thereof
JP2020077248A (ja) * 2018-11-08 2020-05-21 株式会社日立製作所 ストレージシステム、データ管理方法、及びデータ管理プログラム
US10936518B2 (en) 2018-11-08 2021-03-02 Hitachi, Ltd. Storage system, data management method, and data management program
JP2022010181A (ja) * 2018-11-08 2022-01-14 株式会社日立製作所 ストレージシステム、データ管理方法、及びデータ管理プログラム
US11334508B2 (en) 2018-11-08 2022-05-17 Hitachi, Ltd. Storage system, data management method, and data management program
JP7201775B2 (ja) 2018-11-08 2023-01-10 株式会社日立製作所 ストレージシステム、データ管理方法、及びデータ管理プログラム
JP2021039771A (ja) * 2020-11-06 2021-03-11 株式会社日立製作所 ストレージシステム及びその制御方法
JP7065928B2 (ja) 2020-11-06 2022-05-12 株式会社日立製作所 ストレージシステム及びその制御方法

Similar Documents

Publication Publication Date Title
US10778765B2 (en) Bid/ask protocol in scale-out NVMe storage
US10896086B2 (en) Maximizing use of storage in a data replication environment
WO2017056219A1 (ja) ストレージ装置およびストレージ装置の制御方法
JP6186787B2 (ja) データ転送装置、データ転送システム、データ転送方法及びプログラム
US9461944B2 (en) Dynamic resource allocation for distributed cluster-storage network
JP2007041720A (ja) ジョブステップ実行プログラムおよびジョブステップ実行方法
US10545791B2 (en) Methods to apply IOPS and MBPS limits independently using cross charging and global cost synchronization
WO2020087927A1 (zh) 一种内存数据迁移的方法及装置
WO2016166844A1 (ja) 分散処理システム、タスク処理方法、記憶媒体
JP6468499B2 (ja) 分散コンピューティングアーキテクチャ
US10331581B2 (en) Virtual channel and resource assignment
JP6160236B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法及び情報処理装置の制御プログラム
WO2015145598A1 (ja) 並列演算処理システムのデータ配分装置、データ配分方法、及びデータ配分プログラム
JP5158576B2 (ja) 入出力制御システム、入出力制御方法、及び、入出力制御プログラム
Shu et al. Disaggregated RAID storage in modern datacenters
US11442959B2 (en) System and method of time-based snapshot synchronization
US10846094B2 (en) Method and system for managing data access in storage system
US20170123657A1 (en) Systems and methods for back up in scale-out storage area network
US10067889B2 (en) Bridge and method for coupling a requesting interconnect and a serving interconnect in a computer system
US20160034185A1 (en) Host-based device driver splitting of input/out for redundant array of independent disks systems
JP2010231295A (ja) 解析システム
US7930438B2 (en) Interrogate processing for complex I/O link
US20130132692A1 (en) Storage devices and storage systems
JPWO2018173300A1 (ja) Ｉ／ｏ制御方法およびｉ／ｏ制御システム
US20230185632A1 (en) Management system, data rebalancing management method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15905373

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15905373

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP