WO2017056220A1 - 計算機システム、コマンド転送方法、及び、転送デバイス - Google Patents

計算機システム、コマンド転送方法、及び、転送デバイス Download PDF

Info

Publication number
WO2017056220A1
WO2017056220A1 PCT/JP2015/077694 JP2015077694W WO2017056220A1 WO 2017056220 A1 WO2017056220 A1 WO 2017056220A1 JP 2015077694 W JP2015077694 W JP 2015077694W WO 2017056220 A1 WO2017056220 A1 WO 2017056220A1
Authority
WO
WIPO (PCT)
Prior art keywords
protocol
command
queue
nvme
fcp
Prior art date
Application number
PCT/JP2015/077694
Other languages
English (en)
French (fr)
Inventor
威雄 吉川
雄策 清田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2015/077694 priority Critical patent/WO2017056220A1/ja
Publication of WO2017056220A1 publication Critical patent/WO2017056220A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices

Definitions

  • the present invention generally relates to command transfer, for example, command transfer between node devices.
  • Fiber Channel Protocol is known as a protocol used for Storage Area Network (SAN).
  • NVMe NVM Express
  • SATA Serial Advanced Technology Attachment
  • HDD Hard Disk Drive
  • NVMe non-supporting function which is a function not supported by NVMe, may be supported by FCP (an example of another protocol that supports NVMe non-supporting function). Therefore, for example, a PCI Express (PCIe) bus card that can use FCP and a PCIe bus card that can use NVMe are mounted on the server device.
  • PCIe PCI Express
  • This configuration uses two bus slots of the server device. Since the server device occupies one bus slot for FCP, the bandwidth of the bus slot cannot be used for I / O in the NVMe protocol.
  • hardware conforming to the NVMe standard can be controlled by a standard driver provided by the OS vendor. If hardware that conforms to the NVMe standard is developed, it is not necessary to develop device driver software, but it is difficult to expand functions that are not defined in the NVMe standard.
  • any of the protocols including NVMe and FCP can be used for command transfer (from one node device to the other node device). It may be possible to use a transfer device that performs command transfer. However, if any of a plurality of protocols can be used in command transfer, it is considered that at least one of processing and configuration is more complicated than using only one protocol, and therefore, a decrease in throughput is a concern. Is done.
  • FCP is an example of the first protocol
  • NVMe is an example of the second protocol.
  • the above problem can also be caused by a protocol other than at least one of NVMe and FCP.
  • a transfer device for transferring commands between node devices is common to a plurality of processor cores, two or more first protocol queues respectively associated with two or more of the plurality of processor cores, and a plurality of processor cores. And a second protocol queue.
  • Each of the two or more first protocol queues is a queue of first protocol command information that is information including at least one of the first protocol command and meta information of the first protocol command.
  • the second protocol queue is a queue of second protocol command information that is information including at least one of the second protocol command and meta information of the second protocol command.
  • Each of the two or more processor cores acquires the first protocol command information from the first protocol queue associated with the processor core, and is included in the acquired information or in the meta information in the acquired information.
  • the processor core that has acquired the second protocol command information from the second protocol queue initiates transfer of the second protocol command included in the acquired information or associated with the meta information in the acquired information.
  • the first protocol command is a command according to the first protocol.
  • the second protocol command is a command according to the second protocol.
  • the second protocol is a protocol different from the first protocol, and supports an I / O command and one or more types of special commands (for example, Admin command in the NVMe standard).
  • One or more types of special commands are one or more types of commands different from I / O commands, and include high-load special commands that require more processing for transfer than I / O commands.
  • a queue is prepared for each of two or more processor cores, but the second protocol that supports special commands that require a lot of processing for transfer is common to a plurality of processor cores.
  • a queue is prepared. Thereby, it is possible to avoid a decrease in transfer throughput of other second protocol commands due to the processor core to which such special commands are allocated.
  • 2 shows a configuration example of a server device and a storage device in a computer system related to Example 1.
  • 2 shows a configuration example of an interface device according to the first embodiment. An example of the device mode of an interface device is shown. A part of an example of the flow of communication between a server apparatus and a storage apparatus is shown. The remainder of an example of the flow of communication between a server apparatus and a storage apparatus is shown.
  • summary of the queue control which concerns on Example 1 is shown.
  • summary of the FCP queue control which concerns on Example 1 is shown.
  • summary of NVMe queue control which concerns on Example 1 is shown.
  • summary of the FCP queue control which concerns on Example 2 is shown. An example of the outline of NVMe queue control concerning a modification is shown.
  • 2 shows an example of the configuration of a computer system related to Example 1.
  • the process may be described with “program” as the subject, but the program is executed by a processor (for example, CPU (Central Processing Unit)), so that the determined processing is appropriately performed. Since the processing is performed using a storage unit (for example, a memory) and / or an interface device (for example, a communication port), the subject of processing may be a processor.
  • the processing described with the program as the subject may be processing performed by a processor or an apparatus or system having the processor.
  • the processor may include a hardware circuit that performs a part or all of the processing.
  • the program may be installed in a computer-like device from a program source.
  • the program source may be, for example, a storage medium that can be read by a program distribution server or a computer.
  • the program distribution server may include a processor (for example, a CPU) and a storage unit, and the storage unit may further store a distribution program and a program to be distributed. Then, the processor of the program distribution server executes the distribution program, so that the processor of the program distribution server may distribute the distribution target program to other computers.
  • a processor for example, a CPU
  • the storage unit may further store a distribution program and a program to be distributed. Then, the processor of the program distribution server executes the distribution program, so that the processor of the program distribution server may distribute the distribution target program to other computers.
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • NVM-Express Non-Volatile Memory
  • PCI-Express Peripheral Component Interconnect Express: It is also applicable to successor standards (abbreviated as PCIe). If terms related to NVMe or PCIe are used, they should also be considered to indicate equivalent terms in the successor standards.
  • the embodiment is described for NVMe targeting the current Block access. However, if access in byte or word units is defined by the NVMe standard, this embodiment can also be applied to those accesses. Needless to say.
  • nonvolatile memory devices using flash memory
  • nonvolatile memories other than flash memory such as FeRAM (Ferroelectric Random Access Memory), MRAM (Magnetoresistive Random Access Memory), phase change memory (Ovonic Unified Memory), non-volatile memory devices using RRAM (registered trademark, Resistance RAM) may be applied.
  • FeRAM Feroelectric Random Access Memory
  • MRAM Magneticoresistive Random Access Memory
  • phase change memory Ovonic Unified Memory
  • RRAM registered trademark, Resistance RAM
  • command information is information including at least one of the command itself and meta information of the command.
  • command meta information is meta information (metadata) of a command, and includes, for example, command identification information.
  • the command meta information (for example, identification information) may include, for example, command position information (for example, an address) that is information indicating a position where the command is stored.
  • the command position information may include, for example, a base address and an offset value from the base address.
  • command information is managed in a queue.
  • a queue is an example of a data structure (data holding structure).
  • Information such as information on commands may be managed in a data structure other than the queue.
  • FCP is an example of the first protocol
  • NVMe is an example of the second protocol
  • the first protocol may be a vendor-specific protocol (for example, a protocol that enables vendor customization at least more than the second protocol).
  • the second protocol such as NVMe is based on the standardization method of creating a queue in the server memory (memory in the server device) and a method for causing the interface device (an example of a transfer device) to read the queue in the server memory.
  • a predetermined protocol may be used.
  • the node device may not be aware that there are a plurality of processor cores (for example, a processor core that interprets a command) in the interface device. May be concealed).
  • each of a plurality of processor cores for example, a processor core that interprets a command
  • each of a plurality of processor cores may be recognized by a node device (a program executed by the node device).
  • FIG. 11 illustrates a configuration example of the computer system according to the first embodiment.
  • the computer system 50 includes one or more server devices 100 and one or more storage devices 300 as an example of a plurality of node devices.
  • One or more server apparatuses 100 are accommodated in one or more chassis (hereinafter referred to as server chassis) 52, and one or more storage apparatuses 300 are accommodated in one or more chassis (hereinafter referred to as storage chassis) 54.
  • one server chassis 52 includes a plurality of server apparatuses 100 and a PCIe-MUX (multiplexer that relays communication according to PCIe) 51
  • one storage chassis 54 includes one storage apparatus 300.
  • Each of the plurality of server apparatuses 100 includes an interface device 200.
  • Each interface device 200 is an example of a transfer device, and performs command transfer between the server apparatus 100 and the storage apparatus 300.
  • One or more server apparatuses 100 and one or more storage apparatuses 300 may be mounted in the same chassis.
  • FIG. 1 shows a configuration example of the server device 100 and the storage device 300.
  • the symbol alphabet may be omitted when it is not necessary to distinguish the elements according to the symbol alphabet.
  • the server apparatus 100 includes a memory 110, a CPU 120, and an interface device 200.
  • the storage apparatus 300 includes a plurality of controllers (hereinafter referred to as CTL) 400 and a plurality of storage devices 320.
  • the plurality of storage devices 320 include flash memory devices (eg, SSDs).
  • the plurality of storage devices may include an HDD.
  • the storage apparatus 300 of this embodiment includes two CTLs 400 (CTL # 0 and # 1).
  • the computer system 50 is preferably a Converged Platform.
  • Converged Platform is also called Converged Infrastructure and Converged System.
  • Converged may be replaced by the term “vertical integration”. In the present embodiment, these are hereinafter collectively referred to as a converged platform (sometimes abbreviated as CPF).
  • CPF is a product including, for example, a server device, a storage device (including a CTL and a storage device), and an interface device that connects them.
  • a server device including a CTL and a storage device
  • an interface device that connects them.
  • an administrator of a company introduces a server device and a storage device individually, an operation verification represented by such a connection check between the server device and the storage device has been performed on the administrator side.
  • the vendor who sells the product performs the operation verification in advance, so that the operation verification by the manager of the customer who installs and uses the product is unnecessary or can be reduced.
  • CPFs may include a management subsystem that executes a management program for collectively setting server devices, storage devices, and interface devices.
  • This management subsystem can quickly provide an execution environment (virtual machine (VM), DBMS (Database Management System), Web server, etc.) desired by the administrator.
  • VM virtual machine
  • DBMS Database Management System
  • Web server etc.
  • the management program requests allocation of necessary resources to the server device and the storage device, and requests the hypervisor to create a VM using the allocated resources. Request.
  • the memory 110 stores a program and data for processing of the server device 100.
  • the CPU 120 is connected to the memory 110 via an internal bus, and executes processing of the server device 100 according to a program stored in the memory 110.
  • the CTL 400 is connected to the interface device 200 and performs processing according to an I / O command from the interface device 200.
  • the CTL 400 includes a memory 828, a microprocessor (hereinafter referred to as MP) 420, and a drive interface 430.
  • the memory 828 stores a program and data for processing of the CTL 400.
  • the MP 420 is connected to the memory 828 via an internal bus, and executes the processing of the CTL 400 according to a program stored in the memory 828.
  • the drive interface 430 is connected to the MP 420 and the storage device 320, and controls communication between the CTL 400 and the storage device 320.
  • the storage device 320 stores data, is connected to the CTL 400, and is accessed from the CTL 400.
  • the storage apparatus 300 of this embodiment includes at least two storage devices 320 (a boot device (BOOT) 320a and a data device (DATA) 320b).
  • the boot device 320a stores a program for the server device 100.
  • the data device 320b stores data from the CTL 400.
  • the interface device 200 is connected to the CPU 120 via the server-side bus and is connected to the storage device 300 via the storage-side bus, and controls communication between the server device 100 and the storage device 300.
  • the server side bus and the storage side bus in this embodiment are PCIe buses.
  • the interface device 200 in this embodiment is connected to two CTLs 400 via two storage-side buses.
  • the interface device 200 is a board (add-on card) that is inserted into a PCIe bus slot of the server apparatus 100.
  • the storage-side bus may be a PCIe bus cable or a board.
  • the interface device 200 may be located outside the server device 100 and connected via a PCIe bus cable connected to the PCIe bus slot of the server device 100.
  • the interface device 200 may be mounted on the storage apparatus 300 instead of the server apparatus 100.
  • the memory 110 stores a boot driver 111, an OS 112, an application (application program) 113, and a driver 114 (device driver).
  • the boot driver 111 is, for example, a program based on BIOS (Basic Input / Output System) or EFI (Extensible Firmware Interface).
  • BIOS Basic Input / Output System
  • EFI Extensible Firmware Interface
  • the boot driver 111 is read into the memory 110 when the server apparatus 100 is powered on and executed by the CPU 120.
  • the OS 112 is stored in the boot device 320a in the storage apparatus 300, read out to the memory 110 in the server apparatus 100 by the boot driver 111, and executed by the CPU 120.
  • the boot driver 111 issues an I / O command that instructs reading of the OS 112 in the boot device to the interface device 200 in accordance with FCP.
  • the plurality of drivers 114 include an FCP driver (driver using FCP) 114a and an NVMe driver (driver using NVMe) 114b.
  • FCP driver driver using FCP
  • NVMe driver driver using NVMe
  • vendor proprietary software not included in the OS 112 is used as the FCP driver 114 a
  • the FCP driver 114 a includes a function for controlling the interface device 200.
  • a standard driver included in the OS 112 can be used as the NVMe driver 114b.
  • TCP-IP Transmission Control Protocol-Internet Protocol
  • the application 113 is stored in the data device 320b in the storage apparatus 300, read out to the memory 110 in the server apparatus 100 by the user of the server apparatus 100 or the OS 112, and executed by the CPU 120.
  • the application 113 issues a command related to data to the driver 114.
  • the driver 114 manages a queue 115 that stores commands from the application 113. Based on the command from the application 113, the driver 114 issues an I / O command using a corresponding protocol to the interface device 200.
  • a plurality of server apparatuses 100 may share the storage device 320 of the storage apparatus 300. Further, the CTL 400 of the storage apparatus 300 may be one or three or more.
  • FIG. 2 shows a configuration example of the interface device 200.
  • the interface device 200 includes a communication processor 230, a DMA controller 240, an FCP queue control circuit 257a, an NVMe queue control circuit 257b, a plurality of bus control circuits 260, and a storage unit 270. These elements are connected via an internal bus.
  • the communication processor 230 includes a plurality of processor cores 231. Hereinafter, the processor core is referred to as “LRP”.
  • the LRP 231 may be a processor.
  • the DMA controller 240 includes a plurality of DMA cores (XDMA) 241.
  • the storage unit 270 includes at least one memory such as a volatile memory and a nonvolatile memory.
  • the storage unit 270 includes, for example, a flash memory.
  • the flash memory is an example of a nonvolatile memory, includes a storage area corresponding to a PCIe expansion ROM (Read Only Memory) space provided to the server apparatus 100, and stores the boot driver 111 described above in the storage area.
  • the server device 100 reads the boot driver 111 from the flash memory to the memory 110 of the server device 100 by designating the expansion ROM space at the time of startup, and executes the boot driver 111.
  • the boot driver 111 may be stored in a non-volatile memory in the server device 100 or the storage device 300.
  • the queue control circuit 257 is connected to the CPU 120 of the server apparatus 100 via the server side bus.
  • the FCP queue control circuit 257a is a control circuit that provides a register space (hereinafter referred to as FCP register space) 210a accessed from the FCP driver 114a.
  • the NVMe queue control circuit 257b is a control circuit that provides a register space (hereinafter, NVMe register space) 210b accessed from the NVMe driver 114b.
  • Each of the register spaces 210a and 210b is allocated to an MMIO (Memory Mapped Input / Output) space in an address space used by the CPU 120.
  • the FCP register space 210 a includes a register 211 a for each LRP 231.
  • the NVMe register space 210b includes a register 211b used by the NVMe driver 114b.
  • the register 211a is referred to as “FCP register 211a”
  • the register 211b is referred to as “NVMe register 211b”.
  • the FCP register 211 a exists for each LRP 231. Therefore, four FCP registers # 0 to # 3 respectively associated with LRP # 0 to # 3 are in the FCP register space 210a.
  • the NVMe registers 211b may be more or less than the LRP 231, and in the present embodiment, 64 NVMe registers # 0 to # 63 are in the NVMe register space 210b.
  • the FCP queue control circuit 257a has an FCP queue 220a that is a queue for FCP commands (commands according to FCP), and the NVMe queue control circuit 257b has an NVMe queue 220b that is a queue for NVMe commands (commands according to NVMe).
  • an FCP queue 220a exists for each LRP 231 (that is, FCP queues # 0 to # 3 associated with LRP # 0 to # 3, respectively), and an NVMe queue 220b includes LRP # 0 to LRP # 0 to # 3. Common to # 3.
  • the control of each of the FCP queue 220a and the NVMe queue 220b will be described in detail later.
  • the queue 220 is a queue for command information.
  • the queue 115, the register 211, and the queue 220 are elements related to commands from the server apparatus 100 to the storage apparatus 300, but are elements related to responses from the storage apparatus 300 to the server apparatus 100.
  • the same element as at least one of the queue 115, the register 211, and the queue 220 may be prepared, and the response from the storage apparatus 300 to the server apparatus 100 may be performed using the prepared element. .
  • the bus control circuit 260 is provided for each storage-side bus.
  • the bus control circuit 260 is connected to the MP 420 of the CTL 400 of the storage apparatus 300 via the storage side bus.
  • Bus control circuit 260 includes a control circuit (not shown) and a storage register (not shown) accessed by CTL 400.
  • the control circuit controls the storage register and storage unit 270.
  • the interface device 200 communicates with the storage apparatus 300 via the PCIe-MUX 51 shown in FIG. However, the PCIe-MUX 51 may not be provided.
  • the server device 100 (specifically, for example, the CPU 120) becomes the root complex, and the interface device 200 becomes the endpoint.
  • CTL 400 (specifically, for example, MP420) is a root complex, and interface device 200 is an endpoint.
  • the communication processor 230 issues a request (for example, an I / O request) based on a command (or a command associated with meta information in the command information) included in the command information extracted from the queue 220 to the storage apparatus 300. To do. Further, the communication processor 230 acquires information for DMA (for example, information including at least one of a transfer source address and a transfer destination address) from the server apparatus 100 and the storage apparatus 300, and based on the acquired information The DMA instruction is issued to the DMA controller 240. The DMA controller 240 performs burst transfer between the memory 110 in the server apparatus 100 and the memory 828 in the storage apparatus 300 based on an instruction from the communication processor 230.
  • a request for example, an I / O request
  • a command or a command associated with meta information in the command information included in the command information extracted from the queue 220 to the storage apparatus 300.
  • the communication processor 230 acquires information for DMA (for example, information including at least one of a transfer source address and a transfer destination address) from
  • the interface device 200 in the present embodiment includes four LRPs, includes four DMA cores, and includes two target ports.
  • the target port is a port to which the storage-side bus is connected in the interface device 200, and is provided for each CTL 400.
  • One, two, or four functions are set for the interface device 200.
  • the “function” mentioned here is a function of the PCIe device. Since one PCIe device has a plurality of functions, it can operate as a plurality of PCIe devices.
  • the function of this embodiment is either an FCP function that processes an FCP command (for example, an I / O command according to FCP) or an NVMe function that processes an NVMe command (for example, an I / O command according to NVMe).
  • Each of the four LRPs is assigned to one or more functions.
  • the server apparatus 100 can access data in the storage apparatus 300 using a plurality of protocols.
  • FCP can be used.
  • the interface device 200 stores the boot driver 111 in the nonvolatile memory allocated to the expansion ROM area, so that the server device 100 can read the boot driver 111 via the PCIe bus.
  • the server side bus is shared by a plurality of protocols, so that the bus slot consumption of the server apparatus 100 can be reduced.
  • the server device 100 reads and boots the OS via the server-side bus according to the specific protocol, and after the boot, performs data transfer via the server-side bus according to the NVMe protocol, so that the server-side bus used according to the specific protocol is used. Can be used for the NVMe protocol, and the bandwidth of the server side bus can be used effectively.
  • the function is determined by the device mode.
  • the administrator of the computer system can set any one of a plurality of device modes for the interface device 200.
  • the queue control circuit 257 reads device mode information stored in advance in the storage unit 270 (for example, a flash memory) at the time of startup, and sets the device mode by the time of PCIe Link Up.
  • the device mode of the interface device 200 may be set from the server device 100, a management subsystem connected to the computer system, an external pin provided in the interface device 200, or the like.
  • FIG. 3 shows an example of the device mode of the interface device 200.
  • the interface device 200 is set to any one of the device modes # 1 to # 4.
  • Device mode # 1 can be referred to as a 1FCP mode.
  • the interface device 200 has a function # 0 which is one FCP function, and four LRPs are assigned to the one function.
  • Device mode # 2 can be referred to as a 2FCP mode.
  • the interface device 200 has two FCP functions # 0 and # 1, and assigns two LRPs to each function.
  • Device mode # 3 can be referred to as a 1FCP / 1NVMe mode.
  • the interface device 200 has one function # 0 that is an FCP function and one function # 2 that is one NVMe function, and assigns four LRPs to each function.
  • Device mode # 4 can be referred to as a 2FCP / 2NVMe mode.
  • the interface device 200 has two FCP functions # 0 and # 1, and two NVMe functions # 2 and # 3, and assigns two LRPs to each function.
  • FCP function and NVMe function can share the same LRP in a time-sharing manner.
  • the server side bus may be multipath.
  • the interface device 200 includes two functions of the same protocol corresponding to two paths, respectively, and the server apparatus 100 controls the two functions, respectively.
  • the I / O commands can be distributed to a plurality of paths.
  • the maximum performance per path of the server-side bus is limited to the performance of the two LRPs.
  • the communication processor 230 may distribute I / O requests to a plurality of CTLs 400.
  • each of the two NVMe functions need not use two LRPs, and one NVMe function can use four LRPs.
  • the interface device 200 provides two FCP functions # 0 and # 1 to the server apparatus 100.
  • the FCP function # 0 starts I / O
  • it issues an I / O request to the CTL # 0
  • FCP It may be set to issue an I / O request to CTL # 1 when the function # 1 starts I / O.
  • the communication processor 230 sets the bandwidth usage status of each CTL 400, the address in the access destination storage apparatus 300, and the like.
  • the communication processor 230 acquires information indicating whether or not the current CTL 400 is busy (busy) from each CTL 400 as the bandwidth usage status, and if it is determined that one CTL 400 is busy, A request is issued to the other CTL 400.
  • the communication processor 230 may issue the same data write request to the plurality of CTLs 400 to make the data redundantly written to improve the reliability of the data.
  • the communication processor 230 is connected to a plurality of target ports, and the plurality of target ports are respectively connected to the plurality of CTLs 400, so that the communication processor 230 can issue I / O request destinations according to the status of the plurality of CTLs 400.
  • CTL400 can be selected, and the performance of the computer system can be improved.
  • the interface device 200 provides a plurality of functions of the same protocol respectively corresponding to a plurality of paths, so that the server apparatus 100 selects a path and issues an I / O command. be able to.
  • the driver 114 writes a command in the memory 110 in response to a request from the application 113 of the server apparatus 100.
  • the driver 114 secures a storage area in the memory 110 necessary for data transfer as a server-side storage area, creates a Scatter / Gather List (SGL) indicating the address of the server-side storage area, and stores the SGL in the memory. 110 is written.
  • SGL Scatter / Gather List
  • the driver 114 writes write data (write target data accompanying the write command) in the server-side storage area.
  • the processing of S210 to S250 is performed. That is, in S210, the FCP driver 114a writes the meta information of the I / O command to the FCP register # 0 (an example of the write destination FCP register 211a), and the FCP queue control circuit 257a sets the write destination FCP register # 0.
  • the I / O command meta information is added to the FCP queue # 0 associated with.
  • the I / O command meta information is acquired from the FCP queue # 0 by LRP # 0.
  • LRP # 0 sets the address of the I / O command in XDMA 241 based on the I / O command meta information.
  • the XDMA 241 to which the address is set reads an I / O command from the set address (memory 110 in the server apparatus 100), and writes the I / O command in the storage unit 270.
  • the XDMA 241 notifies the LRP # 0 that the I / O command has been read (for example, the write destination address of the I / O command (the address in the storage unit 270)).
  • LRP # 1 an example of an LRP to which the NVMe function is assigned refers to the NVMe queue 220b by interruption (or polling), and the command information (the command itself in this embodiment) is stored in the NVMe queue 220b. It is determined whether or not it exists (that is, the NVMe queue control circuit 257b is periodically inquired whether or not there is command information in the NVMe queue 220b).
  • the LRP # 1 waits.
  • the NVMe driver 114b writes the meta information of the I / O command into the NVMe register # 1 (an example of the write destination NVMe register 211b).
  • the NVMe register is a doorbell register as will be described later, and an interrupt is generated when information is written to the register.
  • the NVMe queue control circuit 257b reads the I / O command associated with the I / O command meta information from the memory 110 in the server device 100, and adds the I / O command to the NVMe queue 220b.
  • LRP # 1 refers to the NVMe queue 220b again by polling to determine whether command information exists.
  • LRP # 1 issues a command read request to the NVMe queue control circuit 257b.
  • the NVMe queue control circuit 257b may receive a plurality of command read requests within the same time. In this case, one command read request is performed by an arbiter (not shown). To decide. The determined transmission source of the command read request is LPR # 1.
  • the NVMe queue control circuit 257b allocates the I / O command in the NVMe queue 220b to LRP # 1 (the I / O command is read to LPR # 1).
  • a notification such as S220 may be performed, or the polling of S340 and the notification of S220 may be used in combination.
  • the LRP 231 converts the read I / O command into an I / O request using the protocol of the storage apparatus 300. Then, the I / O request is written into the storage unit 270.
  • the protocol of the storage apparatus 300 may be a standardized predetermined protocol or a vendor / proprietary protocol.
  • the bus control circuit 260 writes the I / O request to the memory 828 in the CTL 400.
  • the CTL 400 reads and analyzes the I / O request from the memory 828, and secures a storage area in the memory 828 necessary for transfer as a storage-side storage area.
  • the CTL 400 creates an SGL indicating the address of the storage side storage area and writes the SGL into the memory 828.
  • the I / O request is a read request
  • the CTL 400 reads the read data (read target data according to the read request) from the storage device 320 and writes the read data to the storage-side storage area.
  • the CTL 400 In S520, the CTL 400 generates a DMA request for requesting transfer between the memory 110 in the server apparatus 100 and the memory 828 in the CTL 400, and writes the DMA request in the memory 828.
  • the CTL 400 writes the meta information of the DMA request to the storage register in the bus control circuit 260 in the interface device 200.
  • the bus control circuit 260 reads the DMA request from the memory 828 in the CTL 400 based on the meta information, and writes the DMA request in the storage unit 270.
  • the bus control circuit 260 notifies the LRP 231 of the DMA request.
  • the LRP 231 writes in the storage unit 270 an SGL read request requesting to read the SGL in the memory 110 of the server device 100.
  • the LRP 231 writes an SGL read request for requesting to read the SGL in the memory 828 of the CTL 400 into the storage unit 270.
  • the queue control circuit 257 reads the SGL from the memory 110 of the server device 100, and writes the read SGL in the storage unit 270. In S640, the queue control circuit 257 notifies the LRP 231 that the SGL has been read from the server apparatus 100. In S650, the bus control circuit 260 reads the SGL from the memory 828 of the CTL 400, and writes the read SGL in the storage unit 270. In S660, the bus control circuit 260 notifies the LRP 231 that the SGL has been read from the CTL 400.
  • the LRP 231 In S670, the LRP 231 generates a request parameter for requesting DMA between the server-side storage area and the storage-side storage area based on the SGL read from the server apparatus 100 and the SGL read from the CTL 400. . In S680, the LRP 231 instructs the DMA controller 240 to perform DMA using the generated request parameter.
  • the DMA controller 240 executes DMA based on the request parameter.
  • the I / O command is a write command
  • the DMA controller 240 transfers the write data stored in the server-side storage area to the storage-side storage area.
  • the I / O command is a read command
  • the DMA controller 240 transfers the read data stored in the storage side storage area to the server side storage area.
  • the DMA controller 240 when the DMA controller 240 completes the DMA, it notifies the LRP 231 of the completion of the DMA.
  • the LRP 231 writes a DMA completion notification in the storage unit 270 as a response to the DMA request.
  • the bus control circuit 260 writes the DMA completion notification in the memory 828 in the CTL 400.
  • the CTL 400 reads the DMA completion notification from the memory 828, writes information indicating completion to the memory 828 as a response to the I / O request, and writes meta information of the response to the storage register in the interface device 200.
  • the bus control circuit 260 reads a response from the memory 828 in the CTL 400 based on the meta information, and writes the response in the storage unit 270. In S770, the bus control circuit 260 notifies the LRP 231 of the response.
  • the LRP 231 creates response parameters for the server device 100 and the storage device 300, and writes the response parameters in the storage unit 270.
  • the LRP 231 requests the queue control circuit 257 to notify the completion of response parameter creation.
  • the queue control circuit 257 writes the response parameter stored in the storage unit 270 to the memory 110 in the server device 100.
  • the queue control circuit 257 issues a PCIe interrupt to the server apparatus 100.
  • the driver 114 in the server apparatus 100 reads the response parameter stored in the memory 110 in response to the interrupt, and writes a notification of reception of the response parameter in the register 211.
  • the LRP 231 requests the bus control circuit 260 to notify the completion of response parameter creation.
  • the bus control circuit 260 writes the response parameter stored in the storage unit 270 to the memory 828 in the CTL 400.
  • the bus control circuit 260 writes the notification of the response parameter to the memory 828 in the CTL 400.
  • the CTL 400 reads the response parameter stored in the memory 828 and writes the reception of the response parameter into the storage register.
  • the interface device 200 converts the I / O command from the server device 100 into an I / O request of the protocol of the storage device 300, and the I / O request is stored in the storage device. Issue to device 300. For this reason, it is not necessary to change the protocol of the storage apparatus 300 in accordance with the protocol of the server apparatus 100. Further, the server device 100 and the storage device 300 create SGL indicating the storage areas of the DMA transfer source and transfer destination, so that the interface device 200 has the memory 110 in the server device 100 and the memory 828 in the storage device 300. DMA can be performed between. When the interface device 200 performs DMA, the server apparatus 100 can transfer data without using the protocol of the storage apparatus 300, and the storage apparatus 300 can transfer data without using the protocol of the server apparatus 100.
  • queue control is performed in the interface device 200.
  • one application 113 may be able to write commands to both the queue 115a of the FCP driver 114a and the queue 115b of the NVMe driver 114b.
  • the first application may write a command only to the queue 115a of the FCP driver 114a
  • the second application may write a command only to the queue 115b of the NVMe driver 114b.
  • any of the LRPs # 0 to # 3 may be configured to transfer both the FCP command and the NVMe command.
  • two or more LRPs (for example, all LRPs) of LRP # 0 to # 3 can transfer FCP commands, and some of some LRPs can transfer NVMe commands. It may be.
  • FIG. 6 shows an example of an outline of queue control.
  • the memory 110 in the server apparatus 100 includes an FCP area 410a that is a storage area in which an FCP command is written (an area in which the queue 115a is stored) and a storage area in which an NVMe command is written (an area in which the queue 115b is stored).
  • a certain NVMe area 410b is secured by the CPU 120, for example.
  • the plurality of queues 115b include an Admin queue that is a queue for Admin commands and an I / O queue that is a queue for I / O commands.
  • the queue 115b and the NVMe register 211b may be associated by 1: 1, but may be associated by m: 1, 1: n, or m: n.
  • FCP queue 220a exists for each LRP 231. That is, FCP queues 220 # 0 to # 3 are associated with LRPs # 0 to # 3 (for example, LRPs # 0 to # 3 capable of initiating transfer of FCP commands), respectively.
  • the NVMe queue 220b is shared by a plurality of LRPs 231 (for example, LRPs # 0 to # 3 capable of initiating transfer of NVMe commands). This configuration is preferable in the following points, for example.
  • FCP is a protocol that has a larger range that can be customized by the vendor than at least NVMe, and is a protocol that allows the server apparatus 100 to recognize the LRP 231 individually. For this reason, the FCP driver 114a of the server apparatus 100 can control the allocation of commands to the LRP 231 (which command can be distributed to which LRP).
  • the FCP driver 114a determines the queue 115a to which the FCP command is written, thereby assigning the LRP 231 (FCP queue 220a to which the FCP command is allocated). ) Can be decided. Therefore, the configuration according to the present embodiment that can provide a simple execution environment is useful.
  • NVMe queue 220b is a queue shared by a plurality of LRPs 231.
  • NVMe supports types of commands that have a higher processing load than I / O commands, specifically, Admin commands that require more processing to transfer than I / O commands.
  • Admin commands that require more processing to transfer than I / O commands.
  • a queue 220b is prepared for each LRP 231, the load of the LRP 231 that processes such an Admin command increases, and the I / O command existing in the queue of the LRP 231 increases.
  • NVMe is a protocol in which a method for causing the interface device 200 to read the queue 115 in the memory 110 is determined by a standardization standard. From this point of view, when NVMe queues are prepared for each LRP 231, it is preferable to employ command allocation logic (for example, round robin) that simplifies the configuration of the control circuit 257 b (for example, firmware thereof). An untransferred I / O command may be added to the queue of the LRP 231 having a high load during processing of the Admin command.
  • command allocation logic for example, round robin
  • NVMe is conscious of the interface between the queue 220 and the memory 110 (determined by specifications), but the LRP 231 is not conscious of the server device 100 (hidden from the server device 100).
  • the NVMe queue 220b is a queue shared by a plurality of LRPs 231.
  • NVMe queue 220b is a shared queue for a plurality of LRPs 231 is that the "Admin command that requires more processing for transfer than the I / O command" is supported for NVMe.
  • Admin command for example, there is an Identify Namespace Data Structure command. Identify Namespace Data Structure is a command for acquiring the information of Namespace specified by the command from Target.
  • LU is an abbreviation for a logical unit as a logical volume provided by the storage apparatus 300.
  • the “Admin command” is a kind of NVMe command, and is an example of a special command (for example, a management command) that is a command different from the I / O command according to NVMe.
  • the NVMe command is issued from, for example, the NVMe driver 114b.
  • Other examples of Admin commands include commands that do not interact with Target, such as the Delete I / O submission Queue command and the Create I / O submission Queue command.
  • the server apparatus 100 can issue an FCP command for executing a function that is not supported by NVMe. That is not limited to reading the OS of the server apparatus 100.
  • the application 113 issues a command for collecting RAS information via the FCP driver 114a, and the RAS information is returned to the server apparatus 100 as a response to the FCP command. May be returned.
  • failure information acquisition that is not supported by NVMe (for example, acquisition of failure information recorded in a predetermined storage area in the interface device 200) may be performed in accordance with FCP.
  • failure information for example, information indicating a RAM correctable failure of RAM (Random Access Memory) included in the storage unit 270
  • an interrupt is generated.
  • the CPU 120 may issue an FCP command for collecting fault information by the FCP driver 114a.
  • FIG. 7 shows an example of an outline of FCP queue control.
  • the FCP command meta information is stored in the FCP queue 220a as the FCP command information.
  • the FCP command meta information is meta information of the FCP command, for example, 4B (byte) information.
  • the meta information includes FCP command position information, and the position information may include, for example, an offset value from the base address and an identification number of the queue 115a to which the FCP command 701 is added.
  • the FCP command 701 When the FCP command 701 is added to the queue 115a of the FCP area 410a, the meta information of the FCP command 701 is added to the FCP queue 220a.
  • the FCP command meta information is acquired by the LRP 231 associated with the FCP queue 220a (S21). Specifically, for example, information including a base address and FCP command position information (for example, an offset value from the base address) included in the FCP command meta information is acquired.
  • the LRP 231 sets an address (address where the FCP command 701 is located) according to the information in the XDMA 241 (S22).
  • the XDMA 241 reads the FCP command 701 from the set address (S23), and allocates the read FCP command 701 to the LRP 231 (S24).
  • the LRP 231 may set the transfer source address and the transfer destination address in the XDMA 22, the transfer source address may be the address where the FCP command 701 is located, and the transfer destination address is The address of the area in the storage unit 270 may be used.
  • the XDMA 241 transfers the FCP command 701 from the transfer source address to the transfer destination address by DMA, notifies the transfer completion to the LAP 231, and the LRP 231 responds to the notification from the transfer destination address area to the FCP.
  • the command 701 may be acquired.
  • the LRP 231 can acquire the FCP command 701 associated with the meta information added to the FCP queue 220a associated with the LRP 231 by DMA.
  • FIG. 8 shows an example of an outline of NVMe queue control.
  • the NVMe queue control circuit 257b has a plurality of interface units 651 (# 0 to # 3) respectively associated with a plurality of LRPs 231 (# 0 to # 3).
  • Each interface unit 651 is an area referred to by the LRP 231 associated with the interface unit 651.
  • the information is a kind of index information, and includes, for example, a head address (base address) of the NVMe queue 220b and a rear end address (tail address) of the NVMe queue 220b.
  • each interface unit 651 is updated by the NVMe queue control circuit 257b in accordance with the increase or decrease of the NVMe command in the NVMe queue 220b.
  • Each NVMe register 211b is a doorbell register.
  • an interrupt is generated in the NVMe queue control circuit 257b for the NVMe register 211b.
  • the NVMe driver 114b adds the NVMe command 601 to the queue 115b in the NVMe area 410b
  • the meta information of the NVMe command 601 is written in the NVMe register 211b determined based on the identification number of the queue 115b.
  • the meta information includes, for example, information indicating the position of the NVMe command 601, and the information may include an identification number of the queue 115b to which the NVMe command 601 is added.
  • the NVMe queue control circuit 257b receives the NVMe command 601 associated with the meta information written to the NVMe register 211b. Read from the NVMe area 410b and add the read NVMe command 601 to the NVMe queue 220b.
  • the NVMe queue control circuit 257b has an arbiter (not shown).
  • the arbiter determines (selects) one acquisition request from the plurality of acquisition requests.
  • each LRP (more specifically, for example, each LRP defined to process an NVMe command) 231 determines whether there is an NVMe command in the NVMe queue 220b.
  • the interface unit 651 associated with the LRP 231 is periodically referred to (polling).
  • the LRP 231 that performs such a reference is typically an LRP that can initiate transfer of the NVMe command (for example, an LRP that has a load lower than a predetermined value).
  • the LRP 231 detects that the NVMe command exists in the NVMe queue 220b, the LRP 231 transmits an NVMe command acquisition request to the NVMe queue control circuit 257b (S71).
  • NVMe queue control circuit 257b may receive a plurality of acquisition requests simultaneously as shown in the figure. When a plurality of acquisition requests are received, the NVMe queue control circuit 257b sends an NVMe queue to the LRP 231 (LRP # 3 in the example of FIG. 8) of the acquisition request determined by the arbiter among the plurality of acquisition requests. Allocate NVMe command in 220b. Specifically, for example, the NVMe queue control circuit 257b returns a notification indicating success (Valid) to LRP # 3 that is the transmission source of the acquisition request determined by the arbiter (S73W), and sends an NVMe command from the NVMe queue 220b.
  • a notification indicating success (Valid)
  • the NVMe command is assigned to LRP # 3 (S75).
  • the NVMe queue control circuit 257b returns a notification indicating failure to each of the LRPs # 0 to # 2 not determined by the arbiter (S73L).
  • the NVMe commands are aggregated in the queue 220b common to the plurality of LRPs 231.
  • the NVMe queue control circuit 257b responds to a request from the LRP 231 in a state where the NVMe command transfer can be initiated.
  • the NVMe command may be allocated from the queue 220b. For this reason, it can be avoided that an I / O command is allocated to the LRP 231 with a high load, and an improvement in throughput can be expected as a whole.
  • the NVMe queue control circuit 257b does not require logic to allocate an NVMe command without a request from the LRP 231, it can be expected that the logic (for example, firmware) of the NVMe queue control circuit 257b has a simple configuration.
  • Example 2 will be described. At that time, differences from the first embodiment will be mainly described, and description of common points with the first embodiment will be omitted or simplified.
  • FIG. 9 shows an example of an outline of FCP queue control according to the second embodiment.
  • the hypervisor that executes one or more VMs is executed by the CPU of the server device.
  • a part of the FCP queues 220a among the plurality of FCP queues 220a is associated with each VM.
  • a part of the VMs 901 among the plurality of VMs 901 is associated with each FCP queue 220a.
  • a server apparatus issues an FCP command according to a request issued by one of the VMs 901 to the FCP driver 114a, and the FCP driver 114a sends the FCP command to the queue 115a (specifically, in the FCP area 410a). Specifically, for example, it is added to the queue 115a) corresponding to the FCP register 211a associated with the FCP queue 220a associated with the request issuing VM, and the meta information of the FCP command is added to the FCP register 211a.
  • a server apparatus issues an FCP command according to a request issued by one of the VMs 901 to the FCP driver 114a, and the FCP driver 114a sends the FCP command to the queue 115a (specifically, in the FCP area 410a). Specifically, for example, it is added to the queue 115a) corresponding to the FCP register 211a associated with the FCP queue 220a associated with the request issuing VM, and the meta information of the FCP command is added to the
  • the FCP queue control circuit adds the FCP command (command according to the request from the VM 901) associated with the meta information in the FCP register 211a to the FCP queue 220a corresponding to the FCP register 211a. As a result, the FCP command according to the request from the VM 901 is added to the FCP queue 220a associated with the VM 901.
  • the command according to the request from the VM 901 is an FCP command. This is because a command (for example, an I / O command) according to a request (for example, an I / O request) from a part of the VM 901 with which the FCP queue 220a is associated is added to the FCP queue 220a for each LRP 231, and the FCP queue This is because a command according to a request from the VM 901 to which 220a is not associated is not added, and a high I / O throughput is expected.
  • a command for example, an I / O command
  • a request for example, an I / O request
  • the interface device 200 is not included in the server apparatus 100 described so far, but may be included in the storage apparatus 300, or may be included in neither the server apparatus 100 nor the storage apparatus 300. .
  • the NVMe area 410b (set of the queue 115b) may exist for each function.
  • the plurality of queues 115b in the plurality of NVMe areas 410b are renumbered by the NVMe queue control circuit 1257b so that the identification numbers do not overlap (virtualization of the identification numbers of the queues 115b).
  • a part of the LRPs 231 is associated with each function. For example, LRP # 0 and # 2 are associated with function # 0, and LRP # 1 and # 3 are associated with function # 1. Reboot or recovery is required for each function, but since the LRP restricted by the reboot or recovery is limited to a part, it can be expected to avoid a decrease in throughput.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Systems (AREA)

Abstract

ノード装置間のコマンド転送を行う転送デバイスは、複数のプロセッサコア（以下、コア）と、２以上のコアにそれぞれ関連付けられた２以上の第１プロトコル（例えばFCP（Fibre　Channel　Protocol））キューと、複数のコアに共通の第２プロトコル（例えばNVMe）キューとを有する。第２プロトコルキューから情報を取得したコアが、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第２プロトコルコマンドを転送することをイニシエートする。第２プロトコルは、I/Oコマンドと１種類以上の特殊コマンドとをサポートするプロトコルである。１種類以上の特殊コマンドは、I/Oコマンドよりも転送に多くの処理を必要とするコマンドを含む。

Description

計算機システム、コマンド転送方法、及び、転送デバイス
　本発明は、概して、コマンド転送に関し、例えば、ノード装置間のコマンド転送に関する。
　Storage　Area　Network（SAN）に用いられるプロトコルとして、Fibre　Channel　Protocol（FCP）が知られている。また、不揮発性メモリをターゲットデバイスとしてインターフェースレジスタを最適化したプロトコルであるNVM　Express（NVMe）が知られている。NVMeは、FCPに比べて低負荷で高速なInput/Output（I/O）を可能にする。非特許文献１には、NVMeプロトコルをサポートするSolid　State　Drive（SSD）が開示されている。ここでは、従来のHard　Disk　Drive（HDD）で使用されていたSerial　Advanced　Technology　Attachment（SATA）等のプロトコルを用いるSSDと比較して、NVMeを用いるSSDが低レイテンシのI/Oを可能にすることが述べられている。
"NVM Express: Unlock Your Solid State Drives Potential," http://www.nvmexpress.org/wp-content/uploads/2013-FMS-NVMe-Track.pdf
　NVMeでサポートされていないファンクションであるNVMe非サポートファクションが、FCP（NVMe非サポートファンクションをサポートする他のプロトコルの一例）でサポートされていることがある。そこで、例えば、FCPを使用可能なPCI　Express（PCIe）バス・カードと、NVMeを使用可能なPCIeバス・カードとを、サーバ装置に搭載する。この構成は、サーバ装置のバス・スロットを２スロット使用する。サーバ装置は、FCPのためにバス・スロットを１本占有してしまうため、そのバス・スロットが持つ帯域をNVMeプロトコルでのI/Oに使用できない。
　また、NVMe規格に準拠したハードウェアは、OSベンダより提供される標準ドライバにより制御することができる。NVMe規格に準拠したハードウェアを開発すれば、デバイスドライバソフトウェアの開発は不要であるが、NVMe規格に規定されていない機能の拡張が困難である。
　NVMeではサポートされていないファンクションをサポートするためのソリューションの１つとして、NVMeとFCPとを含んだ複数のプロトコルのうちのいずれのプロトコルも、コマンド転送（一方のノード装置から他方のノード装置へのコマンド転送）を行う転送デバイスが使用できるようにすることが考えられる。しかし、コマンド転送において複数のプロトコルのいずれも使用可能であると、１つのプロトコルだけを使用することに比べて処理及び構成のうちの少なくとも１つが複雑になると考えられ、故に、スループットの低下が懸念される。
　FCPは、第１プロトコルの一例であり、NVMeは、第２プロトコルの一例である。以上の課題は、NVMeとFCPのうちの少なくとも１つ以外のプロトコルについてもあり得る。
　ノード装置間のコマンド転送を行う転送デバイスは、複数のプロセッサコアと、複数のプロセッサコアのうちの２以上のプロセッサコアにそれぞれ関連付けられた２以上の第１プロトコルキューと、複数のプロセッサコアに共通の第２プロトコルキューとを有する。２以上の第１プロトコルキューの各々は、第１プロトコルコマンドとその第１プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第１プロトコルコマンド情報のキューである。第２プロトコルキューは、第２プロトコルコマンドとその第２プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第２プロトコルコマンド情報のキューである。２以上のプロセッサコアの各々は、そのプロセッサコアに関連付けられている第１プロトコルキューから第１プロトコルコマンド情報を取得し、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第１プロトコルコマンドを転送することをイニシエートする。第２プロトコルキューから第２プロトコルコマンド情報を取得したプロセッサコアが、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第２プロトコルコマンドを転送することをイニシエートする。第１プロトコルコマンドは、第１プロトコルに従うコマンドである。第２プロトコルコマンドは、第２プロトコルに従うコマンドである。第２プロトコルは、第１プロトコルと異なるプロトコルであって、I/Oコマンドと１種類以上の特殊コマンド（例えば、NVMe規格でいうAdmin command）とをサポートするプロトコルである。１種類以上の特殊コマンドは、I/Oコマンドと異なる１種類以上のコマンドであり、I/Oコマンドよりも転送に多くの処理を必要とするコマンドである高負荷特殊コマンドを含む。
　第１プロトコルについては、２以上のプロセッサコアの各々についてキューが用意されるが、転送に多くの処理を必要とする特殊コマンドをサポートしている第２プロトコルについては、複数のプロセッサコアに共通のキューが用意される。これにより、そのような特殊コマンドが割り振られたプロセッサコアのために他の第２プロトコルコマンドの転送スループットが低下してしまうことを回避できる。
実施例１に係る計算機システムにおけるサーバ装置及びストレージ装置の構成例を示す。 実施例１に係るインターフェースデバイスの構成例を示す。 インターフェースデバイスのデバイスモードの一例を示す。 サーバ装置とストレージ装置間の通信の流れの一例の一部を示す。 サーバ装置とストレージ装置間の通信の流れの一例の残りを示す。 実施例１に係るキュー制御の概要の一例を示す。 実施例１に係るFCPキュー制御の概要の一例を示す。 実施例１に係るNVMeキュー制御の概要の一例を示す。 実施例２に係るFCPキュー制御の概要の一例を示す。 変形例に係るNVMeキュー制御の概要の一例を示す。 実施例１に係る計算機システムの構成例を示す。
　以下、図面を参照しながら幾つかの実施例を説明する。
　なお、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばCPU（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶部（例えばメモリ）及び／又はインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置又はシステムが行う処理としてもよい。また、プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と記憶部を含み、記憶部はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　また、以下の説明は、今後登場するであろうNVMe（NVM-Express（Non-Volatile Memory））の後継規格に対しても適用可能であり、同様にPCI-Express（Peripheral　Component　Interconnect　Express：以下、PCIeと省略）の後継規格に対しても適用可能である。NVMeやPCIeに関連する用語が用いられた場合、その後継規格の同等の用語も指し示すと考えるべきである。同様に実施例は現在のBlockアクセスをターゲットとしたNVMeを対象として説明しているが、仮にバイトやワード単位のアクセスがNVMe規格で規定された場合はそれらアクセスについても本実施例が適用できることは言うまでもない。同様に、実施例は、フラッシュメモリを用いる不揮発メモリデバイスを対象として説明しているが、フラッシュメモリ以外の不揮発メモリ、例えばFeRAM（Ferroelectric　Random　Access　Memory）、MRAM（Magnetoresistive　Random　Access　Memory）、相変化メモリ（Ovonic　Unified　Memory）、RRAM（登録商標、Resistance　RAM）を用いる不揮発メモリデバイスに適用してもよい。
　また、以下の説明では、「コマンド情報」とは、コマンドそれ自体と、そのコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である。
　また、以下の説明では、「コマンドメタ情報」とは、コマンドのメタ情報（メタデータ）であり、例えば、コマンドの識別情報を含む。コマンドメタ情報（例えば識別情報）は、例えば、コマンドが格納されている位置を表す情報であるコマンド位置情報（例えばアドレス）を含んでよい。コマンド位置情報は、例えば、ベースアドレスと、ベースアドレスからのオフセット値とを含んでよい。
　また、以下の説明では、コマンド情報は、キューで管理される。キューは、データ構造（データ保持構造）の一例である。コマンドに関する情報等の情報が、キュー以外のデータ構造で管理されてもよい。
　また、以下の説明では、FCPは、第１プロトコルの一例であり、NVMeは、第２プロトコルの一例である。
　或る観点から言えば、第１プロトコルは、ベンダ固有のプロトコル（例えば、ベンダカスタマイズを少なくとも第２プロトコルよりも可能なプロトコル）でよい。一方、NVMeのような第２プロトコルは、サーバメモリ（サーバ装置内のメモリ）内のキューの作り方と、サーバメモリ内のキューをインターフェースデバイス（転送デバイスの一例）に読み出させる方式が標準化規格によって決まっているプロトコルでよい。
　別の観点から言えば、第２プロトコルによれば、インターフェースデバイス内に複数のプロセッサコア（例えばコマンドを解釈するプロセッサコア）が存在することは、ノード装置に意識されないでよい（インターフェースデバイスによってノード装置に対して隠蔽されてよい）。一方、第１プロトコルによれば、インターフェースデバイス内の複数のプロセッサコア（例えばコマンドを解釈するプロセッサコア）の各々がノード装置（ノード装置で実行されるプログラム）により認識されてよい。
　図１１は、実施例１に係る計算機システムの構成例を示す。
　計算機システム５０は、複数のノード装置の一例として、１以上のサーバ装置１００と１以上のストレージ装置３００とを有する。１以上のサーバ装置１００は、１以上のシャーシ（以下、サーバシャーシ）５２に収納されており、１以上のストレージ装置３００は、１以上のシャーシ（以下、ストレージシャーシ）５４に収納されている。図示の例では、１つのサーバシャーシ５２が、複数のサーバ装置１００と、PCIe-MUX（PCIeに従う通信を中継するマルチプレクサ）５１とを有し、１つのストレージシャーシ５４が、１つのストレージ装置３００を有する。複数のサーバ装置１００の各々が、インターフェースデバイス２００を有する。各インターフェースデバイス２００は、転送デバイスの一例であり、サーバ装置１００とストレージ装置３００間のコマンド転送を行う。１以上のサーバ装置１００と１以上のストレージ装置３００が同一のシャーシに搭載されてもよい。
　図１は、サーバ装置１００及びストレージ装置３００の構成例を示す。なお、以下の説明では、符号のアルファベットによって要素を区別する必要がない場合、符号のアルファベットを省略することがある。
　サーバ装置１００は、メモリ１１０と、CPU１２０と、インターフェースデバイス２００とを含む。ストレージ装置３００は、複数のコントローラ（以下、CTL）４００と、複数の記憶デバイス３２０とを含む。複数の記憶デバイス３２０は、フラッシュメモリデバイス（例えばSSD）を含む。なお、複数の記憶デバイスは、HDDを含んでもよい。本実施例のストレージ装置３００には、２個のCTL４００（CTL＃０及び＃１）が含まれる。
　なお、本実施例に係る計算機システム５０は、Converged　Platformであることが好ましい。なお、Converged　PlatformはConverged　Infrastructure、Converged　Systemとも呼ばれ、日本語では「Converged」が「垂直統合」という用語に置き換わる場合がある。なお、本実施例では以下、これらをConverged　Platform（CPFと省略することもある）に統一して呼ぶ。
　CPFは、例えば、サーバ装置、ストレージ装置（CTLと記憶デバイスを含む）、及びこれらを接続するインターフェースデバイスを含む製品である。企業の管理者が個別にサーバ装置とストレージ装置を導入する場合、こうしたサーバ装置とストレージ装置の接続確認に代表される動作検証は管理者側で行われていた。しかし、CPFを導入する場合、製品を販売するベンダが事前に動作検証を行うため、製品を設置して使用する顧客の管理者による動作検証が不要又は削減できる。
　なお、一部のCPFは、サーバ装置、ストレージ装置、及びインターフェースデバイスの設定を一括して行う管理プログラムを実行する管理サブシステムを含む場合がある。この管理サブシステムは、管理者が希望する実行環境（仮想マシン（VM）、DBMS（Database　Management　System）、Webサーバ等）を迅速に提供することができる。例えば、管理プログラムは、必要なリソース量の仮想マシンを提供するために、サーバ装置及びストレージ装置に必要なリソースの割り当てをリクエストし、割り当てられたリソースを用いてVMを作成するようにハイパーバイザにリクエストする。
　さて、サーバ装置１００において、メモリ１１０は、サーバ装置１００の処理のためのプログラム及びデータを格納する。CPU１２０は、内部バスを介してメモリ１１０に接続され、メモリ１１０に格納されたプログラムに従ってサーバ装置１００の処理を実行する。
　ストレージ装置３００において、CTL４００は、インターフェースデバイス２００に接続され、インターフェースデバイス２００からのI/Oコマンドに応じて処理を行う。CTL４００は、メモリ８２８と、マイクロプロセッサ（以下、MP）４２０と、ドライブインターフェース４３０とを含む。メモリ８２８は、CTL４００の処理のためのプログラム及びデータを格納する。MP４２０は、内部バスを介してメモリ８２８に接続され、メモリ８２８に格納されたプログラムに従ってCTL４００の処理を実行する。ドライブインターフェース４３０は、MP４２０及び記憶デバイス３２０に接続され、CTL４００と記憶デバイス３２０の間の通信を制御する。記憶デバイス３２０は、データを格納し、CTL４００に接続され、CTL４００からアクセスされる。また、本実施例のストレージ装置３００には、少なくとも２個の記憶デバイス３２０（ブートデバイス（BOOT）３２０ａ及びデータデバイス（DATA）３２０ｂ）が含まれる。ブートデバイス３２０ａは、サーバ装置１００のためのプログラムを格納する。データデバイス３２０ｂは、CTL４００からのデータを格納する。
　インターフェースデバイス２００は、サーバ側バスを介してCPU１２０に接続され、ストレージ側バスを介してストレージ装置３００に接続され、サーバ装置１００及びストレージ装置３００間の通信を制御する。本実施例におけるサーバ側バス及びストレージ側バスは、PCIeバスである。本実施例におけるインターフェースデバイス２００は、２本のストレージ側バスを介して２個のCTL４００にそれぞれ接続されている。例えば、インターフェースデバイス２００は、サーバ装置１００のPCIeバス・スロットへ挿入される基板（アドオンカード）である。ストレージ側バスは、PCIeバス・ケーブルであってもよいし、基板であってもよい。また、インターフェースデバイス２００は、サーバ装置１００の外部に位置し、サーバ装置１００のPCIeバス・スロットに接続されたPCIeバス・ケーブルを介して接続されてもよい。また、インターフェースデバイス２００は、サーバ装置１００に代えてストレージ装置３００に搭載されてもよい。
　メモリ１１０は、ブートドライバ１１１と、OS１１２と、アプリケーション（アプリケーションプログラム）１１３と、ドライバ１１４（デバイスドライバ）を格納する。ブートドライバ１１１は、例えば、BIOS（Basic　Input/Output　System）又はEFI（Extensible　Firmware　Interface）に基づくプログラム等である。ブートドライバ１１１は、サーバ装置１００の電源投入時にメモリ１１０へ読み出され、CPU１２０により実行される。OS１１２は、ストレージ装置３００内のブートデバイス３２０ａに格納され、ブートドライバ１１１によりサーバ装置１００内のメモリ１１０へ読み出され、CPU１２０により実行される。ブートドライバ１１１は、FCPに従って、ブートデバイス内のOS１１２の読み出しを指示するI/Oコマンドをインターフェースデバイス２００へ発行する。
　複数のドライバ１１４は、FCPドライバ（FCPを用いるドライバ）１１４ａと、NVMeドライバ（NVMeを用いるドライバ）１１４ｂとを含む。FCPドライバ１１４ａとして、例えば、OS１１２に含まれないベンダ・プロプライエタリ・ソフトウェアを用い、FCPドライバ１１４ａは、インターフェースデバイス２００を制御する機能を含む。これにより、NVMeドライバ１１４ｂとして、OS１１２に含まれる標準ドライバを用いることができる。なお、FCPの代わりに、TCP-IP（Transmission　Control　Protocol－Internet　Protocol）等、他のプロトコル（具体的には、例えば、サーバ装置１００がブートに用いることができる他のプロトコル）が用いられてもよい。
　アプリケーション１１３は、ストレージ装置３００内のデータデバイス３２０ｂに格納され、サーバ装置１００のユーザ又はOS１１２により、サーバ装置１００内のメモリ１１０へ読み出され、CPU１２０により実行される。アプリケーション１１３は、データに関するコマンドをドライバ１１４へ発行する。ドライバ１１４は、アプリケーション１１３からのコマンドを格納するキュー１１５を管理する。ドライバ１１４は、アプリケーション１１３からのコマンドに基づいて、対応するプロトコルを用いるI/Oコマンドをインターフェースデバイス２００へ発行する。
　なお、複数のサーバ装置１００がストレージ装置３００の記憶デバイス３２０を共有してもよい。また、ストレージ装置３００のCTL４００は１個でもよく、３個以上でもよい。
　図２は、インターフェースデバイス２００の構成例を示す。
　インターフェースデバイス２００は、通信プロセッサ２３０と、DMAコントローラ２４０と、FCPキュー制御回路２５７ａと、NVMeキュー制御回路２５７ｂと、複数のバス制御回路２６０と、記憶部２７０とを含む。これらの要素は、内部バスを介して接続されている。通信プロセッサ２３０は、複数のプロセッサコア２３１を含む。以下、プロセッサコアを、「LRP」と言う。なお、LRP２３１は、プロセッサであってもよい。DMAコントローラ２４０は、複数のDMAコア（XDMA）２４１を含む。記憶部２７０は、揮発性メモリ及び不揮発性メモリのようなメモリを少なくとも１つ含む。記憶部２７０は、例えば、フラッシュメモリを含む。フラッシュメモリは、不揮発メモリの一例であり、サーバ装置１００へ提供されるPCIeの拡張ROM（Read　Only　Memory）空間に対応する記憶領域を含み、その記憶領域に前述のブートドライバ１１１を格納する。サーバ装置１００は、起動時に、拡張ROM空間を指定することにより、フラッシュメモリからサーバ装置１００のメモリ１１０へブートドライバ１１１を読み出し、ブートドライバ１１１を実行する。なお、ブートドライバ１１１は、サーバ装置１００又はストレージ装置３００内の不揮発性メモリに格納されていてもよい。
　キュー制御回路２５７は、サーバ側バスを介してサーバ装置１００のCPU１２０に接続される。FCPキュー制御回路２５７ａは、FCPドライバ１１４ａからアクセスされるレジスタ空間（以下、FCPレジスタ空間）２１０ａを提供する制御回路である。NVMeキュー制御回路２５７ｂは、NVMeドライバ１１４ｂからアクセスされるレジスタ空間（以下、NVMeレジスタ空間）２１０ｂを提供する制御回路である。レジスタ空間２１０ａ及び２１０ｂは、それぞれ、CPU１２０により用いられるアドレス空間におけるMMIO(Memory　Mapped　Input/Output）空間に割り当てられている。FCPレジスタ空間２１０ａは、LRP２３１毎のレジスタ２１１ａを含む。NVMeレジスタ空間２１０ｂは、NVMeドライバ１１４ｂにより使用されるレジスタ２１１ｂを含む。以下、レジスタ２１１ａを、「FCPレジスタ２１１ａ」と言い、レジスタ２１１ｂを、「NVMeレジスタ２１１ｂ」と言う。本実施例では、FCPレジスタ２１１ａは、LRP２３１毎に存在する。このため、LRP＃０～＃３にそれぞれ関連付けられた４個のFCPレジスタ＃０～＃３がFCPレジスタ空間２１０ａにある。一方、NVMeレジスタ２１１ｂは、LRP２３１より多くても少なくてもよく、本実施例では、６４個のNVMeレジスタ＃０～＃６３がNVMeレジスタ空間２１０ｂにある。
　FCPキュー制御回路２５７ａは、FCPコマンド（FCPに従うコマンド）に関するキューであるFCPキュー２２０ａを有し、NVMeキュー制御回路２５７ｂは、NVMeコマンド（NVMeに従うコマンド）に関するキューであるNVMeキュー２２０ｂを有する。後述するように、FCPキュー２２０ａは、LRP２３１毎に存在し（すなわち、LRP＃０～＃３にそれぞれ関連付けられたFCPキュー＃０～＃３が存在し）、NVMeキュー２２０ｂは、LRP＃０～＃３に共通である。FCPキュー２２０ａ及びNVMeキュー２２０ｂの各々の制御については、後に詳述する。キュー２２０は、コマンド情報のキューである。
　また、図１及び図２において、キュー１１５、レジスタ２１１及びキュー２２０は、サーバ装置１００からストレージ装置３００へのコマンドに関わる要素であるが、ストレージ装置３００からサーバ装置１００への応答に関わる要素として、キュー１１５、レジスタ２１１及びキュー２２０のうちの少なくとも１つと同様の要素が用意されていて、その用意された要素を使用して、ストレージ装置３００からサーバ装置１００への応答が行われてもよい。
　バス制御回路２６０は、ストレージ側バス毎に設けられる。バス制御回路２６０は、ストレージ側バスを介してストレージ装置３００のCTL４００のＭＰ４２０に接続される。バス制御回路２６０は、制御回路（図示せず）と、CTL４００によりアクセスされるストレージ用レジスタ（図示せず）とを含む。制御回路は、ストレージ用レジスタ及び記憶部２７０を制御する。なお、図２（及び図１）には示されていないが、本実施例では、インターフェースデバイス２００は、図１１に示したPCIe-MUX５１経由でストレージ装置３００と通信する。しかし、PCIe-MUX５１は無くてもよい。
　サーバ側バスにおいて、サーバ装置１００（具体的には、例えば、CPU１２０）がRoot　Complexとなり、インターフェースデバイス２００がEndpointとなる。ストレージ側バスにおいて、CTL４００（具体的には、例えば、MP４２０）がRoot　Complexとなり、インターフェースデバイス２００がEndpointとなる。
　通信プロセッサ２３０は、キュー２２０から取り出したコマンド情報に含まれているコマンド（又はそのコマンド情報内のメタ情報に関連付いているコマンド）に基づくリクエスト（例えばI/Oリクエスト）をストレージ装置３００へ発行する。更に、通信プロセッサ２３０は、サーバ装置１００及びストレージ装置３００からDMAのための情報（例えば、転送元アドレス及び転送先アドレスのうちの少なくとも１つを含んだ情報）を取得し、取得した情報に基づいてDMAの指示をDMAコントローラ２４０へ発行する。DMAコントローラ２４０は、通信プロセッサ２３０からの指示に基づいて、サーバ装置１００内のメモリ１１０とストレージ装置３００内のメモリ８２８との間でバースト転送を行う。
　本実施例におけるインターフェースデバイス２００は、４個のLRPを含み、４個のDMAコアを含み、２個のターゲットポートを含む。ターゲットポートは、インターフェースデバイス２００において、ストレージ側バスが接続されるポートであり、CTL４００毎に設けられる。インターフェースデバイス２００に対して１個、２個、又は４個のファンクションが設定される。ここで言う「ファンクション」は、PCIeデバイスのファンクションである。１個のPCIeデバイスが、複数のファンクションを持つことにより、複数のPCIeデバイスとして動作することができる。本実施例のファンクションは、FCPコマンド（例えばFCPに従うI/Oコマンド）を処理するFCPファンクションと、NVMeコマンド（例えばNVMeに従うI/Oコマンド）を処理するNVMeファンクションとのいずれかである。４個のLRPの各々は、１以上のファンクションに割り当てられる。
　この構成によれば、サーバ装置１００は、複数のプロトコルを用いてストレージ装置３００内のデータにアクセスすることができる。また、NVMeに加えて、FCPを用いることができる。また、インターフェースデバイス２００が拡張ROM領域に割り当てられた不揮発性メモリにブートドライバ１１１を格納することにより、サーバ装置１００は、PCIeバスを介してブートドライバ１１１を読み出すことができる。また、プロトコル毎のバスを用いる場合に比べ、複数のプロトコルでサーバ側バスを共用することにより、サーバ装置１００のバス・スロットの消費を削減できる。また、サーバ装置１００が特定プロトコルによりサーバ側バスを介してOSを読み出してブートし、ブート後に、NVMeプロトコルによりサーバ側バスを介してデータ転送を行うことにより、特定プロトコルにより使用されたサーバ側バスの帯域をNVMeプロトコルに使用することができ、サーバ側バスの帯域を有効に利用することができる。
　ファンクションは、デバイスモードにより決定される。計算機システムの管理者は、インターフェースデバイス２００に対し、複数のデバイスモードの何れか一つを設定することができる。例えば、キュー制御回路２５７は、予め記憶部２７０（例えばフラッシュメモリ）に格納されたデバイスモードの情報を、起動時に読み出し、PCIeのLink　Up時までにデバイスモードを設定する。また、サーバ装置１００、計算機システムに接続される管理サブシステム、インターフェースデバイス２００に設けられる外部ピン等から、インターフェースデバイス２００のデバイスモードを設定してもよい。
　以下、インターフェースデバイス２００のファンクションを設定するデバイスモードについて説明する。
　図３は、インターフェースデバイス２００のデバイスモードの一例を示す。
　本実施例において、インターフェースデバイス２００は、デバイスモード＃１～＃４の何れか一つに設定される。デバイスモード＃１は、１FCPモードと呼ぶことができる。このデバイスモードにおいてインターフェースデバイス２００は、１個のFCPファンクションであるファンクション＃０を持ち、その１個のファンクションに４個のLRPを割り当てる。デバイスモード＃２は、２FCPモードと呼ぶことができる。このデバイスモードにおいてインターフェースデバイス２００は、２個のFCPファンクションであるファンクション＃０、＃１を持ち、各ファンクションに２個のLRPを割り当てる。デバイスモード＃３は、１FCP/１NVMeモードと呼ぶことができる。このデバイスモードにおいてインターフェースデバイス２００は、１個のFCPファンクションであるファンクション＃０と、１個のNVMeファンクションであるファンクション＃２とを持ち、各ファンクションに４個のLRPを割り当てる。デバイスモード＃４は、２FCP/２NVMeモードと呼ぶことができる。このデバイスモードにおいてインターフェースデバイス２００は、２個のFCPファンクションであるファンクション＃０、＃１と、２個のNVMeファンクションであるファンクション＃２、＃３とを持ち、各ファンクションに２個のLRPを割り当てる。FCPファンクションとNVMeファンクションは同じLRPを時分割でシェアできる。
　サーバ側バスは、マルチパスであってもよい。この場合、デバイスモード＃２、＃４のように、インターフェースデバイス２００が、２個のパスにそれぞれ対応する同一プロトコルの２個のファンクションを含み、サーバ装置１００が、それら２個のファンクションをそれぞれ制御する２個のNVMeドライバ１１４ｂを実行し、それら２個のNVMeドライバ１１４ｂを選択するパスマネージャプログラムを実行することにより、I/Oコマンドを複数のパスに振り分けることができる。これらのデバイスモードにおいては、ファンクション当たりの通信プロセッサ数が２個になるため、サーバ側バスのパス当たりの最大性能は、２個のLRPの性能が上限となる。
　なお、通信プロセッサ２３０が、複数のCTL４００へI/Oリクエストを振り分けてもよい。この場合、２個のNVMeファンクションのそれぞれが２個のLRPを使う必要はなく、１個のNVMeファンクションが４個のLRPを使うことができる。また、インターフェースデバイス２００が２個のFCPファンクション＃０、＃１をサーバ装置１００へ提供し、FCPファンクション＃０がI/Oを起動した場合にI/OリクエストをCTL＃０へ発行し、FCPファンクション＃１がI/Oを起動した場合にI/OリクエストをCTL＃１へ発行するように設定されてもよい。また、インターフェースデバイス２００が１個のプロトコルに対して１個のファンクションをサーバ装置１００へ提供する場合、通信プロセッサ２３０が各CTL４００の帯域の使用状況や、アクセス先のストレージ装置３００内のアドレス等に基づいて、CTL＃０、＃１のいずれにI/Oリクエストを発行するかを決定してもよい。例えば、通信プロセッサ２３０は、帯域の使用状況として、各CTL４００から現在転送中（ビジー）であるか否かを示す情報を取得し、一方のCTL４００がビジーであると判定された場合、I/Oリクエストを他方のCTL４００へ発行する。また、通信プロセッサ２３０は、同一のデータのライトリクエストを複数のCTL４００へ発行することにより、そのデータを冗長化して書き込み、そのデータの信頼性を高めてもよい。
　ストレージ装置３００が複数のCTL４００を含むことにより、或るCTL４００に障害が発生しても、他のCTL４００へI/Oリクエストを発行することにより、計算機システムの信頼性を向上させることができる。また、通信プロセッサ２３０が複数のターゲットポートに接続され、複数のターゲットポートが複数のCTL４００にそれぞれ接続されることにより、通信プロセッサ２３０は、複数のCTL４００の状況に応じてI/Oリクエストの発行先のCTL４００を選択することができ、計算機システムの性能を向上させることができる。デバイスモード＃２、＃４のように、インターフェースデバイス２００が複数のパスにそれぞれ対応する同一プロトコルの複数のファンクションを提供することにより、サーバ装置１００がパスを選択してI/Oコマンドを発行することができる。
　以下、図４及び図５を参照して、サーバ装置１００とストレージ装置３００間の通信の流れの一例を説明する。なお、図４及び図５の説明では、コマンドは、I/Oコマンドであるとする。また、図４及び図５の説明では、インターフェースデバイス２００についてデバイスモード＃３が設定されているとする。
　Ｓ１１０において、サーバ装置１００のアプリケーション１１３からのリクエストに応じて、ドライバ１１４が、メモリ１１０にコマンドを書き込む。ここで、ドライバ１１４は、データ転送に必要なメモリ１１０内の記憶領域をサーバ側記憶領域として確保し、サーバ側記憶領域のアドレスを示すScatter/Gather　List（SGL）を作成し、そのSGLをメモリ１１０に書き込む。I/Oコマンドがライトコマンドの場合、ドライバ１１４は、サーバ側記憶領域にライトデータ（そのライトコマンドに付随するライト対象のデータ）を書き込む。
　アプリケーション１１３がFCPドライバ１１４ａに対するI/Oコマンド（FCPコマンドの一例）をメモリ１１０（例えばいずれかのキュー１１５ａ）に書き込んだ場合、Ｓ２１０～Ｓ２５０の処理が行われる。すなわち、Ｓ２１０において、FCPドライバ１１４ａは、I/Oコマンドのメタ情報をFCPレジスタ＃０（書込み先のFCPレジスタ２１１ａの一例）に書き込み、FCPキュー制御回路２５７ａは、その書込み先のFCPレジスタ＃０に関連付けられているFCPキュー＃０に、そのI/Oコマンドメタ情報を追加する。Ｓ２２０において、LRP＃０により、FCPキュー＃０からそのI/Oコマンドメタ情報が取得される。Ｓ２３０において、LRP＃０は、そのI/Oコマンドメタ情報に基づいて、XDMA２４１に、I/Oコマンドのアドレスを設定する。Ｓ２４０において、アドレスが設定されたXDMA２４１が、設定されたアドレス（サーバ装置１００内のメモリ１１０）からI/Oコマンドを読み出し、そのI/Oコマンドを記憶部２７０に書き込む。Ｓ２５０において、XDMA２４１は、I/Oコマンドを読み出したこと（例えば、I/Oコマンドの書込み先アドレス（記憶部２７０におけるアドレス））をLRP＃０へ通知する。
　アプリケーション１１３が、NVMeドライバ１１４ｂに対するI/Oコマンド（NVMeコマンドの一例）をメモリ１１０（例えばいずれかのキュー１１５ｂ）に書き込んだ場合、Ｓ３１０～Ｓ３６０の処理が行われる。すなわち、Ｓ３１０において、LRP＃１（NVMeファンクションを割り当てられたLRPの一例）は、割込み（又はポーリング）により、NVMeキュー２２０ｂを参照しコマンド情報（本実施例ではコマンドそれ自体）がNVMeキュー２２０ｂに存在するか否かを判定している（すなわち、定期的に、NVMeキュー２２０ｂにコマンド情報が有るか否かを定期的にNVMeキュー制御回路２５７ｂに問い合わせている）。コマンド情報が無いと判定された場合、LRP＃１は、待機する。Ｓ３２０において、NVMeドライバ１１４ｂは、I/Oコマンドのメタ情報をNVMeレジスタ＃１（書込み先のNVMeレジスタ２１１ｂの一例）に書き込む。NVMeレジスタは、後述するようにドアベルレジスタであり、そのレジスタに情報が書き込まれると割込みが発生する。Ｓ３３０において、NVMeキュー制御回路２５７ｂは、そのI/Oコマンドメタ情報に関連付いているI/Oコマンドを、サーバ装置１００内のメモリ１１０から読み出し、そのI/OコマンドをNVMeキュー２２０ｂに追加する。Ｓ３４０において、LRP＃１は、ポーリングにより、再びNVMeキュー２２０ｂを参照しコマンド情報が存在するか否かを判定する。コマンド情報が有ると判定された場合、Ｓ３５０において、LRP＃１は、コマンドリードリクエストをNVMeキュー制御回路２５７ｂへ発行する。NVMeファンクションに複数のLRPが割り当てられている場合、NVMeキュー制御回路２５７ｂは、同じ時間内に複数のコマンドリードリクエストを受信することがあるが、その場合、図示しないアービタにより、１つのコマンドリードリクエストを決定する。決定されたコマンドリードリクエストの送信元を、LPR＃１とする。Ｓ３６０において、NVMeキュー制御回路２５７ｂは、NVMeキュー２２０ｂ内のI/OコマンドをLRP＃１へ割り振る（LPR＃１に、I/Oコマンドが読み出される）。なお、Ｓ３４０のポーリングの代替として、Ｓ２２０のような通知が行われてもよいし、Ｓ３４０のポーリングとＳ２２０の通知が併用されてもよい。
　Ｓ２５０又はＳ３６０の後、Ｓ４１０において、LRP２３１（上記の例でいえば、LRP＃０又は＃１）は、読み出されたI/Oコマンドを、ストレージ装置３００のプロトコルを用いたI/Oリクエストに変換し、そのI/Oリクエストを記憶部２７０へ書き込む。ストレージ装置３００のプロトコルは、規格化された所定のプロトコルであってもよいし、ベンダ・プロプライエタリのプロトコルであってもよい。Ｓ４２０において、バス制御回路２６０は、そのI/OリクエストをCTL４００内のメモリ８２８へ書き込む。
　Ｓ５１０において、CTL４００は、メモリ８２８からI/Oリクエストを読み出して解析し、転送に必要なメモリ８２８内の記憶領域をストレージ側記憶領域として確保する。ここで、CTL４００は、ストレージ側記憶領域のアドレスを示すSGLを作成し、そのSGLをメモリ８２８へ書き込む。I/Oリクエストがリードリクエストの場合、CTL４００は、記憶デバイス３２０からリードデータ（そのリードリクエストに従うリード対象のデータ）を読み出し、ストレージ側記憶領域へリードデータを書き込む。
　Ｓ５２０において、CTL４００は、サーバ装置１００内のメモリ１１０とCTL４００内のメモリ８２８との間の転送を要求するDMAリクエストを生成し、そのDMAリクエストをメモリ８２８へ書き込む。Ｓ５３０において、CTL４００は、そのDMAリクエストのメタ情報を、インターフェースデバイス２００内のバス制御回路２６０内のストレージ用レジスタへ書き込む。Ｓ５４０において、バス制御回路２６０は、そのメタ情報に基づいて、CTL４００内のメモリ８２８からDMAリクエストを読み出し、そのDMAリクエストを記憶部２７０に書き込む。Ｓ５５０において、バス制御回路２６０は、そのDMAリクエストをLRP２３１へ通知する。
　Ｓ６１０において、LRP２３１は、サーバ装置１００のメモリ１１０内のSGLを読み出すことを要求するSGLリードリクエストを記憶部２７０に書き込む。Ｓ６２０において、LRP２３１は、CTL４００のメモリ８２８内のSGLを読み出すことを要求するSGLリードリクエストを記憶部２７０に書き込む。
　Ｓ６３０において、キュー制御回路２５７は、サーバ装置１００のメモリ１１０からSGLを読み出し、読み出されたSGLを記憶部２７０に書き込む。Ｓ６４０において、キュー制御回路２５７は、サーバ装置１００からSGLを読み出したことをLRP２３１へ通知する。Ｓ６５０において、バス制御回路２６０は、CTL４００のメモリ８２８からSGLを読み出し、読み出されたSGLを記憶部２７０に書き込む。Ｓ６６０において、バス制御回路２６０は、CTL４００からSGLを読み出したことをLRP２３１へ通知する。
　Ｓ６７０において、LRP２３１は、サーバ装置１００から読み出されたSGLと、CTL４００から読み出されたSGLとに基づいて、サーバ側記憶領域とストレージ側記憶領域の間のDMAを要求するリクエストパラメータを生成する。Ｓ６８０において、LRP２３１は、生成されたリクエストパラメータを用いてDMAコントローラ２４０へDMAを指示する。
　Ｓ７１０において、DMAコントローラ２４０は、リクエストパラメータに基づいてDMAを実行する。I/Oコマンドがライトコマンドの場合、DMAコントローラ２４０は、サーバ側記憶領域に格納されたライトデータを、ストレージ側記憶領域へ転送する。I/Oコマンドがリードコマンドの場合、DMAコントローラ２４０は、ストレージ側記憶領域に格納されたリードデータを、サーバ側記憶領域へ転送する。
　Ｓ７２０において、DMAコントローラ２４０は、DMAを完了すると、DMAの完了をLRP２３１へ通知する。Ｓ７３０において、LRP２３１は、DMAリクエストの応答としてDMA完了通知を記憶部２７０に書き込む。Ｓ７４０において、バス制御回路２６０は、そのDMA完了通知をCTL４００内のメモリ８２８に書き込む。Ｓ７５０において、CTL４００は、メモリ８２８からDMA完了通知を読み出し、完了を示す情報をI/Oリクエストに対する応答としてメモリ８２８に書き込み、その応答のメタ情報を、インターフェースデバイス２００内のストレージ用レジスタに書き込む。Ｓ７６０において、バス制御回路２６０は、そのメタ情報に基づいて、CTL４００内のメモリ８２８から応答を読み出し、その応答を記憶部２７０に書き込む。Ｓ７７０において、バス制御回路２６０は、その応答をLRP２３１へ通知する。
　Ｓ８１０において、LRP２３１は、サーバ装置１００及びストレージ装置３００への応答パラメータを作成し、応答パラメータを記憶部２７０に書き込む。
　Ｓ８２０において、LRP２３１は、応答パラメータの作成の完了の通知をキュー制御回路２５７へ要求する。Ｓ８３０において、キュー制御回路２５７は、記憶部２７０に格納された応答パラメータをサーバ装置１００内のメモリ１１０に書き込む。Ｓ８４０において、キュー制御回路２５７は、サーバ装置１００へPCIeの割込みを発行する。Ｓ８５０において、サーバ装置１００内のドライバ１１４は、その割込みに応じて、メモリ１１０に格納された応答パラメータを読み出し、応答パラメータの受信の通知をレジスタ２１１に書き込む。
　Ｓ９２０において、LRP２３１は、応答パラメータの作成の完了の通知をバス制御回路２６０へ要求する。Ｓ９３０において。バス制御回路２６０は、記憶部２７０に格納された応答パラメータをCTL４００内のメモリ８２８に書き込む。Ｓ９４０において、バス制御回路２６０は、CTL４００内のメモリ８２８へ応答パラメータの通知を書き込む。Ｓ９５０において、CTL４００は、その通知に応じて、メモリ８２８に格納された応答パラメータを読み出し、応答パラメータの受信をストレージ用レジスタに書き込む。
　以上、図４及び図５を参照した説明によれば、インターフェースデバイス２００がサーバ装置１００からのI/Oコマンドをストレージ装置３００のプロトコルのI/Oリクエストに変換し、そのI/Oリクエストをストレージ装置３００へ発行する。このため、サーバ装置１００のプロトコルに合わせて、ストレージ装置３００のプロトコルを変更する必要がない。また、サーバ装置１００及びストレージ装置３００が、DMAの転送元及び転送先の記憶領域を示すSGLを作成することにより、インターフェースデバイス２００は、サーバ装置１００内のメモリ１１０とストレージ装置３００内のメモリ８２８との間でDMAを行うことができる。インターフェースデバイス２００がDMAを行うことにより、サーバ装置１００がストレージ装置３００のプロトコルを用いることなく、ストレージ装置３００がサーバ装置１００のプロトコルを用いることなくデータを転送することができる。
　サーバ装置１００とストレージ装置３００間の通信では、インターフェースデバイス２００においてキュー制御が行われる。以下、キュー制御に関して、詳細に説明する。なお、以下の説明では、１つのアプリケーション１１３が、FCPドライバ１１４ａのキュー１１５ａとNVMeドライバ１１４ｂのキュー１１５ｂのどちらにもコマンドを書き込むことができるようになっていてもよい。また、第１のアプリケーションがFCPドライバ１１４ａのキュー１１５ａにのみコマンドを書き込むことができて、第２のアプリケーションがNVMeドライバ１１４ｂのキュー１１５ｂにのみコマンドを書き込むことができるようになっていてもよい。また、LRP＃０～＃３のいずれも、FCPコマンドとNVMeコマンドのいずれも転送できるようになっていてもよい。また、LRP＃０～＃３のうちの２以上のLRP（例えば全てのLRP）が、FCPコマンドを転送できるようになっていて、一部の複数のLRPが、NVMeコマンドを転送できるようになっていてもよい。
　図６は、キュー制御の概要の一例を示す。
　サーバ装置１００内のメモリ１１０には、FCPコマンドが書き込まれる記憶領域（キュー１１５ａが格納される領域）であるFCP領域４１０ａと、NVMeコマンドが書き込まれる記憶領域（キュー１１５ｂが格納される領域）であるNVMe領域４１０ｂとが、例えばCPU１２０によりそれぞれ確保される。複数のキュー１１５ｂは、AdminコマンドのキューであるAdminキューと、I/OコマンドのキューであるI/Oキューとを含む。Adminキュー及びI/Oキューの各々は、１個以上存在する。本実施例では、１個のAdminキュー＃０と、６３個のI/Oキュー＃１～＃６３とが存在する。キュー１１５ｂとNVMeレジスタ２１１ｂは、１：１で関連付けられてよいが、ｍ：１、１：ｎ、又は、ｍ：ｎで関連付けられてもよい。ｍ及びｎは、それぞれ自然数であり、同じ値（ｍ＝ｎ）であっても異なる値（ｍ≠ｎ）であってもよい。
　FCPキュー２２０ａが、LRP２３１毎に存在する。すなわち、FCPキュー２２０＃０～＃３は、それぞれ、LRP＃０～＃３（例えば、FCPコマンドの転送のイニシエートが可能なLRP＃０～＃３）に関連付けられている。一方、NVMeキュー２２０ｂは、複数のLRP２３１（例えば、NVMeコマンドの転送のイニシエートが可能なLRP＃０～＃３）に共有である。この構成は、例えば以下の点で好ましい。
　すなわち、LRP２３１毎にキューが関連付けられていると、キューの排他ロジックが不要であり、故に、シンプルな実行環境（例えば処理又は構成）とすることが期待できる。このため、FCPドライバ１１４ａ及びFCPキュー制御回路２５７ａのうちの少なくとも１つの構成をシンプルな構成とすることが期待できる。特に、FCPは、少なくともNVMeよりも、ベンダがカスタマイズできる範囲が大きいプロトコルであり、また、LRP２３１を個々にサーバ装置１００に認識させることができるプロトコルである。このため、LRP２３１へのコマンドの割り振りを（いずれのコマンドをいずれのLRPに振り分けられるようにするかを）、サーバ装置１００のFCPドライバ１１４ａが制御できる。例えば、キュー１１５ａとFCPレジスタ２１１ａが１：１で対応付けられていれば、FCPドライバ１１４ａは、FCPコマンドの書込み先のキュー１１５ａを決めることで、そのFCPコマンドの割り振り先のLRP２３１（FCPキュー２２０ａ）を決めることができる。このため、シンプルな実行環境を提供できる本実施例に係る構成は有用である。
　この観点からすれば、FCPキュー２２０ａだけでなくNVMeキュー２２０ｂもLRP２３１毎に関連付けることが好ましいと考えられる。しかし、本実施例では、NVMeについては、そのような構成は採用されず、NVMeキュー２２０ｂは複数のLRP２３１に共有のキューとされる。なぜなら、NVMeには、処理の負荷がI/Oコマンドよりも高い種類のコマンド、具体的には、I/Oコマンドよりも転送に多くの処理を必要とするAdminコマンドがサポートされており、そのようなコマンドがサポートされているNVMeについても、キュー２２０ｂをLRP２３１毎に用意すると、そのようなAdminコマンドを処理しているLRP２３１の負荷が高くなり、そのLRP２３１のキューに存在するI/Oコマンドの処理がしばらく開始されず、全体として、スループットが低下するおそれがあるためである。特に、NVMeは、メモリ１１０内のキュー１１５をインターフェースデバイス２００に読み出させる方式が標準化規格によって決まっているプロトコルである。その観点から、LRP２３１毎にNVMeキューが用意された場合、制御回路２５７ｂ（例えばそれのファームウェア）の構成がシンプルになるようなコマンド割振り論理（例えばラウンドロビン）を採用することが好ましいが、そうすると、Adminコマンドを処理中の負荷の高いLRP２３１のキューに未転送のI/Oコマンドが追加されることになり得る。更にNVMeは、キュー２２０とメモリ１１０間のインターフェースは意識されている（仕様上決まっている）ものの、LRP２３１がサーバ装置１００からは意識されない（サーバ装置１００に対して隠蔽される）。以上のうちの少なくとも１つの理由から、本実施例では、NVMeキュー２２０ｂは複数のLRP２３１に共有のキューとされる。
　なお、「I/Oコマンドよりも転送に多くの処理を必要とするAdminコマンド」がNVMeについてはサポートされていることが、NVMeキュー２２０ｂが複数のLRP２３１に共有のキューとされている理由の１つであるが、そのようなAdminコマンドとしては、例えば、Identify　Namespace　Data　Structureコマンドがある。Identify　Namespace　Data　Structureは、そのコマンドで指定されたNamespaceの情報をTargetから取得するためのコマンドである。具体的には、例えば、このコマンドによれば、（１）LU存在確認（Test　Unit　Readyを１回以上（例えば最大３回）実行してLUがアクセス可能であるかを確認すること）、（２）LU容量取得（Read　Capacityコマンドの送信（LUの容量の問合せ））、（３）NAA情報取得（第１のInquiryコマンドの送信（LUの識別子（NAA）の問合せ））、及び、（４）使用量情報取得（第２のInquiryコマンドの送信（LUの使用中容量の問合せ））が実行されることになる。なお、「LU」とは、ストレージ装置３００が提供する論理ボリュームとしての論理ユニットの略である。また、「Adminコマンド」は、NVMeコマンドの一種であり、NVMeに従うI/Oコマンドと異なるコマンドである特殊コマンド（例えば管理系コマンド）の一例である。NVMeコマンドは、例えばNVMeドライバ１１４ｂから発行される。Adminコマンドの他の例として、Delete　I/O　Submission　QueueコマンドやCreate　I/O　Submission　Queueコマンドのように、Targetとのやりとりが発生しないコマンドもある。
　また、本実施例によれば、サーバ装置１００が、NVMeでサポートされていないファンクションの実行のためのFCPコマンドを発行することができる。それは、サーバ装置１００のOSの読み出しに限らないでよい。例えば、NVMeでRAS（Reliability　Availability　Serviceability）情報収集がサポートされていない場合、アプリケーション１１３が、RAS情報収集のためのコマンドをFCPドライバ１１４ａ経由で発行し、FCPコマンドに対する応答としてRAS情報がサーバ装置１００に返されてもよい。また、NVMeでサポートされていない障害情報取得が（例えば、インターフェースデバイス２００における所定の記憶領域に記録されている障害情報の取得が）、FCPに従い行われてもよい。具体的には、例えば、障害情報（例えば、記憶部２７０に含まれるRAM（Random　Access　Memory）のRAMコレクタブル障害を表す情報）がインターフェースデバイス２００における所定の記憶領域に書き込まれた場合に、割込みがCPU１２０に送られ、CPU１２０が、FCPドライバ１１４ａにより、障害情報採取のためのFCPコマンドを発行してもよい。
　図７は、FCPキュー制御の概要の一例を示す。
　上述したように、FCPキュー２２０ａには、FCPコマンド情報として、FCPコマンドメタ情報が格納される。FCPコマンドメタ情報は、FCPコマンドのメタ情報であり、例えば４B（バイト）の情報である。メタ情報は、FCPコマンド位置情報を含んでおり、その位置情報は、例えば、ベースアドレスからのオフセット値と、FCPコマンド７０１が追加されたキュー１１５ａの識別番号とを含んでよい。
　FCP領域４１０ａのキュー１１５ａにFCPコマンド７０１が追加された場合、そのFCPコマンド７０１のメタ情報が、FCPキュー２２０ａに追加される。FCPコマンドメタ情報がFCPキュー２２０ａに追加された場合、そのFCPコマンドメタ情報が、そのFCPキュー２２０ａに関連付けられているLRP２３１により取得される（Ｓ２１）。具体的には、例えば、ベースアドレスと、FCPコマンドメタ情報が含むFCPコマンド位置情報（例えば、ベースアドレスからのオフセット値）とを含んだ情報が取得される。LRP２３１は、その情報に従うアドレス（FCPコマンド７０１が位置するアドレス）を、XDMA２４１に設定する（Ｓ２２）。XDMA２４１が、その設定されたアドレスからFCPコマンド７０１を読み出し（Ｓ２３）、読み出したFCPコマンド７０１をLRP２３１に割り振る（Ｓ２４）。この一連の処理では、例えば、Ｓ２２において、LRP２３１が、XDMA２２に転送元アドレスと転送先アドレスとを設定してよく、転送元アドレスが、FCPコマンド７０１が位置するアドレスでよく、転送先アドレスが、記憶部２７０における領域のアドレスでよい。Ｓ２３及びＳ２４では、XDMA２４１が、転送元アドレスから転送先アドレスへFCPコマンド７０１をＤＭＡにより転送し、その転送完了をLAP２３１に通知し、LRP２３１が、その通知に応答して転送先アドレスの領域からFCPコマンド７０１を取得してもよい。
　以上のFCPキュー制御によれば、LRP２３１は、そのLRP２３１に関連付いているFCPキュー２２０ａに追加されたメタ情報に関連付いているFCPコマンド７０１をDMAにより取得することができる。
　図８は、NVMeキュー制御の概要の一例を示す。
　NVMeキュー制御回路２５７ｂは、複数のLRP２３１（＃０～＃３）にそれぞれ関連付けられた複数のインターフェース部６５１（＃０～＃３）を有している。各インターフェース部６５１は、そのインターフェース部６５１に関連付けられているLRP２３１から参照される領域であって、例えば、NVMeキュー２２０ｂにNVMeコマンド（例えば、I/Oコマンド、Adminコマンド）が存在するか否かを表す情報を記憶する。その情報は、図示の通り、一種のインデックス情報であり、例えば、NVMeキュー２２０ｂの先頭アドレス（ベースアドレス）と、NVMeキュー２２０ｂの後端アドレス（テールアドレス）とを含む。先頭アドレスと後端アドレスに差があれば、少なくとも１つのNVMeコマンドがNVMeキュー２２０ｂに存在するということである。各インターフェース部６５１が有する情報は、NVMeキュー２２０ｂにおけるNVMeコマンドの増減に応じて、NVMeキュー制御回路２５７ｂにより更新される。
　各NVMeレジスタ２１１ｂは、ドアベルレジスタである。NVMeレジスタ２１１ｂに情報が書き込まれると、そのNVMeレジスタ２１１ｂについて割込みがNVMeキュー制御回路２５７ｂに発生する。例えば、NVMeドライバ１１４ｂが、NVMe領域４１０ｂ内のキュー１１５ｂにNVMeコマンド６０１を追加した場合、そのキュー１１５ｂの識別番号を基に決定されたNVMeレジスタ２１１ｂに、そのNVMeコマンド６０１のメタ情報を書き込む。そのメタ情報は、例えば、NVMeコマンド６０１の位置を表す情報を含み、その情報は、NVMeコマンド６０１が追加されたキュー１１５ｂの識別番号を含んでよい。
　NVMeレジスタ２１１ｂにNVMeコマンド６０１のメタ情報が書き込まれたことにより発生した割込みに応答して、NVMeキュー制御回路２５７ｂは、そのNVMeレジスタ２１１ｂに書き込まれたメタ情報に関連付けられているNVMeコマンド６０１をNVMe領域４１０ｂから読み出し、その読み出したNVMeコマンド６０１を、NVMeキュー２２０ｂに追加する。
　NVMeキュー制御回路２５７ｂは、図示しないアービタを有する。アービタは、複数の取得リクエストから１つの取得リクエストを決定（選択）する。具体的には、例えば、各LRP（より具体的には、例えば、NVMeコマンドを処理することが定義された各LRP）２３１が、NVMeキュー２２０ｂにNVMeコマンドが存在するか否かを判定するために、定期的に、そのLRP２３１に関連付いているインターフェース部６５１を参照する（ポーリング）。このような参照を行うLRP２３１は、典型的には、NVMeコマンドの転送をイニシエートできる状態にあるLRP（例えば負荷が所定値より低い状態にあるLRP）である。LRP２３１は、NVMeキュー２２０ｂにNVMeコマンドが存在することを検出した場合、NVMeコマンドの取得リクエストをNVMeキュー制御回路２５７ｂに送信する（Ｓ７１）。
　NVMeキュー制御回路２５７ｂは、図示の通り、複数の取得リクエストを同時に受けることがある。複数の取得リクエストを受信した場合、NVMeキュー制御回路２５７ｂは、その複数の取得リクエストのうちアービタにより決定した取得リクエストの送信元のLRP２３１（図８の例ではLRP＃３）に対して、NVMeキュー２２０ｂ内のNVMeコマンドを割り振る。具体的には、例えば、NVMeキュー制御回路２５７ｂは、アービタにより決定した取得リクエストの送信元のLRP＃３に、成功（Valid）を意味する通知を返し（Ｓ７３Ｗ）、NVMeキュー２２０ｂからNVMeコマンドを読み出し（Ｓ７４）、そのNVMeコマンドをLRP＃３に割り振る（Ｓ７５）。一方、アービタにより決定されなかったLRP＃０～＃２の各々には、NVMeキュー制御回路２５７ｂは、失敗を意味する通知を返す（Ｓ７３Ｌ）
　以上のNVMeキュー制御によれば、複数のLRP２３１に共通のキュー２２０ｂにNVMeコマンドが集約され、NVMeキュー制御回路２５７ｂは、NVMeコマンドの転送をイニシエート可能な状態にあるLRP２３１からのリクエストに応答して、キュー２２０ｂからNVMeコマンドを割り振ればよい。このため、負荷の高いLRP２３１にI/Oコマンドが割り振られるといったことを回避でき、全体として、スループットの向上が期待できる。更に、NVMeキュー制御回路２５７ｂは、LRP２３１からのリクエスト無しにNVMeコマンドを割り振る論理を必要としないので、NVMeキュー制御回路２５７ｂの論理（例えばファームウェア）をシンプルな構成にすることが期待できる。
　実施例２を説明する。その際、実施例１との相違点を主に説明し、実施例１との共通点については説明を省略又は簡略する。
　図９は、実施例２に係るFCPキュー制御の概要の一例を示す。
　サーバ装置のCPUにより、１以上のVM（仮想マシン）を実行するハイパバイザが実行される。各VMに、複数のFCPキュー２２０ａのうちの一部のFCPキュー２２０ａが関連付けられる。言い換えれば、各FCPキュー２２０ａに、複数のVM９０１のうちの一部のVM９０１が関連付けられる。
　サーバ装置（例えばハイパバイザ）が、いずれかのVM９０１ら発行されたリクエストに従うFCPコマンドを、FCPドライバ１１４ａに対して発行し、FCPドライバ１１４ａが、そのFCPコマンドを、FCP領域４１０ａ内のキュー１１５ａ（具体的には、例えば、リクエスト発行元のVMが関連付けられているFCPキュー２２０ａに関連付いたFCPレジスタ２１１ａに対応しているキュー１１５ａ）に追加し、そのFCPコマンドのメタ情報を、FCPレジスタ２１１ａに書き込む。FCPキュー制御回路が、そのFCPレジスタ２１１ａ内のメタ情報に関連付いているFCPコマンド（VM９０１からのリクエストに従うコマンド）を、そのFCPレジスタ２１１ａに対応しているFCPキュー２２０ａに追加する。結果として、VM９０１からのリクエストに従うFCPコマンドは、そのVM９０１に関連付けられているFCPキュー２２０ａに追加される。
　FCPキュー２２０ａがLRP２３１毎に存在するので、VM９０１からのリクエストに従うコマンドは、FCPコマンドであることが好ましい。なぜなら、LRP２３１毎のFCPキュー２２０ａには、そのFCPキュー２２０ａが関連付けられている一部のVM９０１からのリクエスト（例えばI/Oリクエスト）に従うコマンド（例えばI/Oコマンド）が追加され、そのFCPキュー２２０ａが関連付けられていないVM９０１からのリクエストに従うコマンドは追加されることがないため、高いI/Oスループットが期待されるからである。
　以上、幾つかの実施例を説明したが、本発明は、それらの実施例に限定されるものでなく、その趣旨から逸脱しない範囲で、他の様々な形に変更することができる。
　例えば、インターフェースデバイス２００はこれまで説明してきたサーバ装置１００に含まれる形態ではなく、ストレージ装置３００に含まれる形態でもよく、サーバ装置１００とストレージ装置３００いずれにも含まれない形態であってもよい。
　また、例えば、NVMe領域４１０ｂ（キュー１１５ｂのセット）は、ファンクション毎に存在してもよい。複数のNVMe領域４１０ｂにおける複数のキュー１１５ｂは、識別番号が重複しないようNVMeキュー制御回路１２５７ｂにより再付番される（キュー１１５ｂの識別番号の仮想化）。各ファンクションに、複数のLRP２３１のうち一部のLRPが関連付けられる。例えば、ファンクション＃０に、LRP＃０及び＃２が関連付けられ、ファンクション＃１に、LRP＃１及び＃３が関連付けられる。ファンクション毎にリブート又はリカバリが必要であるが、そのリブート又はリカバリに拘束されるLRPが一部に制限されるので、スループットの低下の回避が期待できる。
１００…サーバ装置　２００…インターフェースデバイス　３００…ストレージ装置

Claims (15)

  1. 　複数のノード装置と、
    　ノード装置間のコマンド転送を行う転送デバイスと
    を有し、
    　前記転送デバイスは、少なくとも１つのノード装置と、前記複数のノード装置の外部とのうちのいずれかに設けられており、
    　前記転送デバイスは、
    　　複数のプロセッサコアと、
    　　前記複数のプロセッサコアのうちの２以上のプロセッサコアにそれぞれ関連付けられた２以上の第１プロトコルキューと、
    　　前記複数のプロセッサコアに共通の第２プロトコルキューと
    を有し、
    　前記２以上の第１プロトコルキューの各々は、第１プロトコルコマンドとその第１プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第１プロトコルコマンド情報のキューであり、
    　前記第２プロトコルキューは、第２プロトコルコマンドとその第２プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第２プロトコルコマンド情報のキューであり、
    　前記２以上のプロセッサコアの各々は、そのプロセッサコアに関連付けられている第１プロトコルキューから第１プロトコルコマンド情報を取得し、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第１プロトコルコマンドを転送することをイニシエートし、
    　前記第２プロトコルキューから第２プロトコルコマンド情報を取得したプロセッサコアが、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第２プロトコルコマンドを転送することをイニシエートし、
    　前記第１プロトコルコマンドは、第１プロトコルに従うコマンドであり、
    　前記第２プロトコルコマンドは、第２プロトコルに従うコマンドであり、
    　前記第２プロトコルは、前記第１プロトコルと異なるプロトコルであって、I/Oコマンドと１種類以上の特殊コマンドとをサポートするプロトコルであり、
    　前記１種類以上の特殊コマンドは、I/Oコマンドと異なる１種類以上のコマンドであり、I/Oコマンドよりも転送に多くの処理を必要とするコマンドである高負荷特殊コマンドを含む、
    計算機システム。
  2. 　前記複数のノード装置は、サーバ装置とストレージ装置とを含み、
    　前記第２プロトコルは、NVMe（NVM-Express（Non-Volatile Memory））であり、
    　前記１種類以上の特殊コマンドは、複数種類のAdminコマンドであり、
    　前記高負荷特殊コマンドは、Identify　Namespace　Data　Structureコマンドである、
    請求項１記載の計算機システム。
  3. 　前記サーバ装置が、前記サーバ装置において１以上の仮想マシンを実行するハイパバイザを実行し、
    　前記第１プロトコルは、FCP（Fibre　Channel　Protocol）であり、
    　前記１以上の仮想マシンの各々に、２以上のFCPキューのうちの一部のFCPキューが関連付けられ、
    　前記サーバ装置が、いずれかの仮想マシンから発行されたリクエストに従うコマンドを、FCPコマンドとし、
    　前記転送デバイスが、そのFCPコマンドを、そのリクエストの発行元の仮想マシンに関連付けられているFCPキューに追加する、
    請求項２記載の計算機システム。
  4. 　前記サーバ装置が、NVMeでサポートされていないファンクションの実行のためのFCPコマンドを発行する、
    請求項３記載の計算機システム。
  5. 　前記サーバ装置が、メモリと、FCPドライバと、NVMeドライバとを有し、
    　前記転送デバイスが、
    　　前記２以上のプロセッサコアにそれぞれ関連付けられた２以上のレジスタである２以上のFCPレジスタと、
    　　１以上のNVMeレジスタと
    を有し、
    　前記複数のプロセッサコアの各々が、
    　　前記転送デバイス内のNVMeキューにNVMeコマンド情報があるか否かを監視し、
    　　前記NVMeキューにNVMeコマンド情報があることを検出した場合、NVMeコマンドの取得リクエストを発行し、
    　前記FCPドライバに対するFCPコマンドが前記メモリに書き込まれた場合、
    　　前記FCPドライバが、そのFCPコマンドのメタ情報を、いずれかのFCPレジスタに書き込み、
    　　前記転送デバイスが、そのFCPレジスタに書き込まれたFCPコマンドメタ情報に関連付けられているFCPコマンドを前記メモリから読み出し、その読み出したFCPコマンドを、そのFCPレジスタが関連付けられているFCPキューに追加し、そのFCPキューにFCPコマンドを追加したことの通知を、そのFCPキューが関連付けられているプロセッサコアに送信し、
    　前記通知を受けたプロセッサコアが、そのプロセッサコアに関連付けられているFCPキューからFCPコマンド情報を取得し、
    　前記NVMeドライバに対するNVMeコマンドが前記メモリに書き込まれた場合、
    　　前記NVMeドライバが、そのNVMeコマンドのメタ情報を、いずれかのNVMeレジスタに書き込み、
    　　前記転送デバイスが、そのNVMeレジスタに書き込まれたNVMeコマンドメタ情報に関連付けられているNVMeコマンドを前記メモリから読み出し、その読み出したNVMeコマンドを、前記NVMeキューに追加し、
    　前記転送デバイスは、複数の取得リクエストから１つの取得リクエストを選択するアービタを有し、
    　前記転送デバイスは、２以上の取得リクエストを受信した場合、その２以上の取得リクエストのうち前記アービタにより決定した取得リクエストの送信元のプロセッサコアに対して、前記NVMeキュー内のNVMeコマンド情報を割り振る、
    請求項４記載の計算機システム。
  6. 　前記転送レジスタは、
    　　前記２以上のFCPレジスタを含み前記２以上のFCPキューを制御する制御回路であるFCPキュー制御回路と、
    　　前記１以上のNVMeレジスタと前記アービタとを含み前記NVMeキューを制御する制御回路であるNVMeキュー制御回路と
    を有し、
    　前記１以上のNVMeレジスタの各々は、前記NVMeキュー制御回路に対する割込みを発生するドアベルレジスタであり、
    　前記１以上のNVMeレジスタのいずれかにNVMeコマンドメタ情報が書き込まれたことにより発生した割込みに応答して、前記NVMeキュー制御回路は、
    　　そのNVMeコマンドメタ情報に関連付いているNVMeコマンドを前記メモリから読み出し、
    　　その読み出されたNVMeコマンドを前記NVMeキューに追加し、
    　前記２以上のFCPキューの各々には、FCPコマンドメタ情報が追加されるようになっており、
    　前記２以上のプロセッサコアの各々は、
    　　そのプロセッサコアに関連付けられているFCPキューからFCPコマンドメタ情報を取得し、
    　　その取得したFCPコマンドメタ情報に関連付いた第１プロトコルコマンドを転送することをイニシエートする、
    請求項５記載の計算機システム。
  7. 　前記転送デバイスは、DMA（Direct　Memory　Access）コントローラを有し、
    　第１プロトコルコマンドの転送のイニシエートとは、前記取得したFCPコマンドメタ情報から特定されるアドレスであって、そのFCPコマンドメタ情報に関連付いた第１プロトコルコマンドのアドレスを、前記DMAコントローラに通知することであり、
    　前記DMAコントローラは、その通知されたアドレスにある第１プロトコルコマンドであって前記メモリにある第１プロトコルコマンドを読み出す、
    請求項６記載の計算機システム。
  8. 　ノード装置間のコマンド転送方法であって、
    　いずれかのノード装置に書き込まれた第１プロトコルコマンドとその第１プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第１プロトコルコマンド情報を、コマンド転送をイニシエートする複数のプロセッサコアのうちの２以上のプロセッサコアにそれぞれ関連付けられた２以上の第１プロトコルキューのうちのいずれかに追加し、
    　その第１プロトコルキューに関連付けられているプロセッサコアにより、その第１プロトコルキューから第１プロトコルコマンド情報を取得し、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第１プロトコルコマンドを転送することをイニシエートし、
    　いずれかのノード装置に書き込まれた第２プロトコルコマンドとその第２プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第２プロトコルコマンド情報を、前記複数のプロセッサコアに共通の第２プロトコルキューに追加し、
    　前記第２プロトコルキューから第２プロトコルコマンド情報を取得したプロセッサコアにより、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第２プロトコルコマンドを転送することをイニシエートし、
     
    を有し、
    　前記２以上の第１プロトコルキューの各々は、のキューであり、
    　前記第２プロトコルキューは、のキューであり、
    　前記２以上のプロセッサコアの各々は、そのプロセッサコアに関連付けられている第１プロトコルキューから第１プロトコルコマンド情報を取得し、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第１プロトコルコマンドを転送することをイニシエートし、
    　前記第１プロトコルコマンドは、第１プロトコルに従うコマンドであり、
    　前記第２プロトコルコマンドは、第２プロトコルに従うコマンドであり、
    　前記第２プロトコルは、前記第１プロトコルと異なるプロトコルであって、I/Oコマンドと１種類以上の特殊コマンドとをサポートするプロトコルであり、
    　前記１種類以上の特殊コマンドは、I/Oコマンドと異なる１種類以上のコマンドであり、I/Oコマンドよりも転送に多くの処理を必要とするコマンドである高負荷特殊コマンドを含む、
    コマンド転送方法。
  9. 　ノード装置間のコマンド転送を行う転送デバイスであって、
    　複数のプロセッサコアと、
    　前記複数のプロセッサコアのうちの２以上のプロセッサコアにそれぞれ関連付けられた２以上の第１プロトコルキューと、
    　前記複数のプロセッサコアに共通の第２プロトコルキューと
    を有し、
    　前記２以上の第１プロトコルキューの各々は、第１プロトコルコマンドとその第１プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第１プロトコルコマンド情報のキューであり、
    　前記第２プロトコルキューは、第２プロトコルコマンドとその第２プロトコルコマンドのメタ情報とのうちの少なくとも１つを含んだ情報である第２プロトコルコマンド情報のキューであり、
    　前記２以上のプロセッサコアの各々は、そのプロセッサコアに関連付けられている第１プロトコルキューから第１プロトコルコマンド情報を取得し、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第１プロトコルコマンドを転送することをイニシエートし、
    　前記第２プロトコルキューから第２プロトコルコマンド情報を取得したプロセッサコアが、その取得した情報に含まれている又はその取得した情報内のメタ情報に関連付いた第２プロトコルコマンドを転送することをイニシエートし、
    　前記第１プロトコルコマンドは、第１プロトコルに従うコマンドであり、
    　前記第２プロトコルコマンドは、第２プロトコルに従うコマンドであり、
    　前記第２プロトコルは、前記第１プロトコルと異なるプロトコルであって、I/Oコマンドと１種類以上の特殊コマンドとをサポートするプロトコルであり、
    　前記１種類以上の特殊コマンドは、I/Oコマンドと異なる１種類以上のコマンドであり、I/Oコマンドよりも転送に多くの処理を必要とするコマンドである高負荷特殊コマンドを含む、
    転送デバイス。
  10. 　前記複数のノード装置は、サーバ装置とストレージ装置とを含み、
    　前記第２プロトコルは、NVMe（NVM-Express（Non-Volatile Memory））であり、
    　前記１種類以上の特殊コマンドは、複数種類のAdminコマンドであり、
    　前記高負荷特殊コマンドは、Identify Namespace Data Structureコマンドである、
    請求項９記載の転送デバイス。
  11. 　前記複数のノード装置は、サーバ装置を含み、
    　前記サーバ装置が、前記サーバ装置において１以上の仮想マシンを実行するハイパバイザを実行し、
    　前記１以上の仮想マシンの各々に、２以上の第１プロトコルキューのうちの一部の第１プロトコルキューが関連付けられ、
    　いずれかの仮想マシンから発行されたリクエストに従うコマンドは、第１プロトコルコマンドであり、
    　前記第１プロトコルは、前記第２プロトコルよりもベンダカスタマイズが可能なプロトコルであり、
    　前記転送デバイスが、その第１プロトコルコマンドを、そのリクエストの発行元の仮想マシンに関連付けられている第１プロトコルキューに追加する、
    請求項９記載の転送デバイス。
  12. 　少なくとも１つの第１プロトコルコマンドが、前記第２プロトコルでサポートされていないファンクションの実行のための第１プロトコルコマンドである、
    請求項９記載の転送デバイス。
  13. 　前記２以上のプロセッサコアにそれぞれ関連付けられた２以上のレジスタである２以上の第１プロトコルレジスタを含み前記２以上の第１プロトコルキューを制御する制御回路である第１プロトコルキュー制御回路と、
    　１以上の第２プロトコルレジスタを含み前記第２プロトコルキューを制御する制御回路である第２プロトコルキュー制御回路と
    を有し、
    　前記複数のプロセッサコアの各々が、
    　　前記転送デバイス内の第２プロトコルキューに第２プロトコルコマンド情報があるか否かを監視し、
    　　前記第２プロトコルキューに第２プロトコルコマンド情報があることを検出した場合、第２プロトコルコマンドの取得リクエストを発行し、
    　第１プロトコルコマンドのメタ情報がいずれかの第１プロトコルレジスタに書き込まれた場合、前記第１プロトコルキュー制御回路が、
    　　その第１プロトコルレジスタに書き込まれた第１プロトコルコマンドメタ情報に関連付けられている第１プロトコルコマンドを読み出し、
    　　その読み出した第１プロトコルコマンドを、その第１プロトコルレジスタに関連付けられている第１プロトコルキューに追加し、
    　　その第１プロトコルキューに第１プロトコルコマンドを追加したことの通知を、その第１プロトコルキューが関連付けられているプロセッサコアに送信し、
    　前記通知を受けたプロセッサコアが、そのプロセッサコアに関連付けられている第１プロトコルキューから第１プロトコルコマンド情報を取得し、
    　第２プロトコルコマンドのメタ情報がいずれかの第２プロトコルレジスタに書き込まれた場合、前記第２プロトコルキュー制御回路が、
    　　その第２プロトコルレジスタに書き込まれた第２プロトコルコマンドメタ情報に関連付けられている第２プロトコルコマンドを読み出し、
    　　その読み出した第２プロトコルコマンドを、前記第２プロトコルキューに追加し、
    　前記第２プロトコルキュー制御回路は、複数の取得リクエストから１つの取得リクエストを選択するアービタを有し、
    　前記第２プロトコルキュー制御回路は、２以上の取得リクエストを受信した場合、その２以上の取得リクエストのうち前記アービタにより決定した取得リクエストの送信元のプロセッサコアに対して、前記第２プロトコルキュー内の第２プロトコルコマンド情報を割り振る、
    請求項９記載の転送デバイス。
  14. 　前記１以上の第２プロトコルレジスタの各々は、前記第２プロトコルキュー制御回路に対する割込みを発生するドアベルレジスタであり、
    　前記１以上の第２プロトコルレジスタのいずれかに第２プロトコルコマンドメタ情報が書き込まれたことにより発生した割込みに応答して、前記第２プロトコルキュー制御回路は、
    　　その第２プロトコルコマンドメタ情報に関連付いている第２プロトコルコマンドを読み出し、
    　　その読み出された第２プロトコルコマンドを前記第２プロトコルキューに追加し、
    　前記２以上の第１プロトコルキューの各々には、第１プロトコルコマンドメタ情報が追加されるようになっており、
    　前記２以上のプロセッサコアの各々は、
    　　そのプロセッサコアに関連付けられている第１プロトコルキューから第１プロトコルコマンドメタ情報を取得し、
    　　その取得した第１プロトコルコマンドメタ情報に関連付いた第１プロトコルコマンドを転送することをイニシエートする、
    請求項１３記載の転送デバイス。
  15. 　DMA（Direct　Memory　Access）コントローラを有し、
    　前記複数のノード装置は、サーバ装置とストレージ装置とを含み、
    　前記第１プロトコルは、FCP（Fibre　Channel　Protocol）であり、
    　前記第２プロトコルは、NVMe（NVM-Express（Non-Volatile Memory））であり、
    　前記１種類以上の特殊コマンドは、複数種類のAdminコマンドであり、
    　第１プロトコルコマンドの転送のイニシエートとは、前記取得した第１プロトコルコマンドメタ情報から特定されるアドレスであって、その第１プロトコルコマンドメタ情報に関連付いた第１プロトコルコマンドのアドレスを、前記DMAコントローラに通知することであり、
    　前記DMAコントローラは、その通知されたアドレスにある第１プロトコルコマンドであって前記メモリにある第１プロトコルコマンドを読み出す、
    請求項１４記載の転送デバイス。
PCT/JP2015/077694 2015-09-30 2015-09-30 計算機システム、コマンド転送方法、及び、転送デバイス WO2017056220A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077694 WO2017056220A1 (ja) 2015-09-30 2015-09-30 計算機システム、コマンド転送方法、及び、転送デバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077694 WO2017056220A1 (ja) 2015-09-30 2015-09-30 計算機システム、コマンド転送方法、及び、転送デバイス

Publications (1)

Publication Number Publication Date
WO2017056220A1 true WO2017056220A1 (ja) 2017-04-06

Family

ID=58423077

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077694 WO2017056220A1 (ja) 2015-09-30 2015-09-30 計算機システム、コマンド転送方法、及び、転送デバイス

Country Status (1)

Country Link
WO (1) WO2017056220A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114741A (zh) * 2019-06-20 2020-12-22 株式会社日立制作所 存储系统
JP2021099732A (ja) * 2019-12-23 2021-07-01 株式会社日立製作所 ストレージシステム及びストレージシステムのキュー制御方法
CN113608784A (zh) * 2021-08-19 2021-11-05 湖南国科微电子股份有限公司 NVMe控制装置和方法
TWI764493B (zh) * 2020-06-29 2022-05-11 日商鎧俠股份有限公司 半導體記憶裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105120A (ja) * 1993-10-06 1995-04-21 Oki Electric Ind Co Ltd 入出力制御装置
JP2008134775A (ja) * 2006-11-28 2008-06-12 Hitachi Ltd 記憶サブシステム及びこれを利用したリモートコピーシステム
WO2015008352A1 (ja) * 2013-07-17 2015-01-22 株式会社日立製作所 ストレージ装置及びコマンド制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105120A (ja) * 1993-10-06 1995-04-21 Oki Electric Ind Co Ltd 入出力制御装置
JP2008134775A (ja) * 2006-11-28 2008-06-12 Hitachi Ltd 記憶サブシステム及びこれを利用したリモートコピーシステム
WO2015008352A1 (ja) * 2013-07-17 2015-01-22 株式会社日立製作所 ストレージ装置及びコマンド制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114741A (zh) * 2019-06-20 2020-12-22 株式会社日立制作所 存储系统
CN112114741B (zh) * 2019-06-20 2024-05-24 株式会社日立制作所 存储系统
JP2021099732A (ja) * 2019-12-23 2021-07-01 株式会社日立製作所 ストレージシステム及びストレージシステムのキュー制御方法
JP7084374B2 (ja) 2019-12-23 2022-06-14 株式会社日立製作所 ストレージシステム及びストレージシステムのキュー制御方法
TWI764493B (zh) * 2020-06-29 2022-05-11 日商鎧俠股份有限公司 半導體記憶裝置
CN113608784A (zh) * 2021-08-19 2021-11-05 湖南国科微电子股份有限公司 NVMe控制装置和方法
CN113608784B (zh) * 2021-08-19 2024-05-03 湖南国科微电子股份有限公司 NVMe控制装置和方法

Similar Documents

Publication Publication Date Title
JP6181304B2 (ja) ストレージ装置およびインタフェース装置
JP6286542B2 (ja) 計算機システム
US11068171B2 (en) High availability storage access using quality of service based path selection in a storage area network environment
JP6273353B2 (ja) 計算機システム
KR20200017363A (ko) 호스트 스토리지 서비스들을 제공하기 위한 NVMe 프로토콜에 근거하는 하나 이상의 호스트들과 솔리드 스테이트 드라이브(SSD)들 간의 관리되는 스위칭
US9495172B2 (en) Method of controlling computer system and computer system
WO2017056220A1 (ja) 計算機システム、コマンド転送方法、及び、転送デバイス
KR102570943B1 (ko) PCIe 디바이스 및 그 동작 방법
JP6068676B2 (ja) 計算機システム及び計算機システムの制御方法
US11995019B2 (en) PCIe device with changeable function types and operating method thereof
US8694698B2 (en) Storage system and method for prioritizing data transfer access
US20140282584A1 (en) Allocating Accelerators to Threads in a High Performance Computing System
KR102568909B1 (ko) PCIe 펑션 및 그 동작 방법
US10331581B2 (en) Virtual channel and resource assignment
EP3388937A1 (en) Local disks erasing mechanism for pooled physical resources
WO2019043815A1 (ja) ストレージシステム
JP2013054434A (ja) Ｉ／ｏ制御装置およびｉ／ｏ制御方法
WO2016139749A1 (ja) 計算機システム、及び、記憶制御方法
US20070174034A1 (en) Transparent intellectual network storage device
US10713171B2 (en) Computer system
JP2018101440A (ja) 計算機システム
US20220317910A1 (en) Array-based copy mechanism for migration, replication, and backup
WO2016189636A1 (ja) 計算機システム
US20170177485A1 (en) Storage system, storage control method, and relay device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15905374

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15905374

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP