WO2017119098A1 - 計算機システム及び計算機の制御方法 - Google Patents

計算機システム及び計算機の制御方法 Download PDF

Info

Publication number
WO2017119098A1
WO2017119098A1 PCT/JP2016/050336 JP2016050336W WO2017119098A1 WO 2017119098 A1 WO2017119098 A1 WO 2017119098A1 JP 2016050336 W JP2016050336 W JP 2016050336W WO 2017119098 A1 WO2017119098 A1 WO 2017119098A1
Authority
WO
WIPO (PCT)
Prior art keywords
accelerator
processing
data
processor
memory
Prior art date
Application number
PCT/JP2016/050336
Other languages
English (en)
French (fr)
Inventor
彬史 鈴木
岡田　光弘
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2016/050336 priority Critical patent/WO2017119098A1/ja
Priority to JP2017559987A priority patent/JP6588106B2/ja
Priority to US15/763,224 priority patent/US20180307535A1/en
Publication of WO2017119098A1 publication Critical patent/WO2017119098A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Definitions

  • the present invention relates to a computer system that performs data processing and an accelerator connected to the computer system.
  • the computer system is intended for some data processing. These data processing is performed by a processor in the computer system.
  • the data to be processed is stored in a secondary storage device (for example, HDD (Hard Disk Drive)) of the computer system, and the processor stores the data to be processed in the primary storage device (for example, the secondary storage device). Instruct to transfer to DRAM (Dynamic Random Access Memory). Then, the processor processes the data stored in the primary storage device after the data transfer by the secondary storage device is completed.
  • a secondary storage device for example, HDD (Hard Disk Drive)
  • DRAM Dynamic Random Access Memory
  • SSD Solid State Drive
  • the performance improvement of the processor that performs data processing is slowing down, and the processing performance of the processor in the data processing system becomes a bottleneck of the entire computer system.
  • Patent Document 1 discloses a technique in which data is directly transferred from a secondary storage device to an FPGA as an accelerator, a predetermined process is performed by the FPGA, and then a processing result is transferred to the primary storage device.
  • processing that is more efficient if processing is performed by a processor without offloading to an accelerator.
  • the processor performs control to transfer a small amount of data to the accelerator, and further performs control to transfer information describing processing contents to be offloaded to the accelerator. It is necessary to perform processing such as obtaining the notified offload processing result.
  • the present invention includes a processor, a first memory connected to the processor, an accelerator including a second memory, and a storage device connected to the processor and the accelerator to store data.
  • the data processing unit includes a processing request receiving unit that receives a processing request for the data, a processing content analysis unit that analyzes a processing content included in the processing request, and an accelerator A load detection unit that detects a load; an analysis result of the content of the process; and an load of the accelerator; an offload processing unit that causes the accelerator to execute the received process when a predetermined condition is satisfied; A process that causes the processor to process the accepted process when the predetermined condition is not satisfied;
  • the offload processing unit causes the accelerator to reserve a storage area in the second memory, and then causes the storage device to store data included in the processing request in the storage area of the second memory.
  • the processing execution unit causes the processor to secure a storage area in the first memory, and then causes the storage device to transfer the data included in the processing request to the first storage device. The data is transferred to the storage area of the memory
  • the present invention in a computer system that performs various data processing, it is possible to offload only processing that is preferably offloaded to an accelerator. For example, it is possible to improve the overall performance of the computer system by processing the processing content that occurs frequently among the entire data processing of the computer system at high speed with an accelerator. In addition, it becomes possible to level the loads of a plurality of accelerators, and the overall data processing performance of the computer system can be improved.
  • FIG. 1 is a block diagram showing an example of a computer system. First, the configuration of a computer system to which the present invention is applied will be described with reference to FIG. FIG. 1 shows an example of a computer system to which the present invention is applied, and the present invention is applicable to a computer system having FIG. 1 as an example. First, FIG. 1 will be described.
  • FIG. 1 shows a configuration of a server 100 to which the present invention is applied.
  • 1 includes a DRAM 111 which is a primary storage area (or main storage device or memory), a processor 112 which performs various processes according to software, a switch (hereinafter referred to as SW) 113 which connects various peripheral devices, and a secondary storage.
  • HDD / SSDs 115-1 and 115-2 serving as areas (or auxiliary storage devices and storage devices) and accelerators 114-1 and 114-2 that perform data processing based on instructions from the processor 112 are included.
  • the whole accelerator is indicated by reference numeral 114 without “ ⁇ ”.
  • other components are also denoted by symbols without “-” and indicate the entire components.
  • the DRAM 111 is connected to the processor 112 so as to be accessible in a short time, and is a storage area for storing a program processed by the processor 112 and data to be processed.
  • the processor 112 is a device that operates according to a program and processes target data.
  • the processor 112 includes a plurality of processor cores (not shown) inside, and each processor core can process a program independently.
  • the processor 112 includes a DRAM controller therein, acquires data from the DRAM 111 in response to a request from the processor core, or stores data in the DRAM 111.
  • the processor 112 is connected to the SW 113 including an external IO interface (not shown). Further, the processor 112 can notify the HDD / SSD 115 and the accelerator 114 which are secondary storage devices via the SW 113.
  • the SW 113 is a component that relays a high-speed external IO bus, and transfers, for example, a connection standard packet such as PCI-Express or Infiniband by a predetermined routing method.
  • the SW 113 connects a plurality of HDDs / SSDs 115 and accelerators 114, and transfers information between the processor 112 and various devices.
  • HDD / SSD 115 is a secondary storage device that stores data to be processed.
  • the HDD / SSD 115 transfers the target data to the DARM 111 or a DRAM (main storage device) 401 in the accelerator 114 (described later) based on information notified from the processor 112.
  • the secondary storage device may be either an HDD or an SSD.
  • FIG. 1 showing the configuration of the server 100 according to the present embodiment, an example in which the HDD / SSD 115 is connected via the SW 113 outside the processor 112 is described, but the present invention is not limited to this example.
  • the processor 112 and the HDD / SSD 115 and the accelerator 114 may be directly connected.
  • FIG. 1 showing the server configuration of the present embodiment shows a configuration having one processor 112 and one SW 113 in the server 100, but the present invention is not limited to this example.
  • the server 100A may be equipped with a plurality of processors 112-1, 112-2 and SWs 113-1, 113-2, and a plurality of SWs 113 are connected to one processor 112.
  • a configuration in which one SW 113 is connected to a plurality of processors 112 may be used.
  • FIG. 1 showing the configuration of the server of the present embodiment
  • the configuration in which the SW 113 is stored in the server 100 is described, but the present invention is not limited to this configuration.
  • a plurality of servers 100-1 and 100-2 may be provided, and a plurality of servers 100 may share a plurality of expanders 301-1 and 301-2.
  • the expander 301 includes a SW 113, HDD / SSD 115-1, 115-2, and accelerators 114-1, 114-2.
  • the HDD / SSD 115 and the accelerator 114 are connected to the processor 112 in the server 100 via the SW 113. Connected.
  • the servers 100-1 and 100-2 communicate with each other using the inter-server communication path 302 (for example, Infiniband or Ethernet), and coordinately manage the DRAM area in the accelerator 114 described later.
  • the inter-server communication path 302 for example, Infiniband or Ethernet
  • FIG. 2 is a block diagram illustrating an example of the accelerator 114-1.
  • the accelerator 114-1 shown in FIG. 2 includes an FPGA 400 and a DRAM 401.
  • the accelerators 114-1 and 114-2 shown in FIG. 1 have the same configuration.
  • the FPGA 400 includes at least a host interface unit 411, an embedded processor 412, an FPGA internal switch unit 413, a data processing function unit 414, and an SRAM unit 415.
  • the host interface unit 411 is a function implemented in the FPGA 400 and is a functional unit that performs data communication with the connected SW 113.
  • the embedded processor 412 is a functional unit that performs predetermined processing based on an instruction from the host (processor 112).
  • the processor 112 in the server 100 creates an offload command for filtering processing (processing for extracting only data that matches the specified condition from the target data) to the accelerator 114, and executes the offload command.
  • the accelerator 114 is instructed.
  • the embedded processor 412 When the embedded processor 412 detects this instruction, it acquires a command from the server 100. Then, the embedded processor 412 acquires filter processing conditions and notifies the data processing function unit 414 described later of the conditions. Next, the data processing function unit 414 is notified of the position of the target data in the DRAM 401 in the accelerator 114, and an instruction to start processing is given.
  • the FPGA internal switch unit 413 is connected to each functional unit in order to perform information communication between the functional units in the FPGA 400.
  • FIG. 2 shows an example of a switch connected in a star shape
  • the FPGA internal switch unit 413 may be connected in a shared bus configuration.
  • the data processing function unit 414 is a logic circuit that performs data processing based on contents instructed by the processor 112 of the server.
  • the data processing function unit 414 starts processing based on an instruction from the embedded processor 412, reads the target data from the area of the DRAM 401 in the accelerator 114 specified by the embedded processor 412, and sets the filtering condition specified by the embedded processor 412. By using the target data, only the data corresponding to the condition is transferred to the processor 112 of the server 100 via the host interface unit 411.
  • filter processing is described as an example of data processing, but the present invention is not limited to this data processing content.
  • addition processing may be used, or control may be performed in which a total value of designated data is calculated and only the total value is transferred to the server 100.
  • the accelerator 114 is configured by an FPGA
  • the present invention is not limited to this example.
  • the accelerator 114 may be configured by a GPU, and the GPU core may perform all the various processes without distinction between the data processing function unit 414 and the embedded processor 412.
  • the processor 112 in the server 100 determines whether to process the data by the processor 112 itself or to offload to the accelerator 114 based on the data processing content.
  • the processor 112 performs the filtering process itself, and the size of the target data to be filtered is large (threshold value Th1).
  • the data processing function unit 414 in the accelerator 114 performs processing.
  • a data transfer path 501 indicated by a broken-line arrow in FIG. 3 is a data transfer path when data processing is performed by the processor 112 itself.
  • the processor 112 secures an area in the DRAM 111 using an operating system standard function as an area for storing target data, and notifies the HDD / SSD 115 of the area. Receiving the notification, the HDD / SSD 115 transfers the target data toward an area in the DRAM 111. After the transfer of the target data is completed, the HDD / SSD 115 notifies the processor 112 of the completion of the data transfer.
  • the processor 112 After acquiring the completion of data transfer, the processor 112 directly accesses the DRAM 111 to acquire target data and perform filtering.
  • a data transfer path 502 indicated by a solid line arrow in FIG. 3 is a data transfer path when data processing is offloaded to the accelerator 114.
  • the processor 112 secures a storage area in the DRAM 401 in the accelerator 114 using an accelerator DRAM allocator 621 described later as an area for storing target data, and notifies the HDD / SSD 115 of the storage area. Receiving the notification, the HDD / SSD 115 transfers the target data toward the area of the DRAM 401 in the accelerator 114. After the transfer of the target data is completed, the HDD / SSD notifies the processor 112 of the completion.
  • the processor 112 creates an offload command after obtaining the notification of data transfer completion.
  • This offload command includes a filter processing condition and the like. Then, the processor 112 notifies the accelerator 114 of this command.
  • the embedded processor 412 in the accelerator that has received the notification notifies the data processing function unit 414 of the filter processing conditions notified from the processor 112. Thereafter, the embedded processor 412 instructs the data processing function unit 414 to start processing.
  • the data processing function unit 414 that has received an instruction from the embedded processor 412 acquires target data from the DRAM 401 and performs filter processing. Then, the embedded processor 412 transfers the filter processing result to the processor 112 of the server 100.
  • the processor Data processing can be realized by transferring the target data only to the path between the HDD / SSD 115 and the accelerator 114 without transferring the target data to the transfer path between the 112 and the DRAM 111.
  • the performance improvement can be achieved only by increasing the number of the HDD / SSD 115 and the accelerator 114 without increasing the number of the processors 112 and the DRAM 111.
  • FIG. 4 is a block diagram illustrating an example of a software configuration of the server 100 according to the present embodiment. All of the software shown in FIG. 4 are processed by the server 100 shown in FIG. 1 or the processor 112 of the servers 100A, 100-1, and 100-2 shown in FIG. 8 or FIG.
  • Applications 601-1 and 601-2 are, for example, database software that performs data processing stored in the HDD / SSD 115, and is software that operates on a virtual (or logical) address provided by the operating system 602.
  • database software is cited as an example of an application that performs data processing, and an example in which the database software performs filter processing and index management information generation processing is described.
  • the present invention is not limited to this software.
  • the application may be image processing software, and the image processing software is also applied to an application that offloads image processing (for example, image format conversion) to an accelerator.
  • the application 601 is not limited to one that runs on the operating system 602.
  • the present invention is also applied to an application that operates on the guest operating system 602 managed by the virtualization software 604 that operates on the operating system 602.
  • an application 601 that functions as a data processing unit includes a processing request receiving unit 603 that receives a data processing request, a processing content analysis unit 609 that analyzes the received processing content, and a load detection that detects the load on the accelerator 114.
  • Unit 605 an offload processing unit 606 that determines whether or not the process is offloaded, and executes the offload process, and a process execution unit 607 that executes data processing in processor 112 when the process is not offloaded including.
  • the processing content analysis unit 609 of the application 601 acquires or sets processing that can be offloaded to the accelerator 114 in advance, and determines whether various processing that occurs internally should be processed by the accelerator or the processor 112. To do.
  • the load detection unit 605 of the application 601 acquires the load status of the accelerator 114 by acquiring the accelerator management information 800 described later from the accelerator driver 610. If it is determined that the load on the accelerator 114 is higher than the predetermined threshold Th2 and the processing by the processor 112 is faster, the offload processing unit 606 of the application 601 can be offloaded to the accelerator 114 as the processing content. Even in such a case, off-loading to the accelerator 114 is prohibited, and the processing execution unit 607 performs processing by the processor 112.
  • the offload processing unit 606 When the offload processing unit 606 offloads the processing to the accelerator 114, the offload processing unit 606 acquires the loads of the plurality of accelerators 114 from the accelerator management information 800 described later, and selects the accelerator 114 having a relatively low load. Offload processing. For example, the application 601 selects the accelerator 114 having the smallest load from the plurality of accelerators 114 and offloads the processing.
  • the operating system 602 is software that manages the accelerator 114, the HDD / SSD 115 that is a secondary storage device, and the like, and runs applications.
  • the operating system 602 includes at least an accelerator driver 610 and an HDD / SSD driver 611 inside.
  • the accelerator driver 610 is software used when the application 601 uses the accelerator 114.
  • the accelerator driver 610 has functions of an accelerator DRAM allocator 621, an offload command issuance 622, an offload command completion check 623, and an accelerator management information acquisition 624.
  • the accelerator DRAM allocator 621 is a function for managing the storage area of the DRAM 401 included in the accelerator 114.
  • the application 601 notifies the accelerator DRAM allocator 621 of the memory request and the memory request size when using the accelerator 114.
  • the accelerator DRAM allocator 621 Upon receiving the notification, the accelerator DRAM allocator 621 searches for a free area in the storage area of the DRAM 401 in the accelerator 114 to be managed, and secures the required size. The accelerator DRAM allocator 621 records information indicating that the reserved area is in use in the accelerator management information 800 managed by the accelerator DRAM allocator 621. Then, the accelerator DRAM allocator 621 returns a physical address indicating the head of the reserved area to the application 601. On the other hand, if the storage area of the DRAM 401 corresponding to the requested size cannot be secured, the accelerator DRAM allocator 621 notifies the application 601 of information indicating that it cannot be secured.
  • the offload processing unit 606 of the application 601 may use the accelerator DRAM allocator when the storage area of the DRAM 401 in the accelerator 114 that has been used becomes unnecessary (for example, when the filter process offload result acquisition is completed). Instruct 621 to release the memory area.
  • the accelerator DRAM allocator 621 that has received the instruction changes the corresponding area from the internal management information (management information) to the “free” state and updates it. Then, the accelerator DRAM allocator 621 notifies the offload processing unit 606 of the application 601 that the memory area has been released.
  • the offload command issue 622 is a function used when the offload processing unit 606 of the application 601 issues a predetermined offload command to the accelerator 114.
  • the offload processing unit 606 of the application 601 instructs the HDD / SSD 115 to transfer the target data to the storage area secured in the accelerator DRAM allocator 621. Then, the application 601 gives processing execution and filter processing conditions to the offload command issuance 622 of the accelerator driver 610.
  • the offload command issuance 622 notifies the accelerator 114 of the filter processing conditions and starts execution. Thereafter, the offload command issuance 622 notifies the offload processing unit 606 of the application 601 that the issuance of the offload command has been completed.
  • the offload command completion check 623 is a function for inquiring to the accelerator 114 whether or not the offload command issued by the offload processing unit 606 of the application 601 has been completed.
  • the accelerator driver 610 holds the completion of the offload command processing notified from the accelerator 114, and when there is an access from the offload processing unit 606 of the application 601 via the offload command completion check 623, the accelerator management By referring to the information 800, it is determined whether or not the specified offload command has been completed.
  • the offload command completion check 623 confirms the completion of the offload command by the accelerator 114, and then returns the result of the filter processing to the offload processing unit 606 of the application 601.
  • Accelerator management information acquisition 624 is a function used by the load detection unit 605 and offload processing unit 606 of the application 601 to acquire accelerator management information 800 described later.
  • the application 601 of this embodiment manages a plurality of accelerators 114 and adjusts so that the load on each accelerator 114 is leveled.
  • the application 601 acquires the management information of the accelerator 114 using the accelerator management information acquisition function 624 before issuing the offload command, and selects the accelerator 114 having a relatively low current load from the management information. .
  • the application 601 of this embodiment realizes leveling of the load of the accelerator 114.
  • the application 601 directly communicates with each function of the accelerator driver 610
  • the present invention is not limited to this example.
  • the function of the accelerator management information acquisition 624 may be software that can be referred to from a plurality of applications 601 running on the operating system 602 instead of the driver in the operating system 602.
  • the HDD / SSD driver 611 is software used when the application 601 issues an IO command to the HDD / SSD 115, and has functions of an IOCMD1 issue 631, an IOCMD2 issue 632, and an IOCMD completion check 633.
  • the IOCMD1 issue 631 is a function used to acquire target data from the HDD / SSD 115 when the processing execution unit 607 of the application 601 performs data processing using the processor 112.
  • the application 601 requests the operating system 602 to secure a storage area for storing the target data in order to process the data.
  • the storage area is secured by functions such as “malloc” and “posix_memory” when the operating system 602 is Linux, and the operating system 602 requested to secure the storage area starts from the free area of the managed DRAM 111.
  • the requested storage area is secured, and the virtual address of the storage area is returned to the application 601.
  • the application 601 notifies this virtual address to issuance of IOCMD1, and instructs to store the target data at this virtual address.
  • the IOCMD1 issuance 631 that has received the instruction inquires the other function of the operating system 602 about the virtual address, converts it into a physical address, notifies the HDD / SSD 115 of the physical address, and instructs acquisition of the target data.
  • the application 601 notifies a continuous virtual address to the IOCMD1 issue, but the virtual address may be converted into a physical address to become a plurality of discrete physical addresses.
  • the IOCMD1 notifies the HDD / SSD 115 of all the discrete physical addresses.
  • the HDD / SSD 115 transfers the target data to a plurality of designated physical addresses.
  • the HDD / SSD 115 notifies the transfer completion information to the application 601 of the server 100.
  • the IOCMD2 issuance 632 is a function used to transfer target data from the HDD / SSD 115 to the DRAM 401 in the accelerator 114 when the offload processing unit 606 of the application 601 processes data using the accelerator 114.
  • the offload processing unit 606 of the application 601 secures a storage area in the DRAM 401 in the accelerator 114 for storing target data using the accelerator DRAM allocator 621 described above in order to perform data processing in the accelerator 114.
  • the accelerator DRAM allocator 621 returns the physical address of the in-accelerator DRAM 401 indicating the secured storage area to the application 601.
  • the offload processing unit 606 of the application 601 notifies the physical address of the DRAM 401 in the accelerator to the IOCMD2 issue 632 and instructs data transfer.
  • the IOCMD2 issuance 632 Upon receiving the instruction, notifies the HDD / SSD 115 of the physical address notified from the application 601, and instructs the target data transfer.
  • the HDD / SSD 115 instructed to transfer data from the IOCMD2 issuance 632 transfers data to the physical address of the designated DRAM 401 in the accelerator, and when the transfer is completed, the transfer completion information is transferred to the offload processing unit of the application 601 of the server 100. 606 is notified.
  • the IOCMD completion check 633 is a function for detecting the completion of a command issued by the application 601 using IOCMD1 or IOCMD2.
  • the HDD / SSD driver 611 detects the completion of data transfer of the HDD / SSD 115, the HDD / SSD driver 611 records and holds that the data transfer is completed in internal management information (not shown).
  • the offload processing unit 606 of the application 601 calls the IOCMD completion check 633 periodically (predetermined period) to inquire the HDD / SSD driver 611 whether or not the issued IOCMD is completed. At this time, the HDD / SSD driver 611 refers to the internal management information and notifies the offload processing unit 606 of the application 601 of “data transfer completion” or “data transfer incomplete”.
  • Each function unit of the operating system 602 and the application 601 is loaded as a program into the DRAM 111 as a memory.
  • the processor 112 operates as a functional unit that provides a predetermined function by processing according to a program of each functional unit.
  • the processor 112 functions as a data processing unit (application 601) by performing processing according to a database program. The same applies to other programs.
  • the processor 112 also operates as a functional unit that provides each function of a plurality of processes executed by each program.
  • a computer and a computer system are an apparatus and a system including these functional units.
  • Information such as programs and tables for realizing the functions of the operating system 602 and the application 601 includes storage subsystems, nonvolatile semiconductor memories, hard disk drives, storage devices such as SSDs (Solid State Drives), IC cards, SD cards And can be stored in a computer-readable non-transitory data storage medium such as a DVD.
  • storage subsystems nonvolatile semiconductor memories, hard disk drives, storage devices such as SSDs (Solid State Drives), IC cards, SD cards And can be stored in a computer-readable non-transitory data storage medium such as a DVD.
  • FIG. 7 is a map showing an example of the memory space of the server 100.
  • a memory space 1110 of the DRAM 111 of the server 100 is managed by the operating system 602.
  • the virtual addresses assigned to the memory space 1110 of the DRAM 111 of the server 100 are 0h to E0000h is shown.
  • the operating system 602 assigns the physical address of the DRAM 401 of the accelerator 114 to the virtual address of the memory space 1110.
  • the operating system 602 assigns the physical addresses 0h to FFFh of the DRAM 401 of the accelerator 114-1 to the virtual addresses A000h to AFFFh in the memory space 1110. In addition, the operating system 602 assigns, for example, physical addresses 0h to FFFh of the DRAM 401 of the accelerator 114-2 to virtual addresses D000h to DFFFh in the memory space 1110.
  • the accelerator 114 writes the processing result of the target data offloaded to the storage areas (A000 to AFFF, D000 to DFFF) allocated to the DRAM 111.
  • the application 601 can use the result of the offload process written in the DRAM 111.
  • FIG. 10 is a block diagram illustrating an example of a software configuration of the server 100 according to a modification of the present embodiment.
  • the virtualization software 604 is software for operating the guest operating system 602 with the operating system 602. This software mediates various instructions from the guest operating system 602 to the accelerator 114 and the HDD / SSD 115.
  • the virtualization software 604 secures a storage area, issues an offload command, and issues various IOs to the accelerator driver 610 and the HDD / SSD driver 611 in the same manner as the application 601 in the DRAM 401 in the accelerator 114.
  • the guest operating system 602 is an operating system that runs on the virtualization software 604.
  • the guest operating system 602 includes a guest operating system having the same interfaces as the accelerator driver 610 and the HDD / SSD driver 611 in the operating system 602.
  • An internal driver 641 is provided.
  • the application 601 operating on the guest operating system 602 notifies the accelerator driver 610 and the HDD / SSD driver 611 in the operating system 602 by using the guest operating system driver 641.
  • the guest operating system internal driver 641 provides the application 601 with the same interface as the accelerator driver 610 and the HDD / SSD driver 611 in the operating system 602. Then, the guest operating system driver 641 sends an instruction to the accelerator driver 610 or the HDD / SSD driver 611 via the virtualization software 604 in response to an instruction from the application 601.
  • FIG. 6 is a diagram illustrating an example of accelerator management information 800 of the server 100.
  • the accelerator management information 800 is managed by the above-described accelerator driver 610, and an update process is performed. Each time the accelerator driver 610 issues an offload command based on an instruction from the application 601, the accelerator driver 610 updates the corresponding item in the accelerator management information 800.
  • the accelerator management information 800 of this embodiment has an entry for the number of offload commands 801 being issued, the target data size 802 being issued, and the processing contents breakdown 803 being issued, and is an independent field for each accelerator 114. 811 and 812.
  • accelerator X corresponds to accelerator 114-1
  • accelerator Y corresponds to accelerator 114-2.
  • the number of offload commands being issued 801 is a field for storing the number of offload commands that have been issued to the corresponding accelerator 114.
  • the accelerator driver 610 increments and updates this field by the number of offloaded commands.
  • the accelerator driver 610 when the accelerator driver 610 receives the completion of the offload command from the accelerator 114, the accelerator driver 610 decrements and updates the values of the fields 811 and 812 of the number of offload commands 801 being issued.
  • the load difference for each accelerator 114 can be acquired. If it is assumed that the contents of the offload commands to the accelerator 114 issued by a plurality of applications 601 are the same, the application 601 determines that the values of the fields 811 and 812 are relatively small. By issuing an offload command, the load on the accelerator 114 is leveled.
  • FIG. 6 shows an example in which 20 commands have been issued to the accelerator X and 32 commands have been issued to the accelerator Y in the entry of the number of offload commands 801 being issued. If these offload commands are the same (the processing content is the same and the request size is the same), the load leveling is realized by issuing the command to the accelerator 1 having a small value in this field.
  • the accelerator driver 610 increments and updates the values of the fields 811 and 812 from the existing 20 to 21.
  • the accelerator driver decrements the value of this field from 20 to 19 and saves it.
  • the issued target data size 802 is an entry for storing the issued target data amount in the corresponding accelerator 114.
  • the accelerator driver 610 increments and updates the fields 811 and 812 of this entry by the offloaded data size.
  • the accelerator driver 610 receives the completion of the offload command from the accelerator 114, the value of the fields 811 and 812 of this entry is decremented and updated.
  • the load stored in the entry of the number of offload commands 801 being issued cannot be predicted.
  • the load on the accelerator 114 is estimated using the values of the fields 811 and 812 in the entry of the target data size 802 being issued. For example, even if the accelerator 114 has a large number of commands being issued, if the target data size 802 of each command is small, the time required for processing is estimated to be short. For this reason, the application 601 can level the load of the accelerator 114 by selecting the accelerator 114 having a relatively small value of the data size 802 being issued and performing offloading.
  • the processing content breakdown 803 being issued is an entry for storing the processing breakdown of the offload command that has been issued to the relevant accelerator 114.
  • the accelerator 114 can perform a plurality of processes, for example, in the case of the accelerator 114 that can perform two types of processes of “data filtering” and “image data format conversion”, the application 601 has a different processing time. Therefore, the processing time until the accelerator 114 is completed cannot be estimated with the number of offload commands being issued 801 and the target data size 802 being issued.
  • the processing content and processing data size for each command being issued are stored in the processing content breakdown 803 being issued, and the application 601 estimates the processing time for each command as a load from these pieces of information. Then, the application 601 measures the load level of the accelerator 114 by offloading to the accelerator 114 with a relatively short processing time. Further, when it is considered that the processing by the processor 112 is faster from the estimated processing time, the processing is performed by the processor 112.
  • “512 KB” is set as the processing data size for “Processing A that requires 100 ⁇ s processing time for every 4 KB of data processing” in the field 811 of the processing content breakdown 803 being issued to the accelerator X. Information indicating that “4 commands” are being issued.
  • the target data size 802 is smaller), and the accelerator 114 having a relatively short processing completion time is selected to level the load on the accelerator 114.
  • the application 601 can use the accelerator management information 800 as information for determining whether the processing of the target data is to be performed by the processor 112 or to be offloaded to the accelerator 114.
  • FIG. 5 is a flowchart illustrating an example of processing performed in the server 100.
  • This flowchart is executed by the database application 601 targeted by the present embodiment.
  • An application 601 operating as database software performs data processing in response to processing requests from various clients of the server 100.
  • the application 601 executes the flowchart shown in FIG.
  • the main body that performs the processing of each step shown in FIG. 5 is the processor 112 that executes the application 601.
  • the application 601 receives a data processing instruction (or request). For example, when an instruction to create an index for the entire database is notified from a client PC (not shown) connected to the server 100, the database that is the application 601 of this embodiment receives the instruction.
  • the contents of the data processing instruction received by the application 601 in step S701 are analyzed.
  • the received data processing is divided into a plurality of types of internal processing by the application 601. For example, if the received data processing instruction content is an index creation instruction, a filter process that acquires data that meets the conditions specified for index creation, and index management information is generated based on the result of the filter process It is divided into processing.
  • step S703 for each of the plurality of processes processed in step S702, the accelerator 114 determines whether the process can be offloaded or valid. For example, if it is determined in step S702 that two types of processing, “filter processing” and “index management information generation”, are required, an accelerator is provided for each of the processes “filter processing” and “index management information generation”. In 114, it is determined whether the process can be offloaded.
  • the accelerator 114 includes only the “filter processing” function.
  • the application 601 offloads the “filter processing” of the two processes by the accelerator 114. It determines with it possible and progresses to step S704.
  • step S714 the application 601 determines that it is impossible for the accelerator 114 to offload the process for “index management information generation”, and the process advances to step S714.
  • the application 601 performs the process, for example, If the processing time is estimated to be about 5 ⁇ s, and the processing time by the offload command issuance and the accelerator 114 is estimated to be 10 ⁇ s, it is determined that the offload to the accelerator 114 is not effective in reducing the processing time, and step S714 is performed. Proceed to
  • the application 601 predicts the processing time from the size of data to be processed in one offload command issuance, and branches when executing in the processor 112 and processing in the accelerator 114.
  • the present invention is not limited to this example.
  • the application 601 may manage the lower limit value of the request (data size) to be offloaded to the accelerator 114 as a fixed value.
  • the application 601 may hold a threshold Th1 that data of 16 KB or less is processed by the processor 112, and determine whether or not offloading is possible according to the threshold Th1.
  • step S704 the application 601 acquires the use status of the accelerator 114 from the accelerator driver 610.
  • the application 601 acquires the accelerator management information 800 using the accelerator management information acquisition 624 of the accelerator driver 610.
  • step S705 the application 601 determines whether or not processing can be offloaded to the accelerator 114 using the accelerator management information 800 acquired in step S704.
  • the application 601 refers to the accelerator management information 800 acquired from the accelerator driver 610, estimates the load of each accelerator 114 as described above, and according to the comparison result of the processing time of the accelerator 114 and the processing time of the processor 112, Determine whether offloading is possible.
  • the application 601 determines that the load on all the accelerators 114 is high and the processing waiting time when the processing is executed by the accelerator 114 is longer than the processing time of the processing by the processor 112, the application 601 Processing offload is prohibited, and the process proceeds to step S714.
  • the processing wait time for offloading to the accelerator 114 includes the time until the command is created and the offload result is received. The calculation of the processing waiting time of the accelerator 114 and the processing time of the processor 112 will be described later.
  • step S706 when the processing waiting time when processing is performed by the accelerator 114 is shorter than the processing time when processing is performed by the processor 112, the application 601 determines that an effect of high performance by processing offload to the accelerator 114 can be expected, The process proceeds to step S706.
  • step S706 the application 601 determines the use of the accelerator 114 using the priority given in advance to the application 601 itself.
  • the use of the accelerator 114 is abandoned and the process proceeds to step S715.
  • step S ⁇ b> 707 the application 601 proceeds to step S ⁇ b> 707 to use the accelerator 114. move on.
  • a nice value that is a priority setting value of the application 601 used in the UNIX system is used as the priority of the application 601, but the present invention is not limited to this example. Absent.
  • the value may represent a priority of a completely different series from the nice value. For example, an argument or a setting file may be given from the input device (not shown) of the server 100 when starting the application 601 as a value for determining the priority dedicated to the accelerator.
  • step S707 the application 601 determines that data processing is offloaded to the accelerator 114 in step S706, and selects the accelerator 114 having a relatively low load.
  • the application 601 refers to each field of the accelerator management information 800 acquired in step S704, and selects the accelerator 114 having a relatively low load from the plurality of connected accelerators 114. By this processing, the load on the accelerator 114 in the same computer system is leveled.
  • step S708 in the accelerator 114 selected by the application 601 in step S707, the application 601 secures a storage area of the DRAM 401.
  • the application 601 notifies the accelerator DRAM allocator 621 in the accelerator driver 610 of the area size necessary for the offloading process, and instructs the DRAM 401 in the accelerator 114 to secure a storage area.
  • the accelerator DRAM allocator 621 that has received an instruction from the application 601 refers to management information (not shown) managed by itself, and determines whether or not the size requested by the application 601 can be secured in the DRAM 401.
  • the accelerator DRAM allocator 621 When the storage area can be secured, the accelerator DRAM allocator 621 notifies the application 601 of the area of the DRAM 401 in the secured accelerator 114. On the other hand, the accelerator DRAM allocator 621 notifies the application 601 of information indicating that the storage area cannot be secured by the accelerator 114.
  • step S709 the application 601 determines the storage area reservation result of the DRAM 401 of the accelerator 114 acquired from the accelerator DRAM allocator 621.
  • step S708 if the accelerator 114 can secure the storage area of the DRAM 401, the application 601 proceeds to step S710 in order to transfer the target data to the reserved storage area of the DRAM 401 of the accelerator 114.
  • the application 601 determines that the processor 112 performs processing because it is difficult to offload the processing to the accelerator 114. Note that the application 601 does not notify the client that requested the processing of an error that the DRAM 401 could not secure the storage area. By prohibiting error notification, smooth data processing with less burden on the client can be realized. Then, the application 601 proceeds to step S715 to secure the storage area of the DRAM 111 in order to transfer the target data to the DRAM 111 connected to the processor 112.
  • step S710 for performing offload the application 601 issues an IO command to the HDD / SSD 115 so as to transfer the target data to the storage area of the DRAM 401 in the accelerator 114 secured by the application 601 in step S708.
  • the application 601 stores the physical address indicating the storage area of the DRAM 401 in the accelerator 114 acquired from the accelerator DRAM allocator 621 in step S708, the data size, and the target data for the IOCMD2 issue 632 in the HDD / SSD driver 611. The area on the HDD / SSD 115 that has been set is notified.
  • the IOCMD2 issuance 632 Upon receiving the notification, the IOCMD2 issuance 632 notifies the HDD / SSD 115 of various types of information received from the application 601, and starts data transfer. At this time, since the application 601 notifies the physical address to the IOCMD2 issue 632, it is not necessary to convert the address acquired from the application 601 as in the case of the above-described IOCMD1 issue 631.
  • step S711 the application 601 acquires data transfer completion from the HDD / SSD 115.
  • the HDD / SSD driver 611 detects the completion of HDD / SSD data transfer triggered by interruption or polling from the HDD / SSD.
  • the application 601 periodically calls the IOCMD completion check 633 in the HDD / SSD driver 611 and monitors whether the HDD / SSD driver 611 detects completion of data transfer of the HDD / SSD 115. Through regular monitoring by the application 601, the application 601 detects completion of data transfer of the HDD / SSD 115.
  • step S712 the application 601 that has detected the transfer of the target data to the DRAM 401 in the accelerator 114 in step S711 issues an offload command to the accelerator 114.
  • the application 601 notifies the offload command issue 622 in the accelerator driver 610 of information specifying target data to be processed.
  • a condition of data desired to be acquired by the filter processing is notified.
  • the application 601 notifies the offload command issue 622 of the storage area of the DRAM 111 that stores the data processing result performed by the accelerator 114.
  • This storage area is as shown in FIG.
  • the offload command issuance 622 Upon receiving the notification, the offload command issuance 622 notifies the accelerator 114 of the storage area of the DRAM 111 that stores the data processing conditions and results, and instructs the start of data processing.
  • the embedded processor 412 in the accelerator 114 activates the data processing function unit 414.
  • the embedded processor 412 also notifies the storage area of the DARM 111 notified from the application 601 as an area for storing the data processing result in the data processing function unit 414.
  • the activated data processing function unit 414 acquires target data from the DRAM 401 in the accelerator 114, performs data processing, and transfers the processing result to the notified storage area of the DRAM 111.
  • the embedded processor 412 After the completion of the offload process, the embedded processor 412 transmits a notification of completion of the offload command to the operating system 602.
  • the accelerator driver 610 that has received the completion of the offload command from the embedded processor 412 records the completion of the offload command in the accelerator management information 800.
  • step S713 the application 601 obtains an offload command completion notification from the accelerator 114.
  • the accelerator driver 610 receives a notification of completion of the offload command from the embedded processor 412, the completion is recorded in internal management information (not shown).
  • Application 601 periodically calls offload command completion check 623 in accelerator driver 610 to monitor notification of completion of offload command.
  • the offload command completion check 623 refers to management information (not shown) in the accelerator driver 610 and notifies the application 601 of “offload command completion” or “offload command incomplete”.
  • the application 601 detects the completion of the offload command issued to the accelerator 114 by receiving a notification of “offload command completion” by the offload command completion check 623.
  • step S714 in which it is determined that the processor 112 performs processing in step S703, the application 601 determines whether it is necessary to acquire the target data from the HDD / SSD 115. For example, in the case of processing for creating new management information based on the result of the filter processing, it is not necessary to acquire the target data from the HDD / SSD 115, and thus the processing ends after the processing of the application 601 by the processor 112 (S719). ). A description of the processing of the application 601 by the processor 112 is omitted.
  • step S715 the application 601 determines that “the accelerator process is small and inefficient because the data size to be offloaded is small”, “the accelerator is not compatible with the offload of the corresponding process”, “the accelerator load is high”, “ Steps to proceed when it is determined that the processor 112 performs data processing based on a plurality of conditions such as “the total accelerator load exceeds a threshold value determined by the priority of the application 601” and “DRAM cannot be secured in the accelerator” It is.
  • the application 601 needs to transfer the target data to the DRAM 111 connected to the processor 112 in order to execute data processing in the processor 112. For this reason, the application 601 secures a storage area of the DRAM 111 managed by the operating system 602. At this time, a known or well-known operating system (for example, Windows or Linux) 602 responds to the application 601 with a virtual address for accessing the reserved storage area of the DRAM 111.
  • a known or well-known operating system for example, Windows or Linux
  • step S716 the application 601 issues an IO to the HDD / SSD 115 so as to transfer the target data to the storage area of the DRAM 111 secured in step S715.
  • the application 601 stores the virtual address indicating the storage area of the DRAM 111 acquired from the operating system 602 in step S715, the data size, and the processing target data. / The area on the SSD 115 is notified.
  • the received IOCMD1 issue 631 converts the virtual address indicating the storage area of the DRAM 111 received from the application 601 into a plurality of physical addresses, notifies the HDD / SSD 115, and instructs the start of data transfer.
  • step S717 the application 601 acquires data transfer completion from the HDD / SSD 115.
  • the HDD / SSD driver 611 detects completion of data transfer of the HDD / SSD 115 when triggered by an interrupt or polling from the HDD / SSD 115. Then, the application 601 periodically calls the IOCMD completion check 633 in the HDD / SSD driver 611, and the HDD / SSD driver 611 monitors the completion of data transfer of the HDD / SSD 115. Through regular monitoring by the application 601, the application 601 detects completion of data transfer of the HDD / SSD 115.
  • step S718 the processor 112 performs data processing on the target data transferred to the DRAM 111 connected to the processor 112 in step S717.
  • the application 601 has determined an example of various processing from determining the necessity of using the accelerator 114 based on the contents of the command processing and the load status of the accelerator 114 to offloading data processing to the accelerator 114.
  • the application 601 can select and offload only a plurality of data processes that are valid for offload to the accelerator 114. Further, when the load on the accelerator 114 is high, the use of the accelerator 114 can be stopped and the processing can be switched to the processing by the processor 112. Further, by giving a high priority to the application 601 that requires high performance, the application 601 can use the accelerator 114 preferentially.
  • the application 601 in this embodiment manages the processing time by the processor 112 per predetermined unit data amount individually for each processing content.
  • the application 601 manages, for example, “the processing time of processing A for 256 MB data is 5 seconds”, “the processing time of processing B for 256 MB data is 7 seconds”, and the like.
  • the application 601 of the present embodiment individually manages the processing time by the accelerator 114 per predetermined unit data amount for each processing content.
  • Application 601 manages, for example, “the processing time of processing A for 256 MB data is 0.3 seconds”, “the processing time of processing B for 256 MB data is 0.6 seconds”, and the like. Then, the application 601 acquires processing that has been issued to the accelerator 114 from the accelerator management information 800.
  • the application 601 acquires the contents of issued processes such as “5 processes B for 1024 MB data and 2 processes A for 2048 MB data”, for example.
  • the processing waiting time of the accelerator 114 is the sum of the total processing time and the newly issued processing.
  • the application 601 compares the calculated value with the processing time of the processor 112 described above, and can determine whether the processor 112 or the accelerator 114 can process at higher speed.
  • processor 112 does not execute only the processing in the application 601, and therefore, it is not necessary to compare the processing time of the processor 112 and the processing waiting time of the accelerator 114 equally in the processing time comparison.
  • the application 601 may execute the processing by the processor 112 only when the processing time of the accelerator 114 exceeds the processing time of the accelerator 114 by twice the processing time of the processor 112.
  • the coefficient (twice in the above example) applied to the processing time of the processor 112 may be determined from the ratio of the processing to the entire processing load of the system.
  • the processor 112 and the accelerator 114 can be used efficiently according to the processing contents, processing time, and load. Is possible. For example, when the size of the target data is smaller than the threshold value Th1, the processor 112 generates an offload command, causes the accelerator 114 to execute the offload command, and the processing wait time until the accelerator 114 completes outputting the processing result Is longer than the processing time for the processor 112 to process.
  • the server 100 can perform data processing at high speed by causing the processor 112 to execute processing without offloading to the accelerator 114.
  • the processing by the processor 112 can be performed at high speed.
  • the processor 112 can process a large amount of data at high speed by generating an offload command and causing the accelerator 114 to execute the offload command.
  • the device the processor 112 or the accelerator 114 that executes processing according to the processing time (processing cost)
  • the operating system 602 secures a storage area in the DRAM 401 in the accelerator 114 and transfers data to be processed from the HDD / SSD 115, so that the processing by the accelerator 114 can be performed at high speed.
  • the application 601 calculates the load of the accelerator 114 and offloads the processing to the accelerator 114 having a relatively low load. Thereby, it is possible to level the loads of the plurality of accelerators 114.
  • the application 601 when the loads of the plurality of accelerators 114 are generally high (the total load exceeds the threshold Th2), the application 601 includes only those whose priority set for each application 601 exceeds the threshold Th2. It is possible to suppress the load on the accelerator 114 from becoming excessive by permitting the use of.
  • the application 601 can realize reliable data processing by executing processing with the processor 112.
  • the application 601 can suppress an increase in the cost of the accelerator 114 by offloading only the processes executable by the accelerator 114 and performing other processes by the processor 112.
  • the application 601 determines the offload destination of processing and the presence / absence of offload.
  • the operating system 602 may determine the offload destination of processing and the presence / absence of offload. Good.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments are described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • any of the additions, deletions, or substitutions of other configurations can be applied to a part of the configuration of each embodiment, either alone or in combination.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Abstract

プロセッサに接続された第１のメモリと、第２のメモリを含むアクセラレータと、データを格納するストレージ装置と、を含んでデータ処理部を稼働させる計算機システムは、データの処理要求を受け付ける処理要求受付部と、処理要求内の処理の内容を分析する処理内容分析部と、アクセラレータの負荷を検出する負荷検出部と、処理の内容の分析結果と、アクセラレータの負荷とを取得して、所定の条件が成立したときには処理をアクセラレータに実行させるオフロード処理部と、所定の条件が成立しなかったときには受け付けた処理をプロセッサに処理させる処理実行部を含み、オフロード処理部は、アクセラレータに第２のメモリに記憶領域を確保させてから前記ストレージ装置にデータを転送させた後に処理を実行し、処理実行部は、プロセッサに第１のメモリに記憶領域を確保させてからストレージ装置にデータを転送させてから処理を実行する。

Description

計算機システム及び計算機の制御方法
　本発明は、データ処理を行う計算機システム及び計算機システムに接続されるアクセラレータに関するものである。
　コンピュータシステムは何らかのデータ処理を目的とする。これらデータ処理はコンピュータシステム内のプロセッサによって実施される。また、処理対象となるデータはコンピュータシステムの二次記憶装置（例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ））等に格納されており、プロセッサは二次記憶装置に対して処理対象のデータを一次記憶装置（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））に転送するように指示する。そして、プロセッサは、二次記憶装置によるデータ転送が完了した後に、一次記憶装置に格納されたデータを処理する。こうしたコンピュータシステムでは、二次記憶装置の転送性能がボトルネックとなりデータ処理の性能が制限されてきた。
　近年、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）を二次記憶装置として利用したコンピュータシステムが広まっている。ＳＳＤを二次記憶装置に用いることで、データの転送性能が飛躍的に向上し、前述の二次記憶装置によるボトルネックが解消された。しかし、二次記憶装置の性能が向上する一方でデータ処理を行うプロセッサの性能向上は鈍化しており、データ処理システムにおいてプロセッサの処理性能がコンピュータシステム全体のボトルネックとなっている。
　このプロセッサによるデータ処理性能のボトルネックを回避するため、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の装置をコンピュータシステムに接続し、プロセッサに替わってデータ処理の一部を担うコンピュータシステムが登場している（例えば特許文献１）。
米国特許第８８２４４９２号明細書
　上記特許文献１では、二次記憶装置からデータをアクセラレータとしてのＦＰＧＡに直接転送し、ＦＰＧＡにて所定の処理をした後、処理結果を一次記憶装置に転送する技術が開示されている。
　しかし、様々なデータ処理の中には、アクセラレータへオフロードせずにプロセッサにて処理を実施するほうが効率的な処理も存在する。例えば、オフロードする処理対象データのサイズが小さい場合、プロセッサは少量のデータをアクセラレータに転送する制御を行い、さらに、オフロードする処理内容を記述した情報をアクセラレータに転送する制御を行い、アクセラレータから通知されるオフロード処理の結果を取得する、といった処理を行う必要がある。
　このように、データのサイズが小さい場合では、プロセッサに対するデータ処理の負荷が軽減されても、アクセラレータに処理をオフロードするために新たな処理負荷が生じるため、プロセッサからアクセラレータへの負荷オフロードが十分になされず、プロセッサの性能ボトルネックが回避されないという課題が生じる場合があった。
　上記特許文献１に開示された技術では、こうした課題が考慮されておらず全ての処理をアクセラレータにオフロードするため、上述のように適切な性能向上効果が得られない場合が存在する。
　また、上記特許文献１のように複数の解析処理の全てをアクセラレータにオフロードする構成では、全ての解析処理をアクセラレータ内に実装する必要がある。こうした構成では、極めて稀に発生する処理まで考慮してアクセラレータを開発する必要が生じ、開発工数の増大及びコストの増大を招く、という課題があった。
　また、上記特許文献１に開示された技術では、こうした課題が考慮されておらず全処理をアクセラレータにオフロードするため、コンピュータシステムが実行する可能性のある全てのデータ処理をアクセラレータ内に実装する必要がある。
　また、複数のアプリケーションが稼働しており、複数接続されたアクセラレータが稼働するコンピュータシステムでは、様々なアプリケーションか個別にアクセラレータを利用する。このとき、アクセラレータの処理負荷を平準化する必要があるが、上記特許文献１ではアクセラレータの負荷を平準化することができない、という問題があった。
　本発明は、プロセッサと、前記プロセッサに接続された第１のメモリと、第２のメモリを含むアクセラレータと、前記プロセッサ及び前記アクセラレータに接続されてデータを格納するストレージ装置と、を含んでデータ処理部を稼働させる計算機システムであって、前記データ処理部は、前記データの処理要求を受け付ける処理要求受付部と、前記処理要求に含まれる処理の内容を分析する処理内容分析部と、前記アクセラレータの負荷を検出する負荷検出部と、前記処理の内容の分析結果と、前記アクセラレータの負荷とを取得して、所定の条件が成立したときには受け付けた処理を前記アクセラレータに実行させるオフロード処理部と、前記所定の条件が成立しなかったときには受け付けた処理を前記プロセッサに処理させる処理実行部と、を含み、前記オフロード処理部は、前記アクセラレータに前記第２のメモリに記憶領域を確保させてから、前記ストレージ装置に処理要求に含まれるデータを前記第２のメモリの前記記憶領域に転送させ、前記アクセラレータに処理を実行させ、前記処理実行部は、前記プロセッサに前記第１のメモリに記憶領域を確保させてから、前記ストレージ装置に前記処理要求に含まれるデータを前記第１のメモリの前記記憶領域に転送させ、前記プロセッサに処理を実行させる。
　本発明によれば、様々なデータ処理を行う計算機システムにおいて、アクセラレータにオフロードする事が好適な処理のみをオフロードする事が可能となる。例えば、計算機システムのデータ処理全体のうち、高頻度に生じる処理内容をアクセラレータで高速に処理することで、計算機システムの全体の性能を向上させることができる。また、複数のアクセラレータの負荷を平準化することが可能となり、計算機システムの全体的なデータ処理性能を向上させる事が可能となる。
本発明の実施例を示し、計算機システムの一例を示すブロック図である。 本発明の実施例を示し、アクセラレータの一例を示すブロック図である。 本発明の実施例を示し、サーバにおけるデータ転送経路の一例を示すブロック図である。 本発明の実施例を示し、サーバのソフトウェア構成の一例を示すブロック図である。 本発明の実施例を示し、サーバで行われる処理の一例を示すフローチャートである。 本発明の実施例を示し、サーバのアクセラレータ管理情報の一例を示す図である。 本発明の実施例を示し、サーバのメモリ空間の一例を示すマップである。 本発明の変形例を示し、計算機システムの一例を示すブロック図である。 本発明の変形例を示し、計算機システムの一例を示すブロック図である。 本発明の変形例を示し、サーバのソフトウェア構成の一例を示すブロック図である。
　以下、本発明の一実施例について添付図面を用いて説明する。
（１－１）システム構成
　図１は、計算機システムの一例を示すブロック図である。まず図１を用いて、本発明が適用される計算機システムの構成について説明する。図１は、本発明が適用される計算機システムの一例について示しており、本発明は、図１を例とする計算機システムに適用可能なものである。まず図１について説明する。
　図１は、本発明が適用されるサーバ１００の構成を示している。図１のサーバ１００は、一次記憶領域（または主記憶装置、メモリ）であるＤＲＡＭ１１１と、ソフトウェアに従って様々な処理を行なうプロセッサ１１２と、各種周辺機器を接続するスイッチ（以下ＳＷ）１１３、二次記憶領域（または補助記憶装置、ストレージ装置）となるＨＤＤ／ＳＳＤ１１５－１、１１５－２と、プロセッサ１１２からの指示に基づいてデータ処理を行うアクセラレータ１１４－１、１１４－２を含む。なお、アクセラレータ全体を“－”のない符号１１４で示す。その他の構成要素についても同様に“－”のない符号で、当該構成要素の全体を指す。
　ＤＲＡＭ１１１は、プロセッサ１１２から短時間でアクセス可能に接続されており、プロセッサ１１２が処理するプログラムや処理を行うデータを格納する記憶領域である。
　プロセッサ１１２は、プログラムに従って稼働し、対象のデータを処理する装置である。プロセッサ１１２は、内部に複数のプロセッサコア（図示省略）を含み、プロセッサコアは各自独立してプログラムを処理することができる。また、プロセッサ１１２は、内部にＤＲＡＭコントローラを含み、プロセッサコアからのリクエストに応じてＤＲＡＭ１１１からデータを取得し、またはＤＲＡＭ１１１にデータを格納する。
　また、プロセッサ１１２は、外部ＩＯインターフェース（図示省略）を含んでＳＷ１１３と接続する。またプロセッサ１１２は、ＳＷ１１３を経由して二次記憶装置であるＨＤＤ／ＳＳＤ１１５やアクセラレータ１１４に指示を通知する事が可能である。
　ＳＷ１１３は、高速な外部ＩＯバスを中継する構成要素であり、例えばＰＣＩ－ＥｘｐｒｅｓｓやＩｎｆｉｎｉｂａｎｄ等の接続規格のパケットを、所定のルーティング方式で転送する。ＳＷ１１３は、ＨＤＤ／ＳＳＤ１１５とアクセラレータ１１４を複数台接続しており、プロセッサ１１２と各種デバイス間で情報を転送する。
　ＨＤＤ／ＳＳＤ１１５は、処理の対象となるデータを格納する二次記憶装置である。本発明においては、ＨＤＤ／ＳＳＤ１１５はプロセッサ１１２から通知される情報に基づき対象データをＤＡＲＭ１１１または、後述のアクセラレータ１１４内のＤＲＡＭ（主記憶装置）４０１に転送する。本発明においては、二次記憶装置は、ＨＤＤやＳＳＤのいずれでも構わない。
　なお、本実施例のサーバ１００の構成を示す図１では、プロセッサ１１２の外部にあるＳＷ１１３を経由してＨＤＤ／ＳＳＤ１１５と接続する例について記すが、本発明はこの例に限定されるものではなく、プロセッサ１１２とＨＤＤ／ＳＳＤ１１５やアクセラレータ１１４が直接接続されていてもよい。
　また、本実施例のサーバ構成を示す図１では、サーバ１００内に一つのプロセッサ１１２とひとつのＳＷ１１３を有する構成を示すが、本発明はこの例に限定されるものではない。例えば、図７で示すようにサーバ１００Ａには、複数のプロセッサ１１２－１、１１２－２と、ＳＷ１１３－１、１１３－２が搭載されていても良く、一つのプロセッサ１１２に複数のＳＷ１１３が接続される構成、または、複数のプロセッサ１１２に一つのＳＷ１１３が接続される構成であっても構わない。
　また、本実施例のサーバの構成を示す図１では、サーバ１００内にＳＷ１１３を格納した構成について記すが、本発明はこの構成について限定されるものではない。例えば、図８で示すようにサーバ１００－１、１００－２が複数有り、複数のサーバ１００が複数のエキスパンダー３０１－１、３０１－２を共有する構成であっても良い。
　エキスパンダー３０１は、内部にＳＷ１１３と、ＨＤＤ／ＳＳＤ１１５－１、１１５－２と、アクセラレータ１１４－１、１１４－２を含み、ＨＤＤ／ＳＳＤ１１５、アクセラレータ１１４はＳＷ１１３を経由してサーバ１００内のプロセッサ１１２に接続される。
　上記構成において、サーバ１００－１、１００－２はサーバ間通信経路３０２（例えばＩｎｆｉｎｉｂａｎｄまたはＥｔｈｅｒｎｅｔ）を用いて相互に通信し、後述するアクセラレータ１１４内のＤＲＡＭ領域の管理を協調して行う。
　（１－２）アクセラレータの構成
　次に図２を用いて、本発明が適用されるアクセラレータ１１４－１の内部構成について説明する。図２は、アクセラレータ１１４－１の一例を示すブロック図である。図２に示すアクセラレータ１１４－１はＦＰＧＡ４００とＤＲＡＭ４０１によって構成される。なお、図１に示したアクセラレータ１１４－１、１１４－２は同様の構成である。
　ＦＰＧＡ４００は、少なくとも内部にホストインターフェース部４１１と、組み込みプロセッサ４１２と、ＦＰＧＡ内部スイッチ部４１３と、データ処理機能部４１４及びＳＲＡＭ部４１５を有する。
　ホストインターフェース部４１１は、ＦＰＧＡ４００内に実装された機能であり、接続されるＳＷ１１３とのデータ通信を行う機能部である。
　組み込みプロセッサ４１２は、ホスト（プロセッサ１１２）からの指示に基づいて所定の処理を行う機能部である。本実施例ではサーバ１００内のプロセッサ１１２は、アクセラレータ１１４に対してフィルタ処理（対象データ中、指定した条件に一致したデータのみを取り出す処理）のオフロードコマンドを作成し、オフロードコマンドの実施をアクセラレータ１１４に指示する。
　この指示を組み込みプロセッサ４１２が検知すると、サーバ１００からコマンドを取得する。そして、組み込みプロセッサ４１２は、フィルタ処理の条件を取得し、当該条件を後述のデータ処理機能部４１４に通知する。次に、アクセラレータ１１４内のＤＲＡＭ４０１における対象データの位置をデータ処理機能部４１４に通知し、処理開始を指示する。
　ＦＰＧＡ内部スイッチ部４１３は、ＦＰＧＡ４００内の各機能部間での情報通信を行うため、各機能部に接続される。尚、図２には、スター型に接続されたスイッチの例について記しているが、ＦＰＧＡ内部スイッチ部４１３は、共有バス構成にて接続されていてもよい。
　データ処理機能部４１４は、サーバのプロセッサ１１２から指示された内容に基づいてデータ処理を行う論理回路である。データ処理機能部４１４は、組み込みプロセッサ４１２の指示に基づいて処理を開始し、組み込みプロセッサ４１２から指定されたアクセラレータ１１４内のＤＲＡＭ４０１の領域から対象データを読み出し、組み込みプロセッサ４１２から指示されたフィルタリング条件を用いて、対象データ中から条件に該当するデータのみをホストインターフェース部４１１を介してサーバ１００のプロセッサ１１２に転送する。
　尚、本実施例では、データ処理の一例としてフィルタ処理について記すが、本発明はこのデータ処理内容に限定されるものではない。例えば加算処理でもよく、指定されたデータの合計値を演算し、その合計値のみをサーバ１００に転送する制御でもよい。
　また、本実施例では、アクセラレータ１１４がＦＰＧＡによって構成された例について示すが本発明はこの例に限定されるものではない。例えば、アクセラレータ１１４がＧＰＵによって構成されており、データ処理機能部４１４や組み込みプロセッサ４１２等の区別無く、各種処理を全てＧＰＵのコアが処理するとしても良い。
　（１－３）アクセラレータにて処理する場合のデータ転送経路
　続いて図３を用いて本実施例におけるデータの転送経路について説明する。本実施例では、データの処理内容に基づきサーバ１００内のプロセッサ１１２が、データ処理をプロセッサ１１２自身で処理するか、アクセラレータ１１４にオフロードするか否かを判定する。本実施例ではその一つの例として、フィルタ処理を行う対象データのサイズが小さい（閾値Ｔｈ１以下）場合にはプロセッサ１１２自身でフィルタ処理を行い、フィルタ処理を行う対象データのサイズが大きい（閾値Ｔｈ１を超える）場合にはアクセラレータ１１４内のデータ処理機能部４１４にて処理を行う。
　図３の破線の矢印にて示すデータ転送経路５０１は、データ処理をプロセッサ１１２自身で処理する際のデータ転送経路である。プロセッサ１１２は、対象データを格納するための領域としてオペレーティングシステムの標準機能を用いてＤＲＡＭ１１１内の領域を確保し、その領域をＨＤＤ／ＳＳＤ１１５に通知する。通知を受けたＨＤＤ／ＳＳＤ１１５は、ＤＲＡＭ１１１内の領域に向けて対象データを転送する。対象データの転送完了後、ＨＤＤ／ＳＳＤ１１５はプロセッサ１１２に対してデータ転送の完了を通知する。
　プロセッサ１１２はデータ転送の完了を取得後、ＤＲＡＭ１１１に直接アクセスし、対象データを取得してフィルタ処理を行う。
　一方で、図３の実線の矢印にて示すデータ転送経路５０２は、データ処理をアクセラレータ１１４にオフロードする際のデータ転送経路である。プロセッサ１１２は、対象データを格納するための領域として後述するアクセラレータＤＲＡＭアロケータ６２１を用いてアクセラレータ１１４内のＤＲＡＭ４０１で記憶領域を確保し、その記憶領域をＨＤＤ／ＳＳＤ１１５に通知する。通知を受けたＨＤＤ／ＳＳＤ１１５は、アクセラレータ１１４内のＤＲＡＭ４０１の領域に向けて対象データを転送する。対象データの転送完了後、ＨＤＤ／ＳＳＤはプロセッサ１１２に対して完了を通知する。
　プロセッサ１１２はデータ転送完了の通知を取得後、オフロード用のコマンドを作成する。このオフロード用のコマンドには、フィルタ処理の条件等を含む。そしてプロセッサ１１２は、このコマンドをアクセラレータ１１４に通知する。通知を受けたアクセラレータ内の組み込みプロセッサ４１２は、プロセッサ１１２から通知されたフィルタ処理の条件をデータ処理機能部４１４に通知する。その後、組み込みプロセッサ４１２は、データ処理機能部４１４に処理の開始を指示する。
　組み込みプロセッサ４１２から指示を受けたデータ処理機能部４１４は、対象データをＤＲＡＭ４０１から取得して、フィルタ処理を行う。そして、組み込みプロセッサ４１２はフィルタ処理の結果をサーバ１００のプロセッサ１１２に転送する。
　上述のとおり、図３にて実線にて示したアクセラレータ１１４にてデータ処理をする際のデータ転送経路５０２を実現することで、転送不可が集中するプロセッサ１１２とＳＷ１１３間のデータ転送経路や、プロセッサ１１２とＤＲＡＭ１１１間の転送経路に対象データを転送することなく、ＨＤＤ／ＳＳＤ１１５とアクセラレータ１１４間の経路のみに対象データを転送するだけで、データ処理を実現できる。
　このため、サーバ１００の性能を向上させる際に、プロセッサ１１２やＤＲＡＭ１１１を増強せずに、ＨＤＤ／ＳＳＤ１１５やアクセラレータ１１４の個数を増やすのみで性能向上を達成できる。
　（１－４）ソフトウェア構成
　続いて、実施例１におけるソフトウェア構成について図４を用いて説明する。図４は、本実施例におけるサーバ１００のソフトウェアの構成の一例を示すブロック図である。図４に示すソフトウェアのいずれも図１に示したサーバ１００、または図８または図９にて示したサーバ１００Ａ、１００－１、１００－２のプロセッサ１１２によって処理される。
　アプリケーション６０１－１、６０１－２は、例えば、ＨＤＤ／ＳＳＤ１１５に格納されたデータ処理を行うデータベースソフトウェアであり、オペレーティングシステム６０２が提供する仮想（または論理）アドレス上で稼働するソフトウェアである。なお、本実施例ではデータ処理を行うアプリケーションの一例としてデータベースソフトウェアを挙げ、データベースソフトウェアがフィルタ処理及びインデックスの管理情報生成処理をする例について記すが、本発明はこのソフトウェアに限定されるものではない。例えば、アプリケーションとして画像処理ソフトウェアであっても良く、画像処理ソフトウェアが、画像処理（例えば、画像フォーマット変換）をアクセラレータにオフロードするものにも適用される。
　また、図４で示すようにアプリケーション６０１は、オペレーティングシステム６０２上で稼働するものに限定されない。
　例えば図１０のアプリケーション６０１のように、オペレーティングシステム６０２上で稼働する仮想化ソフトウェア６０４にて管理されるゲストオペレーティングシステム６０２上で稼働するものにも適用される。
　図４において、データ処理部として機能するアプリケーション６０１は、データの処理要求を受け付ける処理要求受付部６０３と、受け付けた処理内容を分析する処理内容分析部６０９と、アクセラレータ１１４の負荷を検出する負荷検出部６０５と、処理のオフロードの有無を判定し、オフロード処理を実行させるオフロード処理部６０６と、処理のオフロードを行わない場合にデータ処理をプロセッサ１１２にて実行する処理実行部６０７とを含む。
　アプリケーション６０１の処理内容分析部６０９は、アクセラレータ１１４にオフロード可能な処理を予め取得または設定されおり、内部で生じる様々な処理について、アクセラレータにて処理すべきか、プロセッサ１１２にて処理すべきかを判定する。
　また、アプリケーション６０１の負荷検出部６０５は、後述のアクセラレータ管理情報８００をアクセラレータドライバ６１０から取得することで、アクセラレータ１１４の負荷状況を取得する。そして、アクセラレータ１１４の負荷が所定の閾値Ｔｈ２以上で高くプロセッサ１１２で処理するほうが高速に処理可能と判定される場合、アプリケーション６０１のオフロード処理部６０６は、処理内容としてアクセラレータ１１４にオフロード可能な場合であってもアクセラレータ１１４へのオフロードを禁止して、処理実行部６０７がプロセッサ１１２にて処理する。
　また、オフロード処理部６０６は、アクセラレータ１１４に処理をオフロードする場合、後述のアクセラレータ管理情報８００から、複数のアクセラレータ１１４の負荷を取得して、負荷が相対的に低いアクセラレータ１１４を選択して処理をオフロードする。例えば、アプリケーション６０１は、複数のアクセラレータ１１４のうち負荷が最小のアクセラレータ１１４を選択して処理をオフロードする。
　オペレーティングシステム６０２は、アクセラレータ１１４や二次記憶装置であるＨＤＤ／ＳＳＤ１１５等を管理し、アプリケーションを稼働させるソフトウェアである。オペレーティングシステム６０２は、少なくとも内部に、アクセラレータドライバ６１０と、ＨＤＤ／ＳＳＤドライバ６１１とを含む。
　アクセラレータドライバ６１０は、アプリケーション６０１がアクセラレータ１１４を利用する際に使用するソフトウェアである。アクセラレータドライバ６１０は、アクセラレータＤＲＡＭアロケータ６２１とオフロードコマンド発行６２２と、オフロードコマンド完了チェック６２３と、アクセラレータ管理情報の取得６２４の機能を有する。
　アクセラレータＤＲＡＭアロケータ６２１は、アクセラレータ１１４が有するＤＲＡＭ４０１の記憶領域を管理する機能である。アプリケーション６０１は、アクセラレータ１１４の利用時にアクセラレータＤＲＡＭアロケータ６２１に対してメモリ要求とメモリ要求サイズを通知する。
　通知を受けたアクセラレータＤＲＡＭアロケータ６２１は、管理するアクセラレータ１１４内のＤＲＡＭ４０１の記憶領域で空き領域を探索し、要求サイズ分を確保する。アクセラレータＤＲＡＭアロケータ６２１は、確保した領域が利用中である事を示す情報をアクセラレータＤＲＡＭアロケータ６２１が管理するアクセラレータ管理情報８００に記録する。そして、アクセラレータＤＲＡＭアロケータ６２１は、確保した領域の先頭を示す物理アドレスをアプリケーション６０１に返す。一方で、要求サイズ分のＤＲＡＭ４０１の記憶領域を確保できなかった場合、アクセラレータＤＲＡＭアロケータ６２１は、確保不能であることを示す情報をアプリケーション６０１に通知する。
　また、アプリケーション６０１のオフロード処理部６０６は、利用していたアクセラレータ１１４内のＤＲＡＭ４０１の記憶領域が不要となった場合（例えば、フィルタ処理のオフロード結果取得が完了したときなど）、アクセラレータＤＲＡＭアロケータ６２１にメモリ領域の開放を指示する。指示を受け付けたアクセラレータＤＲＡＭアロケータ６２１は、内部の管理情報（管理情報）から該当する領域を「空き」状態に変更して更新する。そして、アクセラレータＤＲＡＭアロケータ６２１は、メモリ領域の開放が完了したことをアプリケーション６０１のオフロード処理部６０６に通知する。
　オフロードコマンド発行６２２は、アプリケーション６０１のオフロード処理部６０６が所定のオフロードコマンドをアクセラレータ１１４に発行する際に利用する機能である。アプリケーション６０１のオフロード処理部６０６は、ＨＤＤ／ＳＳＤ１１５に対して、対象データをアクセラレータＤＲＡＭアロケータ６２１に確保した記憶領域へ転送するよう指令する。そして、アプリケーション６０１は、アクセラレータドライバ６１０のオフロードコマンド発行６２２に処理の実行とフィルタ処理の条件を与える。
　オフロードコマンド発行６２２は、フィルタ処理の条件をアクセラレータ１１４に通知し、実行を開始させる。その後、オフロードコマンド発行６２２は、オフロードコマンドの発行が完了したことをアプリケーション６０１のオフロード処理部６０６に通知する。
　オフロードコマンド完了チェック６２３は、アプリケーション６０１のオフロード処理部６０６が発行済みのオフロードコマンドが完了しているか否かをアクセラレータ１１４に問い合わせるための機能である。
　アクセラレータドライバ６１０は、アクセラレータ１１４から通知されたオフロードコマンド処理の完了を保持しておき、アプリケーション６０１のオフロード処理部６０６からオフロードコマンド完了チェック６２３を介したアクセスがあった際に、アクセラレータ管理情報８００を参照することで、指定されたオフロードコマンドが完了しているか否かを判定する。オフロードコマンド完了チェック６２３は、アクセラレータ１１４でオフロードコマンドの完了を確認した後、フィルタ処理の結果をアプリケーション６０１のオフロード処理部６０６に応答する。
　アクセラレータ管理情報の取得６２４は、アプリケーション６０１の負荷検出部６０５及びオフロード処理部６０６が後述するアクセラレータ管理情報８００を取得するために用いる機能である。本実施例のアプリケーション６０１は、複数のアクセラレータ１１４を管理しており、各アクセラレータ１１４への負荷が平準化されるように調整する。
　このため、アプリケーション６０１はオフロードコマンドの発行前に、アクセラレータ管理情報の取得６２４の機能を用いてアクセラレータ１１４の管理情報を取得し、この管理情報から現在負荷が相対的に低いアクセラレータ１１４を選択する。この機能によって、本実施例のアプリケーション６０１はアクセラレータ１１４の負荷の平準化を実現する。
　尚、本実施例では、アプリケーション６０１がこれらアクセラレータドライバ６１０の各機能と直接通信する例について記述するが、本発明はこの例に限定されるものではない。例えば、複数のアプリケーション６０１から共通してアクセスされるライブラリ（または、オペレーティングシステム６０２内の機能）があり、そのライブラリが複数のアプリケーション６０１からの要求を調停してアクセラレータドライバ６１０にアクセスしても良い。
　また、アクセラレータ管理情報の取得６２４の機能については、オペレーティングシステム６０２内のドライバではなく、オペレーティングシステム６０２上にて稼働する複数のアプリケーション６０１から参照可能なソフトウェアであっても良い。
　ＨＤＤ／ＳＳＤドライバ６１１は、アプリケーション６０１がＨＤＤ／ＳＳＤ１１５にＩＯコマンドを発行する際に利用するソフトウェアであり、ＩＯＣＭＤ１発行６３１と、ＩＯＣＭＤ２発行６３２と、ＩＯＣＭＤ完了チェック６３３の機能を有する。
　ＩＯＣＭＤ１発行６３１は、アプリケーション６０１の処理実行部６０７がプロセッサ１１２を用いてデータ処理を行う際に、ＨＤＤ／ＳＳＤ１１５から対象データを取得するために利用する機能である。アプリケーション６０１は、データを処理するため、対象データを格納する記憶領域の確保をオペレーティングシステム６０２に要求する。この記憶領域の確保は、オペレーティングシステム６０２がＬｉｎｕｘであるときの「ｍａｌｌｏｃ」や「ｐｏｓｉｘ＿ｍｅｍａｌｉｇｎ」等の機能であり、記憶領域の確保を要求されたオペレーティングシステム６０２は、管理下のＤＲＡＭ１１１の空き領域から、要求された記憶領域を確保して、当該記憶領域の仮想アドレスをアプリケーション６０１に応答する。
　次に、アプリケーション６０１は、この仮想アドレスをＩＯＣＭＤ１発行に通知し、この仮想アドレスに対象データを格納するように指示する。指示を受け付けたＩＯＣＭＤ１発行６３１は、仮想アドレスをオペレーティングシステム６０２の他の機能に問い合わせ、物理アドレスに変換し、その物理アドレスをＨＤＤ／ＳＳＤ１１５に通知し、対象データの取得を指示する。
　尚、アプリケーション６０１は、ＩＯＣＭＤ１発行に対して連続した仮想アドレスを通知するが、その仮想アドレスを物理アドレスに変換して、離散的な複数の物理アドレスとなっても構わない。この場合、ＩＯＣＭＤ１は、離散的な複数の物理アドレス全てをＨＤＤ／ＳＳＤ１１５に通知する。通知を受けたＨＤＤ／ＳＳＤ１１５は、指定された複数の物理アドレスに対して対象データを転送する。対象データの転送が完了した後、ＨＤＤ／ＳＳＤ１１５は、転送完了情報をサーバ１００のアプリケーション６０１に通知する。
　ＩＯＣＭＤ２発行６３２は、アプリケーション６０１のオフロード処理部６０６がアクセラレータ１１４を用いてデータ処理する際に、ＨＤＤ／ＳＳＤ１１５からアクセラレータ１１４内のＤＲＡＭ４０１に対象データを転送させるために用いる機能である。
　アプリケーション６０１のオフロード処理部６０６は、アクセラレータ１１４でデータ処理を行うため、前述のアクセラレータＤＲＡＭアロケータ６２１を用いて、対象データを格納するためのアクセラレータ１１４内のＤＲＡＭ４０１で記憶領域を確保する。このとき、アクセラレータＤＲＡＭアロケータ６２１は、確保した記憶領域を示すアクセラレータ内ＤＲＡＭ４０１の物理アドレスをアプリケーション６０１に返す。
　アプリケーション６０１のオフロード処理部６０６は、このアクセラレータ内ＤＲＡＭ４０１の物理アドレスをＩＯＣＭＤ２発行６３２に通知し、データ転送を指示する。指示を受けたＩＯＣＭＤ２発行６３２は、アプリケーション６０１から通知された物理アドレスをＨＤＤ／ＳＳＤ１１５に通知して、対象のデータ転送を指示する。
　ＩＯＣＭＤ２発行６３２からデータ転送を指示されたＨＤＤ／ＳＳＤ１１５は、指定されたアクセラレータ内ＤＲＡＭ４０１の物理アドレスに対してデータを転送し、転送が完了すると転送完了情報をサーバ１００のアプリケーション６０１のオフロード処理部６０６に通知する。
　ＩＯＣＭＤ完了チェック６３３は、アプリケーション６０１がＩＯＣＭＤ１またはＩＯＣＭＤ２にて発行したコマンドの完了を検知するための機能である。ＨＤＤ／ＳＳＤドライバ６１１は、ＨＤＤ／ＳＳＤ１１５のデータ転送の完了を検知した際、内部管理情報（図示省略）にデータ転送が完了したことを記録し、保持している。
　アプリケーション６０１のオフロード処理部６０６は、ＩＯＣＭＤ完了チェック６３３を定期的（所定の周期）に呼び出して、発行中のＩＯＣＭＤが完了しているか否かをＨＤＤ／ＳＳＤドライバ６１１に問い合わせる。このとき、ＨＤＤ／ＳＳＤドライバ６１１は、内部管理情報を参照し、「データ転送完了」または、「データ転送未完」をアプリケーション６０１のオフロード処理部６０６に通知する。
　オペレーティングシステム６０２と、アプリケーション６０１の各機能部はプログラムとしてメモリとしてのＤＲＡＭ１１１にロードされる。
　プロセッサ１１２は、各機能部のプログラムに従って処理することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ１１２は、データベースプログラムに従って処理することでデータ処理部（アプリケーション６０１）として機能する。他のプログラムについても同様である。さらに、プロセッサ１１２は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。
　オペレーティングシステム６０２やアプリケーション６０１の各機能を実現するプログラム、テーブル等の情報は、ストレージサブシステムや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
　図７はサーバ１００のメモリ空間の一例を示すマップである。サーバ１００のＤＲＡＭ１１１のメモリ空間１１１０は、オペレーティングシステム６０２によって管理される。図示の例では、サーバ１００のＤＲＡＭ１１１のメモリ空間１１１０に割り当てられた仮想アドレスが０ｈ～Ｅ００００ｈの例を示す。
　オペレーティングシステム６０２は、アクセラレータ１１４のＤＲＡＭ４０１の物理アドレスを、メモリ空間１１１０の仮想アドレスに割り当てておく。
　例えば、オペレーティングシステム６０２は、アクセラレータ１１４－１のＤＲＡＭ４０１の物理アドレスの０ｈ～ＦＦＦｈを、メモリ空間１１１０内の仮想アドレスのＡ０００ｈ～ＡＦＦＦｈに割り当てる。また、オペレーティングシステム６０２は、例えば、アクセラレータ１１４－２のＤＲＡＭ４０１の物理アドレスの０ｈ～ＦＦＦｈを、メモリ空間１１１０内の仮想アドレスのＤ０００ｈ～ＤＦＦＦｈに割り当てる。
　アクセラレータ１１４は、ＤＲＡＭ１１１に割り当てられた上記記憶領域（Ａ０００～ＡＦＦＦ、Ｄ０００～ＤＦＦＦ）へオフロードされた対象データの処理結果を書き込んでおく。これにより、アプリケーション６０１はＤＲＡＭ１１１内に書き込まれたオフロード処理の結果を利用することができる。
　なお、上記ではオペレーティングシステム６０２上でアプリケーション６０１を実行する例を示したが、図１０に示す仮想化ソフトウェア６０４を用いた場合は、次のようになる。図１０は、本実施例の変形例を示し、サーバ１００のソフトウェア構成の一例を示すブロック図である。
　仮想化ソフトウェア６０４は、オペレーティングシステム６０２でゲストオペレーティングシステム６０２を稼働させるソフトウェアである。ゲストオペレーティングシステム６０２からのアクセラレータ１１４、ＨＤＤ／ＳＳＤ１１５への各種命令を仲介するソフトウェアである。仮想化ソフトウェア６０４は、アクセラレータドライバ６１０やＨＤＤ／ＳＳＤドライバ６１１に、アプリケーション６０１と同様の形態でアクセラレータ１１４内のＤＲＡＭ４０１で記憶領域の確保や、オフロードコマンドの発行や、各種ＩＯの発行を行う。
　ゲストオペレーティングシステム６０２は、仮想化ソフトウェア６０４上で稼働するオペレーティングシステムである、ゲストオペレーティングシステム６０２内には、オペレーティングシステム６０２内のアクセラレータドライバ６１０とＨＤＤ／ＳＳＤドライバ６１１と同様のインターフェースを持つゲストオペレーティングシステム内ドライバ６４１を有する。
　ゲストオペレーティングシステム６０２上で稼働するアプリケーション６０１は、このゲストオペレーティングシステム内ドライバ６４１を用いることで、オペレーティングシステム６０２内の、アクセラレータドライバ６１０、ＨＤＤ／ＳＳＤドライバ６１１に命令を通知する。
　ゲストオペレーティングシステム内ドライバ６４１は、オペレーティングシステム６０２内のアクセラレータドライバ６１０とＨＤＤ／ＳＳＤドライバ６１１と同様のインターフェースをアプリケーション６０１に提供する。そして、ゲストオペレーティングシステム内ドライバ６４１はアプリケーション６０１からの指示に応じて、仮想化ソフトウェア６０４を介してアクセラレータドライバ６１０またはＨＤＤ／ＳＳＤドライバ６１１に指示を送る。
　（１－５）アクセラレータ管理情報
　次に、図６を用いてアクセラレータ管理情報８００について説明する。図６はサーバ１００のアクセラレータ管理情報８００の一例を示す図である。
　アクセラレータ管理情報８００は、前述のアクセラレータドライバ６１０が管理し、更新処理を行う。アクセラレータドライバ６１０は、アプリケーション６０１からの指示に基づいてオフロードコマンドを発行する度に、アクセラレータ管理情報８００の該当項目を更新する。
　本実施例のアクセラレータ管理情報８００は、発行中のオフロードコマンド数８０１と、発行中の対象データサイズ８０２と、発行中の処理内容内訳８０３のエントリを持ち、アクセラレータ１１４毎に個別の独立したフィールド８１１、８１２を有する。なお、図中アクセラレータＸがアクセラレータ１１４－１に対応し、アクセラレータＹがアクセラレータ１１４－２に対応する。
　発行中のオフロードコマンド数８０１は、該当するアクセラレータ１１４に発行済みのオフロードコマンド数を格納するフィールドである。アクセラレータドライバ６１０は、オフロードコマンドをアクセラレータ１１４に通知した際に、このフィールドをオフロードしたコマンド数だけインクリメントして更新する。
　また、アクセラレータドライバ６１０は、アクセラレータ１１４からオフロードコマンドの完了を受領した際には、発行中のオフロードコマンド数８０１のフィールド８１１、８１２の値をデクリメントして更新する。
　アプリケーション６０１がこのフィールド８１１、８１２の値を取得することで、アクセラレータ１１４毎の負荷の差異を取得することができる。仮に、複数のアプリケーション６０１が発行するアクセラレータ１１４へのオフロードコマンドの内容が同一であると仮定される場合には、アプリケーション６０１はこのフィールド８１１、８１２の値が相対的に小さいアクセラレータ１１４に対してオフロードコマンドを発行することで、アクセラレータ１１４の負荷を平準化する。
　図６の例では、発行中のオフロードコマンド数８０１のエントリにおいて、アクセラレータＸに２０個のコマンドが発行済みであり、アクセラレータＹには３２個のコマンドが発行済みである場合を示している。仮に、これらオフロードコマンドが同一（処理内容が同一で且つリクエストサイズが同一）である場合には、このフィールドの値が少ないアクセラレータ１にコマンドを発行することで、負荷の平準化を実現する。
　アクセラレータ１１４－１にコマンドを発行した場合には、アクセラレータドライバ６１０は、このフィールド８１１、８１２の値を既存の２０から２１にインクリメントして更新する。また、アクセラレータ１１４－１からのコマンド完了を受領した場合には、アクセラレータドライバがこのフィールドの値を２０から１９にデクリメントして保存する。
　発行中の対象データサイズ８０２は、該当するアクセラレータ１１４に発行済みの対象データ量を格納するエントリである。アクセラレータドライバ６１０は、オフロードコマンドをアクセラレータ１１４に通知した際に、このエントリのフィールド８１１、８１２をオフロードしたデータサイズだけインクリメントして更新する。
　また、アクセラレータドライバ６１０は、アクセラレータ１１４からオフロードコマンドの完了を受領した際には、このエントリのフィールド８１１、８１２の値をデクリメントして更新する。
　アクセラレータ１１４にオフロードする対象データサイズにばらつきが大きい環境では、前述の発行中のオフロードコマンド数８０１のエントリに格納された値では、アクセラレータ１１４の負荷を予測できない。この場合、発行中の対象データサイズ８０２のエントリでフィールド８１１、８１２の値を用いてアクセラレータ１１４の負荷を推定する。例えば発行中のコマンド数が多いアクセラレータ１１４であっても、各コマンドの対象データサイズ８０２が小さい場合、処理に要する時間は短いと推測される。このため、アプリケーション６０１は、発行中のデータサイズ８０２の値が相対的に小さいアクセラレータ１１４を選択してオフロードを実施することでアクセラレータ１１４の負荷を平準化できる。
　図６の例では、アクセラレータＸに合計３０７２ＫＢのオフロードコマンドが発行済みであり、アクセラレータＹに合計８１９２ＫＢのオフロードコマンドが発行済みであることを示す。仮にオフロードした処理内容が同一種類であれば、このフィールド８１１、８１２の値が相対的に小さいアクセラレータ１にオフロードコマンドを発行することで負荷の平準化を図ることができる。
　発行中の処理内容内訳８０３は、該当するアクセラレータ１１４に発行済みのオフロードコマンドの処理内訳について格納するエントリである。アクセラレータ１１４が複数の処理が実施可能な場合、例えば、「データのフィルタリング」と「画像データのフォーマット変換」の二種類の処理が可能なアクセラレータ１１４の場合、アプリケーション６０１は各処理の処理時間が異なるため、前述の発行中のオフロードコマンド数８０１や発行中の対象データサイズ８０２では、アクセラレータ１１４が完了するまでの処理時間を推定できない。
　そこで、発行中の処理内容内訳８０３に、発行中のコマンド毎について処理内容と処理データサイズを格納し、アプリケーション６０１は、これらの情報からコマンド毎の処理時間を負荷として推定する。そして、アプリケーション６０１は、処理時間が相対的に短いアクセラレータ１１４にオフロードすることで、アクセラレータ１１４の負荷の平準化を測る。また、上記推定した処理時間からプロセッサ１１２にて処理したほうが高速と考えられる場合、プロセッサ１１２にて処理する。
　図６に示す例では、アクセラレータＸに発行中の処理内容内訳８０３のエントリのフィールド８１１に「４ＫＢ毎のデータ処理に１００μｓの処理時間が必要な処理Ａ」について、処理データサイズとして「５１２ＫＢ」とするコマンドを「４個」発行中であることを示す情報を格納している。
　さらに発行中の処理内容内訳８０３のエントリでは、フィールド８１１に「１６ＫＢ毎のデータ処理に１０μｓの処理時間が必要な処理Ｂ」について、処理データサイズを「６４ＫＢ」とするコマンドを「１６個」発行中という情報を格納している。
　このとき、この情報をアクセラレータドライバ６１０から取得したアプリケーション６０１は、取得した情報からアクセラレータＹの処理完了時間は、おおよそ１００μｓ×５１２ＫＢ／４ＫＢ×４個＋１０μｓ×６４ＫＢ／１６ＫＢ×１６個＝５１２００μｓ＋２５６μｓ＝５３７６０μｓと予測する。
　そして、アプリケーション６０１は、この処理完了時間を他のアクセラレータ１１４についても同様に計算して比較（図６の例のアクセラレータＹは、１０　μｓ×２５６ＫＢ／１６ＫＢ×３２個＝５１２０μｓであるから、アクセラレータＸの方が対象データサイズ８０２は小さい）し、相対的に処理完了時間の短いアクセラレータ１１４を選択することで、アクセラレータ１１４の負荷の平準化を行う。また、アプリケーション６０１は、対象データの処理をプロセッサ１１２で実施するべきか、アクセラレータ１１４にオフロードすべきかを判定する情報としてアクセラレータ管理情報８００を用いることができる。
　なお、上記実施例では、アクセラレータ管理情報８００をオペレーティングシステム６０２のアクセラレータドライバ６１０内に保持する例を示したが、図示はしないが、アプリケーション６０１内に保持してもよい。
　（１－６）データ処理内容
　続いて、図５を用いて本実施例のサーバ１００で行われる処理の一例を説明する。図５は、サーバ１００で行われる処理の一例を示すフローチャートである。このフローチャートは、本実施例の対象とするデータベースのアプリケーション６０１にて実施される。データベースソフトウェアとして稼働するアプリケーション６０１は、サーバ１００の各種クライアントからの処理要求に応じてデータ処理を行う。アプリケーション６０１は、処理要求を受け付けると、図５に示すフローチャートを実行する。尚、図５に示す各ステップの処理を行う主体は、アプリケーション６０１を実行するプロセッサ１１２である。
　本実施例におけるデータ処理の最初のステップＳ７０１は、アプリケーション６０１がデータ処理の指示（または要求）を受領する。例えばサーバ１００に接続されたクライアントＰＣ（図示省略）から、データベース全体のインデックス作成の指示が通知された場合、本実施例のアプリケーション６０１であるデータベースはその指示を受領する。
　次のステップＳ７０２では、アプリケーション６０１がステップＳ７０１で受領したデータ処理の指示の内容を分析する。このステップにおいて、受領したデータ処理は、アプリケーション６０１によって複数種類の内部処理に分割される。例えば、受領したデータ処理の指示内容がインデックス作成の指示であった場合、インデックス作成に指定された条件に該当するデータを取得するフィルタ処理と、フィルタ処理の結果に基づいてインデックスの管理情報を生成する処理に分割される。
　ステップＳ７０３では、ステップＳ７０２にて処理した複数の処理毎に、アクセラレータ１１４にて処理のオフロードが可能か否か、または有効か否かを判定する。例えば、上記ステップＳ７０２にて「フィルタ処理」と「インデックスの管理情報生成」の二種類の処理が必要と判断された場合、「フィルタ処理」、「インデックスの管理情報生成」という処理毎に、アクセラレータ１１４にて処理のオフロードが可能か判断する。
　本実施例のアクセラレータ１１４は例えば、「フィルタ処理」の機能のみを搭載したものであり、上記の例において、アプリケーション６０１は、二つの処理のうち「フィルタ処理」については、アクセラレータ１１４にてオフロード可能と判定し、ステップＳ７０４に進む。
　一方で、アプリケーション６０１は、「インデックスの管理情報生成」については、アクセラレータ１１４に処理をオフロードさせることは不可能と判定し、ステップＳ７１４に進む。
　また、アプリケーション６０１は、アクセラレータ１１４にオフロード可能な処理であっても、一回のオフロードコマンド発行にてオフロードできるデータのサイズが所定の閾値Ｔｈ１以下で小さい場合、例えばプロセッサ１１２にて処理した場合の処理時間が５μｓ程度と推定され、オフロードコマンド発行とアクセラレータ１１４による処理時間が１０μｓと推定される場合、アクセラレータ１１４へのオフロードは処理時間の短縮に有効でないと判定してステップＳ７１４に進む。
　一方、アプリケーション６０１は、一回のオフロードコマンド発行にて、アクセラレータ１１４にオフロード可能なデータのサイズが閾値Ｔｈ１を超えて大きい場合、ステップＳ７０４に進む。
　尚、本実施例では、一回のオフロードコマンド発行にて処理するデータのサイズから、アプリケーション６０１が処理時間を予測して、プロセッサ１１２にて実施する場合とアクセラレータ１１４にて処理する場合に分岐して処理する例を示すが、本発明はこの例に限定されるものではない。
　例えば、アプリケーション６０１は、アクセラレータ１１４にオフロードするリクエスト（データサイズ）の下限値を固定値として管理しても良い。例えば、アプリケーション６０１は、１６ＫＢ以下のデータはプロセッサ１１２にて処理するという閾値Ｔｈ１を保持し、この閾値Ｔｈ１に従ってオフロードの可否を判定してもよい。
　ステップＳ７０４は、アプリケーション６０１がアクセラレータドライバ６１０からアクセラレータ１１４の利用状況を取得する。アプリケーション６０１は、アクセラレータドライバ６１０のアクセラレータ管理情報の取得６２４を用いてアクセラレータ管理情報８００を取得する。
　ステップＳ７０５では、アプリケーション６０１が、上記ステップＳ７０４にて取得したアクセラレータ管理情報８００を用いて、アクセラレータ１１４に処理をオフロード可能か否かを判定する。アプリケーション６０１は、アクセラレータドライバ６１０から取得したアクセラレータ管理情報８００を参照し、上述のように各アクセラレータ１１４の負荷を推定し、アクセラレータ１１４の処理時間と、プロセッサ１１２の処理時間の比較結果に応じて、オフロードの可否を判定する。
　例えば、アプリケーション６０１は、全てのアクセラレータ１１４の負荷が高く、アクセラレータ１１４で処理を実行した場合の処理待ち時間が、当該処理をプロセッサ１１２で処理した時間よりも長いと判定した場合、アクセラレータ１１４への処理のオフロードを禁止して、ステップＳ７１４に進む。換言すれば、アクセラレータ１１４による処理の高性能化が見込めない場合には、処理のオフロードは行わない。なお、アクセラレータ１１４へオフロードする際の処理待ち時間は、コマンドの作成とオフロード結果の受信までの時間を含む。また、アクセラレータ１１４の処理待ち時間と、プロセッサ１１２の処理時間の算出については後述する。
　一方、アクセラレータ１１４で処理した場合の処理待ち時間が、プロセッサ１１２で処理した場合の時間よりも短い場合、アプリケーション６０１は、アクセラレータ１１４への処理オフロードによる高性能化の効果が見込めると判定し、ステップＳ７０６へ進む。
　ステップＳ７０６では、アプリケーション６０１が、アプリケーション６０１自体に予め付与された優先度を用いてアクセラレータ１１４の利用を判断するステップである。
　オフロードの実行可否の判定基準として、オペレーティングシステム６０２がＬｉｎｕｘやＵｎｉｘであれば、本実施例のアプリケーション６０１は、アプリケーション６０１自身に付与されたｎｉｃｅ値を用いて判断する。例えば、アプリケーション６０１は、サーバ１００に接続されたアクセラレータ１１４の負荷の合計が、ｎｉｃｅ値＝５に定められている閾値Ｔｈ２を超えているか否かを判定する。
　アクセラレータ１１４の負荷の合計が閾値Ｔｈ２を超えていれば、「ｎｉｃｅ値＝５」に設定されたアプリケーション６０１は、他の相対的に優先度の高い（ｎｉｃｅ値が５よりも小さい）アプリケーション６０１に優先的にアクセラレータ１１４を利用させるため、アクセラレータ１１４の利用を諦めステップＳ７１５に進む。
　一方、アプリケーション６０１のｎｉｃｅ値が小さく（優先度が高く）、複数のアクセラレータ１１４の負荷の合計がｎｉｃｅ値の閾値Ｔｈ２を下回る場合には、アプリケーション６０１は、アクセラレータ１１４を利用するためにステップＳ７０７に進む。
　尚、本実施例では、アプリケーション６０１の優先度として、ＵＮＩＸ系にて用いられるアプリケーション６０１の優先度設定値であるｎｉｃｅ値を用いた例について示すが、本発明はこの例に限定されるものではない。ｎｉｃｅ値とはまったく別の系列の優先度を表す値であっても構わない。例えば、アクセラレータ専用の優先度を決定する値を、アプリケーション６０１の起動時にサーバ１００の入力装置（図示省略）から引数や設定ファイルを与えるようにしてもよい。
　次に、ステップＳ７０７では、アプリケーション６０１が上記ステップＳ７０６にてアクセラレータ１１４にデータ処理をオフロードすると判定し、相対的に負荷の低いアクセラレータ１１４を選択する。アプリケーション６０１は、ステップＳ７０４にて取得したアクセラレータ管理情報８００の各フィールドを参照し、複数接続されたアクセラレータ１１４の中から、相対的に負荷の低いアクセラレータ１１４を選択する。この処理によって、同一計算機システム内のアクセラレータ１１４の負荷が平準化される。
　ステップＳ７０８では、ステップＳ７０７でアプリケーション６０１が選択したアクセラレータ１１４において、当該アプリケーション６０１はＤＲＡＭ４０１の記憶領域を確保する。
　アプリケーション６０１は、アクセラレータドライバ６１０内のアクセラレータＤＲＡＭアロケータ６２１に、オフロードする処理に必要な領域サイズを通知し、アクセラレータ１１４内のＤＲＡＭ４０１に記憶領域の確保を指示する。アプリケーション６０１から指示を受けたアクセラレータＤＲＡＭアロケータ６２１は、自身が管理する管理情報（図示省略）を参照し、アプリケーション６０１から要求されたサイズがＤＲＡＭ４０１で確保可能か否かを判定する。
　アクセラレータＤＲＡＭアロケータ６２１は、記憶領域を確保できた場合は、確保したアクセラレータ１１４内のＤＲＡＭ４０１の領域をアプリケーション６０１に通知する。一方で、アクセラレータＤＲＡＭアロケータ６２１は、記憶領域をアクセラレータ１１４で確保できなかった場合には、確保不可を示す情報をアプリケーション６０１に通知する。
　ステップＳ７０９では、アプリケーション６０１がアクセラレータＤＲＡＭアロケータ６２１から取得したアクセラレータ１１４のＤＲＡＭ４０１の記憶領域の確保結果を判定する。
　上記ステップＳ７０８にて、アクセラレータ１１４でＤＲＡＭ４０１の記憶領域が確保できた場合には、アプリケーション６０１は、確保したアクセラレータ１１４のＤＲＡＭ４０１の記憶領域に対象データを転送するため、ステップＳ７１０に進む。
　一方、ＤＲＡＭ４０１で記憶領域を確保できなかった場合には、アプリケーション６０１は、アクセラレータ１１４に処理をオフロードすることが困難となったため、プロセッサ１１２で処理すると判定する。なお、アプリケーション６０１は、ＤＲＡＭ４０１で記憶領域を確保できなかったエラーを、処理を要求したクライアントへ通知しない。エラーの通知を禁止することで、クライアントへの負担が少ない円滑なデータ処理を実現できる。そして、アプリケーション６０１は、プロセッサ１１２に接続されたＤＲＡＭ１１１に対象データを転送するため、ステップＳ７１５へ進んでＤＲＡＭ１１１の記憶領域を確保する。
　オフロードを実施するステップＳ７１０では、ステップＳ７０８にてアプリケーション６０１が確保したアクセラレータ１１４内のＤＲＡＭ４０１の記憶領域に対象データを転送するように、アプリケーション６０１がＨＤＤ／ＳＳＤ１１５にＩＯコマンドを発行する。
　アプリケーション６０１は、ＨＤＤ／ＳＳＤドライバ６１１内のＩＯＣＭＤ２発行６３２に対して、ステップＳ７０８にてアクセラレータＤＲＡＭアロケータ６２１から取得したアクセラレータ１１４内のＤＲＡＭ４０１の記憶領域を示す物理アドレスと、データサイズ、対象データが格納されているＨＤＤ／ＳＳＤ１１５上の領域を通知する。
　通知を受けたＩＯＣＭＤ２発行６３２は、アプリケーション６０１から受領した各種情報をＨＤＤ／ＳＳＤ１１５に通知し、データ転送を開始させる。尚、このとき、アプリケーション６０１は、ＩＯＣＭＤ２発行６３２に対して物理アドレスを通知するため、上述のＩＯＣＭＤ１発行６３１のときのように、アプリケーション６０１から取得したアドレスを変換する必要はない。
　次に、ステップＳ７１１では、アプリケーション６０１が、ＨＤＤ／ＳＳＤ１１５からデータ転送の完了を取得するステップである。ＨＤＤ／ＳＳＤドライバ６１１は、ＨＤＤ／ＳＳＤからの割り込み、またはポーリングを契機としてＨＤＤ／ＳＳＤのデータ転送完了を検知する。
　そしてアプリケーション６０１は、ＨＤＤ／ＳＳＤドライバ６１１内のＩＯＣＭＤ完了チェック６３３を定期的に呼び出して、ＨＤＤ／ＳＳＤドライバ６１１がＨＤＤ／ＳＳＤ１１５のデータ転送完了を検知するのを監視する。このアプリケーション６０１による定期的な監視によって、アプリケーション６０１は、ＨＤＤ／ＳＳＤ１１５のデータ転送完了を検知する。
　ステップＳ７１２は、上記ステップＳ７１１にて、アクセラレータ１１４内のＤＲＡＭ４０１への対象データの転送が完了したことを検知したアプリケーション６０１が、アクセラレータ１１４に対してオフロードコマンドを発行する。
　アプリケーション６０１は、アクセラレータドライバ６１０内のオフロードコマンド発行６２２に対して、処理を行う対象データを指定する情報を通知する。本実施例では、フィルタ処理をアクセラレータ１１４へオフロードするために、フィルタ処理で取得したいデータの条件を通知する。
　また、アプリケーション６０１は、アクセラレータ１１４にて行われたデータ処理結果を格納するＤＲＡＭ１１１の記憶領域もオフロードコマンド発行６２２に通知する。なお、この記憶領域は図７に示したとおりである。
　通知を受けたオフロードコマンド発行６２２は、データ処理の条件と結果を格納するＤＲＡＭ１１１の記憶領域をアクセラレータ１１４に通知し、データ処理の開始を指示する。
　この指示を受けたアクセラレータ１１４内の組み込みプロセッサ４１２は、データ処理機能部４１４を起動する。このとき、組み込みプロセッサ４１２は、データ処理機能部４１４にデータ処理結果を格納する領域として、アプリケーション６０１から通知されたＤＡＲＭ１１１の記憶領域も通知する。起動したデータ処理機能部４１４は、アクセラレータ１１４内のＤＲＡＭ４０１から対象データを取得し、データ処理を実施し、処理の結果を通知されたＤＲＡＭ１１１の記憶領域に転送する。
　オフロード処理の完了後、組み込みプロセッサ４１２は、オフロードコマンド完了の通知をオペレーティングシステム６０２に送信する。組み込みプロセッサ４１２からのオフロードコマンド完了を受領したアクセラレータドライバ６１０は、オフロードコマンドが完了したことをアクセラレータ管理情報８００に記録する。
　次にステップＳ７１３では、アプリケーション６０１がアクセラレータ１１４からのオフロードコマンド完了の通知を取得する。本実施例では、アクセラレータドライバ６１０が組み込みプロセッサ４１２からのオフロードコマンド完了の通知を受領した際、完了したことを内部の管理情報（図示省略）に記録している。
　アプリケーション６０１は、アクセラレータドライバ６１０内のオフロードコマンド完了チェック６２３を定期的に呼び出し、オフロードコマンド完了の通知を監視する。このとき、オフロードコマンド完了チェック６２３は、アクセラレータドライバ６１０内部の管理情報（図示省略）を参照し、「オフロードコマンド完了」ｏｒ「オフロードコマンド未完」をアプリケーション６０１に通知する。
　アプリケーション６０１は、オフロードコマンド完了チェック６２３によって、「オフロードコマンド完了」の通知を受領することで、アクセラレータ１１４に発行したオフロードコマンドが完了したことを検知する。
　上記ステップＳ７０３においてプロセッサ１１２で処理を行うと判定されたステップＳ７１４では、アプリケーション６０１が、対象データをＨＤＤ／ＳＳＤ１１５から取得する必要があるか否かを判定する。例えば、フィルタ処理の結果に基づき新たな管理情報を作成する処理であった場合、対象データをＨＤＤ／ＳＳＤ１１５から取得する必要はないため、プロセッサ１１２によるアプリケーション６０１の処理を実施した後に終了する（Ｓ７１９）。尚、プロセッサ１１２によるアプリケーション６０１の処理についての説明は省略する。
　一方で、アプリケーション６０１は、対象データをＨＤＤ／ＳＳＤ１１５から取得する必要があると判定した場合には、ステップＳ７１５に進む。ステップＳ７１５は、アプリケーション６０１が「アクセラレータでの処理はオフロードするデータサイズが小さくて非効率」、「該当処理のオフロードにアクセラレータは非対応」、「アクセラレータの負荷が高い」、「計算機システムのアクセラレータ負荷の合計が、アプリケーション６０１の優先度による定められている閾値を超過」、「アクセラレータ内のＤＲＡＭ確保が不可」等の複数の条件からデータ処理をプロセッサ１１２で実施すると判定した場合に進むステップである。
　アプリケーション６０１は、データ処理をプロセッサ１１２にて実施するために対象データをプロセッサ１１２に接続されたＤＲＡＭ１１１に転送する必要がある。このため、アプリケーション６０１は、オペレーティングシステム６０２が管理するＤＲＡＭ１１１の記憶領域を確保する。このとき、公知または周知のオペレーティングシステム（例えば、ＷｉｎｄｏｗｓやＬｉｎｕｘ）６０２は、確保したＤＲＡＭ１１１の記憶領域にアクセスするための仮想アドレスをアプリケーション６０１に応答する。
　ステップＳ７１６では、アプリケーション６０１がステップＳ７１５にて確保したＤＲＡＭ１１１の記憶領域に対象データを転送するようにＨＤＤ／ＳＳＤ１１５にＩＯを発行する。アプリケーション６０１は、ＨＤＤ／ＳＳＤドライバ６１１内のＩＯＣＭＤ１発行６３１に対して、ステップＳ７１５にてオペレーティングシステム６０２から取得したＤＲＡＭ１１１の記憶領域を示す仮想アドレスと、データサイズ、処理対象データが格納されているＨＤＤ／ＳＳＤ１１５上の領域を通知する。
　通知を受けたＩＯＣＭＤ１発行６３１は、アプリケーション６０１から受領したＤＲＡＭ１１１の記憶領域を示す仮想アドレスを複数の物理アドレスに変換してＨＤＤ／ＳＳＤ１１５に通知し、データ転送の開始を指示する。
　ステップＳ７１７では、アプリケーション６０１が、ＨＤＤ／ＳＳＤ１１５からデータ転送の完了を取得する。ＨＤＤ／ＳＳＤドライバ６１１は、ＨＤＤ／ＳＳＤ１１５からの割り込み、またはポーリングを契機としてＨＤＤ／ＳＳＤ１１５のデータ転送完了を検知する。そしてアプリケーション６０１は、ＨＤＤ／ＳＳＤドライバ６１１内のＩＯＣＭＤ完了チェック６３３を定期的に呼び出し、ＨＤＤ／ＳＳＤドライバ６１１がＨＤＤ／ＳＳＤ１１５のデータ転送の完了を監視する。このアプリケーション６０１による定期的な監視によって、アプリケーション６０１は、ＨＤＤ／ＳＳＤ１１５のデータ転送完了を検知する。
　ステップＳ７１８では、上記ステップＳ７１７によって、プロセッサ１１２に接続されたＤＲＡＭ１１１へ転送された対象データについて、プロセッサ１１２がデータ処理を行う。
　以上の処理によって、アプリケーション６０１が、コマンド処理の内容やアクセラレータ１１４の負荷状況からアクセラレータ１１４の利用の要否を判定し、アクセラレータ１１４にデータ処理をオフロードするまでの各種処理の例について説明した。
　以上のフローチャートを実施することで、アプリケーション６０１は、複数のデータ処理についてアクセラレータ１１４にオフロードが有効なもののみ選択してオフロードできる。また、アクセラレータ１１４の負荷が高い場合には、アクセラレータ１１４の利用を停止して、プロセッサ１１２での処理に切り替えることも可能となる。また、高性能が要求されるアプリケーション６０１に高い優先度を付与することで、当該アプリケーション６０１が優先的にアクセラレータ１１４を利用する事が可能となる。
　次に、アクセラレータ１１４の処理待ち時間と、プロセッサ１１２の処理時間の算出について以下に説明する。まず、プロセッサ１１２の処理時間の算出について説明する。
　本実施例のアプリケーション６０１は、所定の単位データ量当たりのプロセッサ１１２による処理時間を、処理内容毎に個別に管理している。アプリケーション６０１は、例えば「256ＭＢのデータに対する処理Ａの処理時間は５秒」、「256MBのデータに対する処理Ｂの処理時間は７秒」等として管理している。そして、1024MBのデータに対する処理Ｂが発生した際、アプリケーション６０１は、処理Ｂの単位データ量あたりの処理時間から、1024MB/256MB×7分=28秒として、プロセッサ１１２の処理時間を算出する。
　次に、アクセラレータの処理待ち時間について説明する。本実施例のアプリケーション６０１は、所定の単位データ量あたりのアクセラレータ１１４による処理時間を処理内容毎に個別に管理している。
　アプリケーション６０１は、例えば、「256ＭＢのデータに対する処理Ａの処理時間は0.3秒」、「256MBのデータに対する処理Ｂの処理時間は0.6秒」等として管理している。そして、アプリケーション６０１は、アクセラレータ管理情報８００からアクセラレータ１１４に発行済みの処理を取得する。
　アプリケーション６０１は、例えば、「1024MBのデータに対する処理Bが5個と2048MBのデータに対する処理Aが2個」等の発行済み処理の内容を取得する。アクセラレータ１１４の処理待ち時間はこれらの処理合計時間と新たに発行する処理の和となる。上記の例であれば、1024MB/256MB×0.6秒×5個+2048MB/256MB×0.3秒×２個=12秒+4.8秒=16.8秒が、既に発行済みの処理が完了するまでの時間であり、この状態でさらに1024MBのデータに対する処理Ｂをアクセラレータ１１４に実施させる場合には、1024MB/256MB×0.6秒=2.4秒の処理が加わる。
　上記の結果、アクセラレータ１１４の処理待ち時間は、16.8秒+2.4秒=19.2秒と算出される。アプリケーション６０１は、この算出した値を前述のプロセッサ１１２の処理時間と比較することで、プロセッサ１１２とアクセラレータ１１４のいずれで処理した方が、高速に処理可能か判断できる。
　尚、プロセッサ１１２は、アプリケーション６０１において当該処理のみを実施するわけではないので、処理時間の比較においてプロセッサ１１２の処理時間とアクセラレータ１１４の処理待ち時間とを平等に比較するとしなくても良い。
　例えば、アプリケーション６０１は、プロセッサ１１２の処理時間の二倍をアクセラレータ１１４の処理待ち時間を上回った場合にのみ、プロセッサ１１２にて当該処理を実施するとしてもよい。また、このプロセッサ１１２の処理時間にかける係数（先の例では２倍）は、システムの全体処理負荷に占める当該処理の割合から決定するとしても良い。
　以上のように、本実施例によれば、データ処理を実行可能なプロセッサ１１２とアクセラレータ１１４を有する計算機システムで、処理の内容や処理時間や負荷に応じてプロセッサ１１２とアクセラレータ１１４を効率よく使い分けることが可能となる。例えば、対象データのサイズが閾値Ｔｈ１以下で小さい場合は、プロセッサ１１２でオフロードコマンドを生成し、アクセラレータ１１４にオフロードコマンドを実行させ、アクセラレータ１１４が処理結果の出力を完了するまでの処理待ち時間は、プロセッサ１１２が処理する処理時間よりも長くなる。この場合、サーバ１００では、アクセラレータ１１４にオフロードすることなく、プロセッサ１１２に処理を実行させることでデータの処理を高速に行うことができる。
　この場合、オペレーティングシステム６０２がプロセッサ１１２に接続されたＤＲＡＭ１１１に記憶領域を確保し、ＨＤＤ／ＳＳＤ１１５から処理を行うデータを転送しておくことで、プロセッサ１１２による処理を高速に行うことができる。
　一方、対象データのサイズが閾値Ｔｈ１を超えて大きい場合は、プロセッサ１１２で処理するよりも、アクセラレータ１１４にオフロードした方が短時間で処理が完了する。したがって、プロセッサ１１２はオフロードコマンドを生成して、オフロードコマンドをアクセラレータ１１４に実行させることで、大量のデータを高速で処理することができる。このように、処理時間（処理コスト）に応じて処理を実行させる装置（プロセッサ１１２またはアクセラレータ１１４）を切り替えることで、前記従来例に比して効率のよいデータ処理を実現することができる。
　この場合、オペレーティングシステム６０２がアクセラレータ１１４内のＤＲＡＭ４０１に記憶領域を確保し、ＨＤＤ／ＳＳＤ１１５から処理を行うデータを転送しておくことで、アクセラレータ１１４による処理を高速に行うことができる。
　さらに、アプリケーション６０１は、アクセラレータ１１４の負荷を算出して、負荷が相対的に低いアクセラレータ１１４に処理をオフロードする。これにより、複数のアクセラレータ１１４の負荷を平準化することが可能となる。
　また、アプリケーション６０１は、複数のアクセラレータ１１４の負荷が全体的に高い（負荷の合計が閾値Ｔｈ２を超える）場合には、アプリケーション６０１毎に設定された優先度が閾値Ｔｈ２を超えるもののみにアクセラレータ１１４の利用を許可することで、アクセラレータ１１４の負荷が過大になるのを抑制できる。
　また、アプリケーション６０１は、アクセラレータ１１４でＤＲＡＭ４０１の記憶領域を確保できない場合には、プロセッサ１１２で処理を実行することにより、確実なデータ処理を実現することが可能となる。
　また、アプリケーション６０１は、アクセラレータ１１４で実行可能な処理のみをオフロードし、その他の処理をプロセッサ１１２で行うことで、アクセラレータ１１４のコストの増大を抑制することができる。
　なお、上記実施例では、アプリケーション６０１が処理のオフロード先やオフロードの有無を判定する例を示したが、オペレーティングシステム６０２が処理のオフロード先やオフロードの有無を判定するようにしてもよい。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。
　また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (15)

  1. 　プロセッサと、
    　前記プロセッサに接続された第１のメモリと、
    　第２のメモリを含むアクセラレータと、
    　前記プロセッサ及び前記アクセラレータに接続されてデータを格納するストレージ装置と、を含んでデータ処理部を稼働させる計算機システムであって、
    　前記データ処理部は、
    　前記データの処理要求を受け付ける処理要求受付部と、
    　前記処理要求に含まれる処理の内容を分析する処理内容分析部と、
    　前記アクセラレータの負荷を検出する負荷検出部と、
    　前記処理の内容の分析結果と、前記アクセラレータの負荷とを取得して、所定の条件が成立したときには受け付けた処理を前記アクセラレータに実行させるオフロード処理部と、
    　前記所定の条件が成立しなかったときには受け付けた処理を前記プロセッサに処理させる処理実行部と、を含み、
    　前記オフロード処理部は、
    　前記アクセラレータに前記第２のメモリに記憶領域を確保させてから、前記ストレージ装置に処理要求に含まれるデータを前記第２のメモリの前記記憶領域に転送させ、前記アクセラレータに処理を実行させ、
    　前記処理実行部は、
    　前記プロセッサに前記第１のメモリに記憶領域を確保させてから、前記ストレージ装置に前記処理要求に含まれるデータを前記第１のメモリの前記記憶領域に転送させ、前記プロセッサに処理を実行させることを特徴とする計算機システム。
  2. 　請求項１に記載の計算機システムであって、
    　前記アクセラレータは複数であって、
    　前記負荷検出部は、
    　前記アクセラレータで実行中のコマンド数と、処理内容と、データ量のうち少なくともひとつを取得して前記アクセラレータの負荷をそれぞれ算出し、
    　前記オフロード処理部は、
    　前記アクセラレータのうち、相対的に負荷の低いアクセラレータを選択して処理を実行させることを特徴とする計算機システム。
  3. 　請求項１に記載の計算機システムであって、
    　前記データ処理部が複数稼働し、前記データ処理部には予め優先度がそれぞれ設定され、
    　前記オフロード処理部は、
    　前記データ処理部に設定された優先度が前記所定の条件を満たすときに、前記アクセラレータに前記処理を実行させることを特徴とする計算機システム。
  4. 　請求項３に記載の計算機システムであって、
    　前記データ処理部は、起動時に前記優先度が設定されることを特徴とする計算機システム。
  5. 　請求項１に記載の計算機システムであって、
    　前記オフロード処理部は、
    　前記アクセラレータが前記第２のメモリに記憶領域を確保できなかった場合には、前記アクセラレータによる処理を禁止して、前記処理実行部に処理を実行させることを特徴とする計算機システム。
  6. 　請求項１に記載の計算機システムであって、
    　前記オフロード処理部は、
    　前記処理の内容から当該処理を実行するデータのサイズが所定の閾値を超えていれば、前記所定の条件が成立したと判定して前記アクセラレータに当該処理を実行させ、
    　前記処理実行部は、
    　前記処理の内容から当該処理を実行するデータのサイズが所定の閾値以下であれば、前記所定の条件が成立しなかったと判定して前記プロセッサに当該処理を実行させることを特徴とする計算機システム。
  7. 　請求項１に記載の計算機システムであって、
    　前記データ処理部は、
    　前記アクセラレータの第２のメモリの物理アドレスを前記第１のメモリの仮想アドレスに割り当て、
    　前記オフロード処理部は、
    　前記アクセラレータに前記処理を実行させる際には、前記第２のメモリの物理アドレス前記ストレージ装置に通知して前記データを転送させ、
    　前記処理実行部は、
    　前記プロセッサに前記処理を実行させる際には、前記第１のメモリの仮想アドレスを第１のメモリの物理アドレスに変換して前記ストレージ装置に通知して前記データを転送させることを特徴とする計算機システム。
  8. 　請求項１に記載の計算機システムであって、
    　前記データ処理部は、
    　前記アクセラレータの負荷情報として、前記アクセラレータで実行中のコマンド数と、処理内容と、データ量を保持するアクセラレータ管理情報を有することを特徴とする計算機システム。
  9. 　プロセッサと、前記プロセッサに接続された第１のメモリと、第２のメモリを含むアクセラレータと、前記プロセッサ及び前記アクセラレータに接続されてデータを格納するストレージ装置とを含む計算機でデータ処理を実行する計算機の制御方法であって、
    　前記計算機が、前記データの処理要求を受け付ける第１のステップと、
    　前記計算機が、前記処理要求に含まれる処理の内容を分析する第２のステップと、
    　前記計算機が、前記アクセラレータの負荷を検出する第３のステップと、
    　前記計算機が、前記処理の内容の分析結果と、前記アクセラレータの負荷とを取得して、所定の条件が成立したときには受け付けた処理を前記アクセラレータに実行させる第４のステップと、
    　前記計算機が、前記所定の条件が成立しなかったときには受け付けた処理を前記プロセッサに処理させる第５のステップと、を含み、
    　前記第４のステップは、
    　前記アクセラレータに前記第２のメモリに記憶領域を確保させてから、前記ストレージ装置に処理要求に含まれるデータを前記第２のメモリの前記記憶領域に転送させ、前記アクセラレータに処理を実行させ、
    　前記第５のステップは、
    　前記プロセッサに前記第１のメモリに記憶領域を確保させてから、前記ストレージ装置に前記処理要求に含まれるデータを前記第１のメモリの前記記憶領域に転送させ、前記プロセッサに処理を実行させることを特徴とする計算機の制御方法。
  10. 　請求項９に記載の計算機の制御方法であって、
    　前記アクセラレータは複数であって、
    　前記第３のステップは、
    　前記アクセラレータで実行中のコマンド数と、処理内容と、データ量のうち少なくともひとつを取得して前記アクセラレータの負荷をそれぞれ算出し、
    　前記第４のステップは、
    　前記アクセラレータのうち、相対的に負荷の低いアクセラレータを選択して処理を実行させることを特徴とする計算機の制御方法。
  11. 　請求項９に記載の計算機の制御方法であって、
    　前記計算機はデータ処理を実行し、前記データ処理には予め優先度がそれぞれ設定され、
    　前記第４のステップは、
    　前記データ処理に設定された優先度が前記所定の条件を満たすときに、前記アクセラレータに前記処理を実行させることを特徴とする計算機の制御方法。
  12. 　請求項１１に記載の計算機の制御方法であって、
    　前記データ処理は、起動時に前記優先度が設定されることを特徴とする計算機の制御方法。
  13. 　請求項９に記載の計算機の制御方法であって、
    　前記第４のステップは、
    　前記アクセラレータが前記第２のメモリに記憶領域を確保できなかった場合には、前記アクセラレータによる処理を禁止し
    　前記第５のステップは、
    　前記アクセラレータが前記第２のメモリに記憶領域を確保できなかった場合には、前記プロセッサに前記処理を実行させることを特徴とする計算機の制御方法。
  14. 　請求項９に記載の計算機の制御方法であって、
    　前記第４のステップは、
    　前記処理の内容から当該処理を実行するデータのサイズが所定の閾値を超えていれば、前記所定の条件が成立したと判定して前記アクセラレータに当該処理を実行させ、
    　前記第５のステップは、
    　前記処理の内容から当該処理を実行するデータのサイズが所定の閾値以下であれば、前記所定の条件が成立しなかったと判定して前記プロセッサに当該処理を実行させることを特徴とする計算機の制御方法。
  15. 　請求項９に記載の計算機の制御方法であって、
    　前記データ処理は、
    　前記アクセラレータの第２のメモリの物理アドレスを前記第１のメモリの仮想アドレスに割り当て、
    　前記第４のステップは、
    　前記アクセラレータに前記処理を実行させる際には、前記第２のメモリの物理アドレス前記ストレージ装置に通知して前記データを転送させ、
    　前記第５のステップは、
    　前記プロセッサに前記処理を実行させる際には、前記第１のメモリの仮想アドレスを第１のメモリの物理アドレスに変換して前記ストレージ装置に通知して前記データを転送させることを特徴とする計算機の制御方法。
PCT/JP2016/050336 2016-01-07 2016-01-07 計算機システム及び計算機の制御方法 WO2017119098A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/050336 WO2017119098A1 (ja) 2016-01-07 2016-01-07 計算機システム及び計算機の制御方法
JP2017559987A JP6588106B2 (ja) 2016-01-07 2016-01-07 計算機システム及び計算機の制御方法
US15/763,224 US20180307535A1 (en) 2016-01-07 2016-01-07 Computer system and method for controlling computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050336 WO2017119098A1 (ja) 2016-01-07 2016-01-07 計算機システム及び計算機の制御方法

Publications (1)

Publication Number Publication Date
WO2017119098A1 true WO2017119098A1 (ja) 2017-07-13

Family

ID=59273427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050336 WO2017119098A1 (ja) 2016-01-07 2016-01-07 計算機システム及び計算機の制御方法

Country Status (3)

Country Link
US (1) US20180307535A1 (ja)
JP (1) JP6588106B2 (ja)
WO (1) WO2017119098A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191575A (ja) * 2018-04-18 2019-10-31 富士通株式会社 準同型暗号を用いた処理動作の委託
JP2021019248A (ja) * 2019-07-18 2021-02-15 住友電気工業株式会社 Ｐｏｎシステム及び通信装置
JP2021022126A (ja) * 2019-07-26 2021-02-18 株式会社デンソー 電子制御装置
WO2021215314A1 (ja) * 2020-04-24 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 測距装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10334334B2 (en) * 2016-07-22 2019-06-25 Intel Corporation Storage sled and techniques for a data center
US10853125B2 (en) * 2016-08-19 2020-12-01 Oracle International Corporation Resource efficient acceleration of datastream analytics processing using an analytics accelerator
CN110710139A (zh) 2017-03-29 2020-01-17 芬基波尔有限责任公司 具有光置换器的无阻塞全网状数据中心网络
US10686729B2 (en) 2017-03-29 2020-06-16 Fungible, Inc. Non-blocking any-to-any data center network with packet spraying over multiple alternate data paths
CN110710172A (zh) 2017-03-29 2020-01-17 芬基波尔有限责任公司 在接入节点组内多路复用分组喷射的无阻塞的任意到任意数据中心网络
CN110741356B (zh) 2017-04-10 2024-03-15 微软技术许可有限责任公司 多处理器系统中的中继一致存储器管理
US10725825B2 (en) * 2017-07-10 2020-07-28 Fungible, Inc. Data processing unit for stream processing
US10659254B2 (en) 2017-07-10 2020-05-19 Fungible, Inc. Access node integrated circuit for data centers which includes a networking unit, a plurality of host units, processing clusters, a data network fabric, and a control network fabric
US11178262B2 (en) 2017-09-29 2021-11-16 Fungible, Inc. Fabric control protocol for data center networks with packet spraying over multiple alternate data paths
WO2019068017A1 (en) 2017-09-29 2019-04-04 Fungible, Inc. RESILIENT NETWORK COMMUNICATION USING SELECTIVE PULVER FLOW SPRAY BY MULTIPATH PATH
US10841245B2 (en) 2017-11-21 2020-11-17 Fungible, Inc. Work unit stack data structures in multiple core processor system for stream data processing
US10540288B2 (en) 2018-02-02 2020-01-21 Fungible, Inc. Efficient work unit processing in a multicore system
US10929175B2 (en) 2018-11-21 2021-02-23 Fungible, Inc. Service chaining hardware accelerators within a data stream processing integrated circuit
EP3794444A4 (en) * 2019-01-04 2022-01-12 Baidu.com Times Technology (Beijing) Co., Ltd. METHOD AND SYSTEM FOR THE PROTECTION OF DATA PROCESSED BY DATA PROCESSING ACCELERATORS
US11153373B2 (en) * 2019-05-03 2021-10-19 EMC IP Holding Company LLC Method and system for performance-driven load shifting
US11579928B2 (en) * 2019-11-14 2023-02-14 Baidu Usa Llc Systems and methods for configuring a watermark unit with watermark algorithms for a data processing accelerator
US11947821B2 (en) * 2019-11-25 2024-04-02 Alibaba Group Holding Limited Methods and systems for managing an accelerator's primary storage unit

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171435A (ja) * 2012-02-21 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> サービス提供システム、サービス提供方法、リソースマネージャ、プログラム
WO2014002412A1 (ja) * 2012-06-26 2014-01-03 日本電気株式会社 プログラム変換装置及び方法、処理切替方法、実行方式決定方法及びプログラム記憶媒体、プロセッサシステム並びに並列実行方法
WO2014188643A1 (ja) * 2013-05-24 2014-11-27 日本電気株式会社 スケジュールシステム、スケジュール方法、及び、記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192052A (ja) * 2002-12-06 2004-07-08 Matsushita Electric Ind Co Ltd ソフトウェア処理方法およびソフトウェア処理システム
US9446305B2 (en) * 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9904969B1 (en) * 2007-11-23 2018-02-27 PME IP Pty Ltd Multi-user multi-GPU render server apparatus and methods
CN101533386A (zh) * 2008-03-14 2009-09-16 国际商业机器公司 在多处理器系统上对矩阵进行qr分解的方法和装置
US8255909B2 (en) * 2009-01-28 2012-08-28 International Business Machines Corporation Synchronizing access to resources in a hybrid computing environment
KR101042729B1 (ko) * 2009-04-09 2011-06-20 삼성에스디에스 주식회사 휴대단말기에서의 시스템온칩 및 주문형반도체 기반의 악성코드 검출 장치
US8719547B2 (en) * 2009-09-18 2014-05-06 Intel Corporation Providing hardware support for shared virtual memory between local and remote physical memory
WO2011150346A2 (en) * 2010-05-28 2011-12-01 Laurich Lawrence A Accelerator system for use with secure data storage
US9342366B2 (en) * 2012-10-17 2016-05-17 Electronics And Telecommunications Research Institute Intrusion detection apparatus and method using load balancer responsive to traffic conditions between central processing unit and graphics processing unit
US9142004B2 (en) * 2012-12-20 2015-09-22 Vmware, Inc. Dynamic allocation of physical graphics processing units to virtual machines
JP2014174844A (ja) * 2013-03-11 2014-09-22 Fujitsu Ltd 性能評価支援プログラム、性能評価支援装置及び性能評価支援方法
US9575760B2 (en) * 2013-05-17 2017-02-21 Nvidia Corporation Techniques for sharing priorities between streams of work and dynamic parallelism
GB2518894A (en) * 2013-10-07 2015-04-08 Ibm A method and a system for operating programs on a computer cluster
CN104750510B (zh) * 2013-12-30 2019-04-02 深圳市中兴微电子技术有限公司 一种芯片启动方法及多核处理器芯片
CN104503728B (zh) * 2015-01-04 2017-11-24 华为技术有限公司 一种硬件加速器及芯片
WO2017002157A1 (ja) * 2015-06-29 2017-01-05 株式会社日立製作所 計算機システム及び計算機システムの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171435A (ja) * 2012-02-21 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> サービス提供システム、サービス提供方法、リソースマネージャ、プログラム
WO2014002412A1 (ja) * 2012-06-26 2014-01-03 日本電気株式会社 プログラム変換装置及び方法、処理切替方法、実行方式決定方法及びプログラム記憶媒体、プロセッサシステム並びに並列実行方法
WO2014188643A1 (ja) * 2013-05-24 2014-11-27 日本電気株式会社 スケジュールシステム、スケジュール方法、及び、記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191575A (ja) * 2018-04-18 2019-10-31 富士通株式会社 準同型暗号を用いた処理動作の委託
JP2021019248A (ja) * 2019-07-18 2021-02-15 住友電気工業株式会社 Ｐｏｎシステム及び通信装置
JP7314674B2 (ja) 2019-07-18 2023-07-26 住友電気工業株式会社 Ｐｏｎシステム及び通信装置
JP2021022126A (ja) * 2019-07-26 2021-02-18 株式会社デンソー 電子制御装置
JP7226169B2 (ja) 2019-07-26 2023-02-21 株式会社デンソー 電子制御装置
WO2021215314A1 (ja) * 2020-04-24 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 測距装置

Also Published As

Publication number Publication date
JPWO2017119098A1 (ja) 2018-11-08
US20180307535A1 (en) 2018-10-25
JP6588106B2 (ja) 2019-10-09

Similar Documents

Publication Publication Date Title
JP6588106B2 (ja) 計算機システム及び計算機の制御方法
US10409508B2 (en) Updating of pinned storage in flash based on changes to flash-to-disk capacity ratio
JP5516744B2 (ja) スケジューラ、マルチコアプロセッサシステムおよびスケジューリング方法
EP3502877B1 (en) Data loading method and apparatus for virtual machines
JP6190898B2 (ja) サーバに接続されるシステム及び仮想マシンが動作しているサーバに接続されたシステムによる方法
US8555289B2 (en) System and method for dynamically managing tasks for data parallel processing on multi-core system
US20160253114A1 (en) Method and apparatus for optimizing data storage in heterogeneous environment
US9904639B2 (en) Interconnection fabric switching apparatus capable of dynamically allocating resources according to workload and method therefor
US20160350192A1 (en) Storage system transactions
US9489295B2 (en) Information processing apparatus and method
US20190286582A1 (en) Method for processing client requests in a cluster system, a method and an apparatus for processing i/o according to the client requests
US9984091B2 (en) Reducing decompression latency in a compression storage system
KR101899719B1 (ko) 가상 머신에 대한 입출력 성능 제한 방법
US9164885B2 (en) Storage control device, storage control method, and recording medium
US20160364268A1 (en) Computer system, management computer, and management method
JP6311365B2 (ja) 記憶領域管理装置、記憶領域管理方法及び記憶領域管理プログラム
US9009204B2 (en) Storage system
EP3249540A1 (en) Method for writing multiple copies into storage device, and storage device
JP4373450B2 (ja) Ｒａｉｄ制御装置及びその制御方法
CN107870877B (zh) 用于在存储系统中管理数据访问的方法和系统
JP7348056B2 (ja) ストレージシステム
US11616722B2 (en) Storage system with adaptive flow control using multiple feedback loops
JP5776813B2 (ja) マルチコアプロセッサシステム、マルチコアプロセッサシステムの制御方法および制御プログラム
JP6578694B2 (ja) 情報処理装置、方法及びプログラム
US20230185632A1 (en) Management system, data rebalancing management method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883601

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15763224

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017559987

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883601

Country of ref document: EP

Kind code of ref document: A1