WO2018158819A1 - 分散データベースシステム及び分散データベースシステムのリソース管理方法 - Google Patents

分散データベースシステム及び分散データベースシステムのリソース管理方法 Download PDF

Info

Publication number
WO2018158819A1
WO2018158819A1 PCT/JP2017/007799 JP2017007799W WO2018158819A1 WO 2018158819 A1 WO2018158819 A1 WO 2018158819A1 JP 2017007799 W JP2017007799 W JP 2017007799W WO 2018158819 A1 WO2018158819 A1 WO 2018158819A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
data
node
database system
data processing
Prior art date
Application number
PCT/JP2017/007799
Other languages
English (en)
French (fr)
Inventor
在塚　俊之
和志 仲川
藤本　和久
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2019502321A priority Critical patent/JP6753999B2/ja
Priority to PCT/JP2017/007799 priority patent/WO2018158819A1/ja
Priority to US16/333,727 priority patent/US10936377B2/en
Publication of WO2018158819A1 publication Critical patent/WO2018158819A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2043—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share a common memory address space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G06F16/337—Profile generation, learning or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/9994—Distributed or remote access

Definitions

  • the present invention relates to a distributed database system and a distributed database system resource management method, and is particularly suitable for application to a resource management method in data analysis processing using a distributed database system.
  • a distributed database system that speeds up processing by distributing a large number of data processing servers and executing data processing in parallel.
  • a distributed database system for example, Apache Hadoop (registered trademark) is used.
  • nodes data processing servers
  • the system scale increases, and the introduction and maintenance costs increase. To do.
  • FPGA Field programmable gate array
  • GPGPU General-purpose computing on graphics processing units
  • ASIC Application specific integrator
  • Accelerator Integrate node etc. It is conceivable to apply technology that improves the performance of the system and reduces the required number of nodes to reduce the system scale.
  • an accelerator not only is it possible to install an accelerator with the same performance on all nodes in the distributed system, and the CPU (Central processing unit) performance of the node itself can have the same homogeneous configuration, but also the accelerator. It is assumed that there are various types of nodes, the nodes to be mounted are limited, and the CPU performance varies depending on the nodes. In such a case, non-uniformity occurs in the system, and the data processing performance of each node may vary.
  • Non-Patent Document 1 in a distributed processing system with non-uniform node performance, a node group having different performance is provided for each task type, which is a processing unit for performing divided processing in a distributed manner according to the CPU usage rate of the node.
  • An assigning technique is disclosed.
  • Patent Document 1 discloses a technique for adjusting the processing of each node of a parallel distributed system when a parallel distributed system coexists with a server used by an existing system. ing.
  • the calculation resources and I / O resources of the nodes that can be used by the distributed system vary depending on the execution status of the processing.
  • the node load and the resource usage are observed, and the data block is transferred from another node to the node having a sufficient load or resource of the node according to the progress of the processing of the data block held by the node. .
  • Patent Document 2 the maximum data amount processed per task executed by a node is determined based on the relationship between the number of tasks of each node and the number of nodes with respect to the input data amount. Thus, a method for leveling the processing time for each node is disclosed.
  • the order of allocating a plurality of different tasks to nodes is distributed, for example, so that the CPU usage rate of all the nodes is equal, but the same task as in Hadoop (registered trademark) processing. It is not applied to a system that distributes to multiple nodes.
  • Patent Document 1 the processing time of a node is leveled by transferring data to a node with a margin during the execution of processing according to the processing status of the node. Does not consider bias.
  • Patent Document 2 input data is divided equally according to the total number of tasks processed by the distributed system and arranged in each node. However, since the amount of data per task is equal, the variation in calculation performance of each node is Not considered.
  • the present invention has been made in consideration of the above points, and intends to propose a distributed database system and a resource management method for the distributed database system that can shorten the data processing time of the entire system.
  • a distributed database system including one or more data processing nodes equipped with one or more calculation devices for processing data
  • the calculation of each of the calculation devices in the data processing node is performed.
  • a calculation capability determination unit that determines a difference in capability; a device selection unit that selects a plurality of optimal calculation devices based on a difference in calculation capability of each of the calculation devices; and the task using the plurality of optimal calculation devices.
  • the data amount of the data processed by the processing instruction of the task is distributed among the optimum plurality of computing devices according to the difference in the computing ability of the optimum plurality of computing devices, and the optimum
  • a task distribution control unit that distributes and executes the task using a plurality of computing devices.
  • the control unit in the resource management method in a distributed database system including one or more computing devices for processing data and one or more data processing nodes equipped with a control unit, includes the data processing A calculation capability determination step for determining a difference in calculation capability of each of the calculation devices in a node; and a device selection step in which the control unit selects a plurality of optimal calculation devices based on the difference in calculation capability of each of the calculation devices;
  • the control unit executes the task using the optimal plurality of computing devices, the data amount of the data processed by the processing instruction of the task is determined based on the difference in calculation ability of the optimal plurality of computing devices.
  • the distribution of the plurality of optimum computing devices and using the plurality of optimum computing devices. It characterized by having a a task distribution control step of executing by dispersing the task.
  • data processing time can be shortened for the entire system.
  • FIG. 1 It is a figure showing the example of a structure of the distributed database system by this Embodiment. It is the figure which showed an example of the structure in the case of processing a data source by 20 data processing nodes. It is the figure which showed an example of the structure in the case of processing a data source with ten data processing nodes. It is the figure which showed another example of the structure in the case of processing a data source with ten data processing nodes. It is the figure which showed an example of the structure in the case of processing a data source with two accelerator mounting data processing nodes. It is the figure which showed another example of the structure in the case of processing a data source with two accelerator mounting data processing nodes.
  • FIG. 1 is a block diagram showing a configuration example of a distributed database system according to this embodiment.
  • the distributed database system includes a client node 101, a job management node 103, a resource management node 104, a data management node 105, data processing nodes 111 to 114, and data storage nodes 115 to 118.
  • these nodes 101 are connected via a network such as Ethernet (registered trademark), and control signals and data are transmitted and received through this network.
  • a network such as Ethernet (registered trademark)
  • this network may be a network (LAN: Local area network) closed within a local domain.
  • LAN Local area network
  • a part or all of each node may be arranged in a domain such as a different data center, and each node may be connected to each other via a global network (WAN: Wide area network).
  • WAN Wide area network
  • the data processing nodes 111 to 114 and the data storage nodes 115 to 118 may be connected via a so-called SAN (Storage area network).
  • SAN Storage area network
  • the client node 101 is a computer that includes at least a processor, a memory, and a network interface.
  • the client node 101 may further include a storage device and a user interface for operating the computer.
  • an application program (corresponding to an “application” shown) 102 is transmitted via a network (not shown), stored in a storage device (not shown), or installed via a user interface.
  • the application program 102 is loaded into a memory (not shown) and executed by a processor (not shown).
  • the application program 102 includes an instruction for executing data processing using a distributed database system in its source code. By executing the application program 102, an instruction for executing data processing is called, and data processing is executed in the distributed database system based on the instruction.
  • the job management node 103 is a computer having at least a processor, a memory, and a network interface. Further, the job management node 103 may include a storage device (not shown) and a user interface for operating the computer.
  • the job management node 103 receives the data processing command issued by the application program 102 on the client node 101, and configures jobs 107 to 110 for executing data processing on the distributed database system.
  • the job management node 103 generates a task that is a unit for executing data processing in a job in a distributed manner on a plurality of data processing nodes.
  • a unit for executing data processing by combining Map processing and Reduce processing corresponds to a “job”.
  • Each of the Map process and Reduce process corresponds to a “task”.
  • Tasks are executed in a distributed manner at a plurality of data processing nodes 111-114.
  • the job management node 103 requests the resource management node 104 to use the data processing nodes 111 to 114 that execute the generated task.
  • the resource management node 104 is a computer including at least a processor, a memory, and a network interface. Further, the resource management node 104 may include a storage device (not shown) and a user interface for operating the computer.
  • the resource management node 104 receives the use request of the data processing nodes 111 to 114 that execute the task from the job management node 103, selects the usable data processing nodes 111 to 114 based on the resource management information, These data processing nodes 111 to 114 are arranged and executed. Furthermore, the resource management node 104 schedules and executes the execution order and execution ratio of one or more jobs configured by the job management node based on priority and various conditions.
  • the data management node 105 is a computer that includes at least a processor, a memory, and a network interface. Further, the data management node 105 may include a storage device (not shown) and a user interface for operating the computer.
  • the data management node 105 acquires data to be processed by the distributed database system from the data source 106, divides the data into blocks having a specified division size, and stores the blocks in the data storage nodes 115 to 118. At this time, the data management node 105 creates one or more replicas for each block in order to ensure the availability and reliability of the data, for example, the replicas so that the data is not lost when a specific node stops. May be distributed to a plurality of nodes.
  • all of the job management node 103, the resource management node 104, and the data management node 105 or any two of them are configured on a physically common computer. It is also possible to make it.
  • the client node 101 may be configured on a computer that is physically common to any one of these nodes or all of these nodes.
  • the data processing nodes 111 to 114 execute a task set by the resource management node 104 using a specific computing device, memory, or the like. At this time, the data processing nodes 111 to 114 perform data processing by connecting to the partitions 123 to 134 which are logical data units set in advance for each task.
  • the data storage nodes 115 to 118 store the data blocks arranged according to the designation of the data management node 105, such as a hard disk or a flash memory device provided in each data storage node 115 to 118.
  • data blocks may be stored in a main memory such as a so-called DRAM instead of the storage devices such as the storage devices 119 to 122.
  • One or more data blocks stored in the data storage nodes 115 to 118 are allocated to the partitions 123 to 134 set in the data processing nodes 111 to 114, respectively.
  • the data blocks assigned to the partitions set in each data processing node are not limited to those installed in the data storage node paired with the data processing node, and are not limited to other data storage nodes.
  • the data block may be assigned to the mounted data block and referred to via the network.
  • the tasks of the data processing nodes 111 to 114 access the allocated data blocks via the partitions 123 to 134 that are logical data.
  • the system configuration shown in FIG. 1 is an example of the distributed database system configuration according to the present embodiment, but as another configuration example, for example, a data processing node and a data storage node may be shared. If the task on the data processing node and the data processed by the task exist on the same physical node, the data access speed is not limited by the network bandwidth performance between the nodes, so the task accesses the data. The speed may be high.
  • Each data processing node executes a node management program (not shown) for managing node resources.
  • a node for executing these node management programs is prepared separately from the data processing node via a network. May be connected to manage the data processing node. In this case, the job execution performance in the data processing node is not affected by the load of the node management program.
  • FIG. 2 is a diagram showing an example of the configuration of the data processing node shown in FIG. In the configuration shown in the figure, a computer having two (202, 203) four-core CPUs is illustrated as the data processing node 201.
  • the execution of tasks in the data processing node 201 can be multiplexed by the number of CPU cores, and 8 tasks are executed simultaneously according to the number of CPU cores 8 per node.
  • one partition 206 is associated with each of the eight tasks 205.
  • One data block is assigned to each partition, and each of the eight data blocks 208 stored in the data storage node 204 is assigned to the partition on a one-to-one basis.
  • the data source 207 processed by the distributed database system according to this embodiment is divided into 160 blocks based on a preset block size.
  • data block duplication is omitted. If one task defines the time taken to process data of one data block through one partition using one CPU core as “one unit time”, 20 8-core data processing nodes As shown in the graph 209, the time taken to process 160 data blocks is equal to one unit time at all data processing nodes. It should be noted that the numerical values of the CPU, the number of nodes, the number of tasks, the number of partitions, etc. in this example are examples set for explanation, and it goes without saying that these values are not necessarily required for the implementation of the present invention. . In this embodiment, overhead time other than data processing, such as task execution control, is assumed to be sufficiently smaller than the data processing time, and is not shown.
  • FIG. 3 shows a case where data of the same data source as in FIG. 2 is processed by 10 data processing nodes under the same conditions.
  • the data processing node 305 in FIG. 3 has two 4-core CPUs (302, 303), and can process tasks in eight multiplexes simultaneously.
  • one partition 306 is associated with each of the eight tasks 305 as in FIG. Since the number of data processing nodes 305 is set to 10 which is half of the example in FIG. 2, 160 data blocks are arranged in 16 blocks in each data storage node.
  • FIG. 4 shows another configuration example when 160 data blocks 404 are processed by 10 data processing nodes 401 as in FIG. In FIG. 4, 16 tasks 405 are executed for 8 cores.
  • FIG. 5 shows a configuration example in the case where an accelerator 504 for executing high-speed data processing such as FPGA and GPU is provided as a computing device of the data processing node 501 in addition to the CPUs 502 and 503.
  • an accelerator 504 for executing high-speed data processing such as FPGA and GPU is provided as a computing device of the data processing node 501 in addition to the CPUs 502 and 503.
  • one accelerator can process 88 data blocks in one unit time.
  • two accelerator-mounted data processing nodes 501 and a data storage node 505 are prepared, one task 506 to be executed by the accelerator is assigned to each, and 80 data blocks 509 are assigned to the corresponding partition 507,
  • the time required to process the data source 508 for 160 blocks is 10/11 unit time (data block 509), and the system scale can be reduced by reducing the number of data processing nodes.
  • FIG. 6 shows another configuration example in which a task is executed using a data processing node 601 equipped with an accelerator 605 having a data processing performance 88 times that of the CPU 1 core as in the example of FIG.
  • one task 606 is executed by each of the eight cores of the CPUs 602 and 603, and one task 608 is executed by the accelerator 604 in parallel.
  • Each task is associated with partitions 607 and 609 one by one.
  • Each data block 611 of the data storage node 605 is assigned to each of the eight partitions 607, and 72 data blocks 612 are associated with the partition 609. If two pairs of data processing nodes and data storage nodes having this configuration are prepared, the data sources 610 for 160 blocks can be processed in one unit time. At this time, it is sufficient that the accelerator has a performance 72 times that of the CPU core.
  • FIG. 7 shows a configuration example in which the data source 707 for 160 data blocks is processed in the same manner as in FIGS. 2 to 6, and only one data processing node 709 equipped with an accelerator is used.
  • the task is executed by 10 data processing nodes as in FIG. Data blocks are placed.
  • the 16 data blocks of the paired data storage node 713 include one task 714 and one partition.
  • execution of the task is completed in 2/11 unit time.
  • next task is executed after the distributed execution of one task is completed by Hadoop Map / Reduce processing, etc.
  • the job is executed until the task execution in the data processing node equipped with only the CPU is completed.
  • the entire system requires two unit hours to complete the execution of the task, and the effect of the accelerator cannot be utilized.
  • FIG. 8 (1-9) Configuration of Data Processing Node According to this Embodiment Therefore, in this embodiment, a configuration as shown in FIG. 8 is adopted. That is, in FIG. 8, eight data blocks 808 are stored in the data storage node 804 as data to be processed by the data processing node 805 equipped with only the CPUs 802 and 803. Further, in FIG. 8, one task is executed by each of the eight CPU cores, and one data block 808 is allocated to each of the eight partitions 806 associated with each task.
  • the task execution time in the nine data processing nodes having the same configuration as the data processing node 801 and the corresponding nine data storage nodes is one unit time.
  • a data processing node 809 equipped with an accelerator 812 having 88 times the performance of one CPU core has one task 814 executed by the accelerator, one partition 815 associated with the task, and the partition. If the 88 blocks are allocated and the task is executed, the data processing node 809 also completes the execution of the task for processing 88 blocks of data in one unit time.
  • the distributed database system can optimize the task execution time as a whole system ( (See graph 817).
  • FIG. 9 is a diagram illustrating an example of a resource management method according to the present embodiment. Specifically, FIG. 9 shows eight data processing nodes having the same configuration as the data processing node 901 configured with only the eight-core CPUs 902 and 903 as computing devices, and the CPU core in addition to the eight-core CPUs 910 and 911. A configuration example is shown in which a task for processing a data source 907 for 160 blocks is executed using a single data processing node 909 equipped with an accelerator 912 having 88 times the performance.
  • the task is executed in one unit time by the eight data processing nodes having the same configuration as the data processing node 901 and the data storage node 904 as in the data processing node 801 shown in FIG.
  • the data processing node 909 has eight tasks 914 executed by the CPU cores 910 and 911, one corresponding to each of the corresponding partitions 915 and one data block from the data block 916 of the data storage node 913.
  • the accelerator 912 executes a task 917 by assigning 88 data blocks to the corresponding partition 918 and the partition 918 and executing it in one unit time.
  • the task of processing the data source 907 can be executed in one unit time in all nine data processing nodes and the paired data storage nodes (see graph 919).
  • the number of data blocks may be determined and arranged in advance according to the calculation performance of the data processing node.
  • a data block to be arranged in the data storage node may be requested.
  • data transfer between the data storage nodes via the network and data reference from the data processing node to the data storage node via the network may be rate-limited depending on the network bandwidth. Therefore, if it is necessary to transfer data during task execution or to refer to data via the network, the data is transferred at a speed in time for the data processing of the node in order to make full use of the processing performance of the computing device. It is necessary to.
  • the nodes are connected by a sufficiently high-speed network, or a plurality of data storage nodes are implemented as centralized storage, data blocks are shared between the data storage nodes, and the data processing node and the centralized storage are fast It is conceivable to connect with a simple SAN or speed up data transfer between data storage nodes by an internal communication bus or the like.
  • a data block that is connected to a data processing node through a high-speed network or configured as a computer identical to the data processing node is used in advance for task execution before task execution.
  • the following implementation method will be described by taking as an example the case of arranging
  • FIG. 10 is a diagram showing in detail the function of adjusting the amount of data arranged in the data storage nodes 115 to 118 in accordance with the data processing performance of the data processing node 111 in the distributed database system shown in FIG.
  • each node is connected by a network.
  • the application execution unit 102A is executed in the client node 101, a data processing instruction is issued to the distributed database system.
  • the data processing command interpretation unit 1001 interprets the data processing command issued by the application execution unit 102A, and the job configuration unit 1002 configures a job that can be executed in the distributed database system.
  • the task generation unit 1003 is associated with the job configured as described above as a unit of a data processing program that is distributed and executed on any one of the one or more data processing nodes 111 to 114. Generate a task.
  • the job issuing unit 1004 requests the resource management node 104 for necessary resources from the data processing nodes 111 to 114 managed by the resource management node 104, and specifies a specific resource allocated in response to the request. Issues a job and a task that is a component of the job to the data processing node.
  • the job management unit 1005 schedules one or more issued jobs according to conditions such as priority, issue order, and / or calculation resource occupancy, and the specific data processing node assigned Execute.
  • the resource management unit 1006 manages resource elements such as computing devices and memories on the data processing nodes 111 to 114 included in the distributed database system.
  • the task execution determination unit 1007 interprets the task load, performance requirements, and the like generated by the task generation unit 1003, and calculates task execution performance for each resource such as a calculation device of the data processing nodes 111 to 114.
  • the task distribution unit 1008 distributes tasks to the data processing nodes 111 to 114 based on the task execution performance determined by the task execution determination unit 1007.
  • the data management node 105 distributes and arranges the data source to be processed by the application execution unit 102A in the distributed database system.
  • the data input unit 1009 takes in data from the data source and converts it into a format suitable for distributed processing as necessary.
  • the block division unit 1010 divides the data source data into a preset block size.
  • the data placement unit 1011 stores the data blocks in the storage units 119 of the data storage nodes 115 to 118 paired with the data processing nodes for each data amount corresponding to the data processing performance of the data processing nodes 111 to 114. .
  • the block management unit 1016 manages access from the tasks executed by the data processing nodes 111 to 114 to the data blocks stored in the data storage node.
  • the task management unit 1012 of the data processing nodes 111 to 114 manages the execution order of tasks arranged in the data processing nodes 111 to 114, and manages task assignment to the computing devices to be executed.
  • the device selection unit 1013 selects which calculation device, such as a CPU, FPGA, GPU, or ASIC, the arranged task is to be executed based on the task execution performance for each calculation device determined by the task execution determination unit.
  • calculation device such as a CPU, FPGA, GPU, or ASIC
  • the logical data generation unit 1014 determines the data amount to be processed by the task based on the task execution performance when the task is executed by the selected computing device, generates a logical data partition corresponding to the data amount, and generates Allocate a quantity of data blocks corresponding to the partition size.
  • the task execution unit 1015 executes the task arranged in the data processing node by using the computing device selected to execute the task, and processes the data block assigned to the partition associated with the task To do.
  • FIG. 11 is a diagram showing a flow of interpreting a command of a task placed in the data processing node 1105, determining the number of data blocks to be executed by the task, and placing it in the data storage node 1116 accessed by the data processing node 1105. It is.
  • job 1 (corresponding to reference numeral 1101 in the figure) is illustrated as a job configured to be executed in the distributed database system.
  • This job 1 holds task 1.1 (corresponding to reference numeral 1102 in the figure), task 1.2 (corresponding to reference numeral 1103 in the figure), and task 1.3 (corresponding to reference numeral 1104 in the figure) as constituent elements.
  • task 1.1 corresponding to reference numeral 1102 in the figure
  • task 1.2 corresponding to reference numeral 1103 in the figure
  • task 1.3 (corresponding to reference numeral 1104 in the figure) as constituent elements.
  • the task load determination unit 1111 interprets the instructions (Op1 to Op6) of the task 1.1, task 1.2, and task 1.3, and executes each task. A processing load such as a calculation amount is determined.
  • the resource performance determination unit 1112 of the resource management unit 1006 performs each calculation based on data processing performance information such as the operating frequency, the number of parallel executions, and the memory bandwidth of calculation devices such as the CPU 1109 and FPGA 1110 included in the data processing nodes 1105 to 1107. Determine the data processing performance of the device.
  • the task execution performance calculation unit 1113 executes each task on each calculation device based on the processing load of each task determined by the task load determination unit 1111 and the performance of each calculation device determined by the resource performance determination unit 1112. Calculate the task execution performance at the time of execution.
  • the device selection unit 1013 selects a device that is optimal for execution of the task, such as being able to execute each task in the shortest time based on the calculated task execution performance.
  • the data distribution calculation unit 1114 performs data processing for each task so as to equalize the task execution time in each of the data processing nodes 1105 to 1107 based on the task execution performance when the task is executed using the selected device. The amount is determined, and the partitions 1120 to 1124 for each task are created in the logical data generation unit 1014 according to the determined data processing amount.
  • the data distribution unit 1115 stores, for each of the data storage nodes 1116 to 1118, a quantity of data blocks corresponding to the amount of data processed by the data processing node paired with each data storage node.
  • FIG. 12 shows an example of a resource management method according to this embodiment. More specifically, in the illustrated example, data distribution processing is shown in which the data distribution is adjusted based on the task execution performance of the computing device and the task is executed.
  • the application execution unit 102A requests execution of a data processing command (step S1201).
  • the job management node 103 determines a job configuration for executing the data processing command in the distributed database system based on the data processing command issued by the application execution unit 102A (step S1202).
  • the job management node 103 Based on the determined job configuration, the job management node 103 generates a task to be distributed and executed by each data processing node (step S1203), and the data management node 104 has a resource processing resource for executing this task. The use of the node is requested (step S1204).
  • the job management node 103 calculates the execution performance for each node of the generated task based on the performance of the computing device possessed by each data processing node (step S1205).
  • the job management node 103 selects a computing device that executes each task based on the execution performance of each task in each data processing node (step S1206).
  • the job management node 103 determines, for each computing device that executes each task, a processing data amount that makes the execution time between the nodes substantially equal (step S1207).
  • the resource management node 104 generates a partition as logical data processed by the task based on the processing data amount determined in this way (step S1208).
  • the data management node 105 Based on the amount of data processed by each task, the data management node 105 arranges data blocks of a quantity corresponding to the amount of data processed by the data processing node in each data storage node paired with each data processing node ( Step S1209).
  • the data management node 105 allocates a number of data blocks corresponding to the amount of data set in the partition to each partition associated with each task (step S1210).
  • Each data management node 105 executes a task and processes data assigned to the partition associated with this task (step S1211). When the execution of the task is completed, each data management node 105 determines whether there is a task for the next calculation stage. If there is a task to be executed next (step S1212), the process returns to step S1205. Repeat the process. If there is no task at the next calculation stage, the data management node 105 determines whether there is another job to be executed.
  • step S1203 If there is a job to be executed next, the data management node 105 returns to step S1203 and repeats the process. If there is no other job to be processed (step S1213), the data management node 105 ends the process.
  • FIG. 13 shows an example of the execution time based on the processing load of each task determined by the task load determination unit 1111 of FIG.
  • job 1 includes three tasks, task 1.1, task 1.2, and task 1.3, as components.
  • a plurality of jobs executed in the distributed database system according to the present embodiment are independent with no dependency relationship between them, and the computing devices mounted on the data processing nodes 1105 to 1107 are also independent. Can be executed.
  • different types of tasks in the same job cannot be executed in parallel, and the execution of the next task can be started after the previous task is completed in the order of task 1.1, task 1.2, and task 1.3. To do.
  • Task 1.2 cannot be executed on the GPU due to the nature of task processing.
  • Task 1.3 cannot be executed by the FPGA. These numerical values may be estimated based on the performance model generated from the processing contents of the task program, and converted from the results actually executed in advance on a specific computing device. Is also possible.
  • FIG. 14 is a configuration example of a computing device mounted on the data processing nodes 1105 to 1107 shown in FIG.
  • the node 1 indicates that a 20-core CPU (operation frequency: 4 GHz), one FPGA, and one GPU are mounted.
  • FIG. 15 shows an example of the result of calculating the task execution time for each computing device in the task execution performance calculation unit 1113 of FIG. 11 based on FIG. 13 and FIG.
  • the execution time Time when the task 1.1 is executed by the FPGA or GPU of the node 1 can be similarly calculated as follows.
  • Time (task 1.1, node 1, FPGA) 1 ms
  • Time (task 1.1, node 1, GPU) 5 ms
  • FIG. 16 is an example showing the task execution time when an optimal computing device is selected for each task at each node.
  • the execution time is calculated based on the method shown in the explanation of FIG.
  • the execution time of task 1.1 is 1 ms by using FPGA
  • task 1.2 uses the CPU
  • task 1.3 uses the CPU 5 ms.
  • Nodes 2 and 3 are similarly shown in the table.
  • FIG. 17 shows a comparison of the execution times of FIG. 16 using data processing performance (TB / s).
  • FIG. 18 shows the amount of data allocated to equalize the execution time for each node using the resource management method according to the present embodiment when 1 TB (terabyte) data is processed as a data source by three data processing nodes. Show.
  • task 1.1 completes processing in the same execution time on all nodes.
  • the tasks 1.2 and 1.3 are as shown in the table of FIG.
  • FIG. 19 shows the effect when the data distribution is adjusted according to the calculation performance of the data processing node by the resource management processing according to the present embodiment.
  • FIG. 19A shows the execution time of each task when data distribution is not adjusted and 333 GB is evenly distributed to all data processing nodes.
  • Task 1, 1, Task 1.2, and Task 1.3 are conditions for starting execution of the next task after the previous task is completed, in each task, processing is performed in Node 1 and Node 2. Although it is completed early, it waits until the processing of the node 3 is completed, and the processing time of the entire system is limited by the execution performance of the node 3.
  • FIG. 19B by performing the data distribution shown in the table of FIG. 18 for each task, the execution time for each task is leveled between the nodes, the waiting time is eliminated, Execution time is greatly reduced.
  • FIG. 19C does not optimize the data distribution for each task, but the geometric average of the execution performance for each node of the tasks 1.1, 1.2, and 1.3 (the geometric average column in the table of FIG. 17).
  • the data is distributed (described in the geometric average column in the table of FIG. 18) based on
  • the geometric average of task execution performance is used as the data distribution ratio.
  • the method for determining the distribution ratio is not limited to the geometric average, and for example, arithmetic average, harmonic average, etc. It is possible to select an optimal calculation method according to the property.
  • the task execution performance may be adjusted according to the data amount allocated in advance.
  • the task execution time in the node is shorter than that of other nodes.
  • standby time occurs in the node, the operating time of the entire system is leveled by reducing the operating frequency, limiting the number of cores used, etc., and the power consumption of a specific node is reduced.
  • Software license costs can be reduced.
  • task execution time is used as an evaluation measure as calculation capacity.
  • performance indicators such as data transfer amount, network load, and memory usage during task execution, and power associated with task execution
  • the job execution may be optimized using the consumption amount or the calculation resource usage fee as an evaluation scale.
  • the amount of data to be processed can be distributed according to the calculation capability of each data processing nose, so that the execution time required for data processing in the entire system can be shortened.
  • the present invention can be widely applied to a resource management method in data analysis processing using a distributed database system.
  • Task execution determination unit 1007: Task execution determination unit, 1008: Task distribution unit, 1011: Data arrangement unit, 1014: Logical data generation unit, 1111: Task load determination unit, 1112: Resource performance determination unit, 1113: Task Execution performance calculator, 1114... Data allocation calculator, 1115.

Abstract

【課題】各データ処理ノードにおけるデータ処理時間が均一でないため、システム全体として実行時間が最適化されない。 【解決手段】最適な複数の計算デバイスを用いてタスクを実行する時に、タスクの処理命令によって処理されるデータのデータ量を、最適な複数の計算デバイスの計算能力の違いに応じて最適な複数の計算デバイス間で配分し、最適な複数の計算デバイスを用いてタスクを分散して実行させる。

Description

分散データベースシステム及び分散データベースシステムのリソース管理方法
　本発明は、分散データベースシステム及び分散データベースシステムのリソース管理方法に関し、特に、分散データベースシステムを用いたデータ分析処理におけるリソース管理方法に適用して好適なものである。
　一般的に、様々に視点を変えてビッグデータを解釈するためのインタラクティブな分析においては、多数のデータ処理用サーバを分散配置し、データ処理を並列実行することで高速化を図る分散データベースシステムが適している。このような分散データベースシステムとしては、例えばＡｐａｃｈｅ　Ｈａｄｏｏｐ（登録商標）が用いられる。大量のデータを高速に処理するためには、通常は、計算性能を確保するために多数のデータ処理用サーバ（ノード）が必要となり、この結果システム規模が増大し、導入コストや維持コストが増加する。
　そこで、高速なデータ処理が可能なＦＰＧＡ（Ｆｉｅｌｄ　ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ　ｃｏｍｐｕｔｉｎｇ　ｏｎ　ｇｒａｐｈｉｃｓ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔｓ）、専用ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）等を用いたアクセラレータをノードに搭載することによってノードあたりの性能を向上し、必要ノード数を減らしてシステム規模を抑える技術の適用が考えられる。アクセラレータを適用する際は、分散システム上の全てのノードに同じ性能を持つアクセラレータを搭載し、ノード自体が有するＣＰＵ（Ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）の性能も同じ均質な構成を取り得る場合のみでなく、アクセラレータの種別が様々であったり、搭載するノードが限定されていたり、ＣＰＵ性能がノードによって異なる場合が想定される。このような場合には、システムに不均一性が生じ、各ノードのデータ処理性能がばらつくことがある。
　非特許文献１には、ノード性能が不均一な分散処理システムにおいて、ノードのＣＰＵ使用率に応じて、ジョブを細分化して分散実行する処理単位であるタスク種別毎に、異なる性能のノード群を割り当てる技術が開示されている。
　国際公開２０１２／１０５０５６（特許文献１）には、既存システムが利用しているサーバに、追加して並列分散システムを共存させる場合に、並列分散システムの各ノードの処理を調整する技術が開示されている。既存システムで実行される処理を優先する場合には、当該処理の実行状況によって分散システムが使用できるノードの計算リソース及びＩ／Ｏリソースが変化する。この時、ノードの負荷及びリソース使用量を観測し、ノードが保持するデータブロックの処理の進行状況に応じて、ノードの負荷またはリソースに余裕があるノードに、他のノードからデータブロックを転送する。
　特開２０１４－２１５７６４（特許文献２）には、ノードで実行するタスク１つあたりが処理する最大データ量を、入力データ量に対する各ノードのタスク数とノード数との関係に基づいて決定することにより、ノード毎の処理時間を平準化する方法が開示されている。
国際公開２０１２／１０５０５６号 特開２０１４－２１５７６４号公報
Ｓ．　Ｆ．　Ｅｌ－Ｚｏｇｈｄｙ　ａｎｄ　Ａｈｍｅｄ　Ｇｈｏｎｅｉｍ，　"Ａ　Ｍｕｌｔｉ－Ｃｌａｓｓ　Ｔａｓｋ　Ｓｃｈｅｄｕｌｉｎｇ　Ｓｔｒａｔｅｇｙ　ｆｏｒ　Ｈｅｔｅｒｏｇｅｎｅｏｕｓ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｃｏｍｐｕｔｉｎｇ　Ｓｙｓｔｅｍｓ，"　ＫＳＩＩ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｎｔｅｒｎｅｔ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍｓ，　ｖｏｌ．１０，　ｎｏ．１，　ｐｐ．１１７－１３５，　２０１６．
　上述した非特許文献１では、複数の異なるタスクをノードに割り振る順番を、例えば全ノードのＣＰＵ使用率が等しくなるように配分しているが、Ｈａｄｏｏｐ（登録商標）処理のように、同一のタスクを複数のノードに分散するシステムには適用されない。
　特許文献１では、ノードの処理状況に応じて処理の実行中にデータを余裕のあるノードに転送することによりノードの処理時間を平準化しているが、ノードが有する計算リソースに基づくタスク実行性能の偏りを考慮していない。
　特許文献２では、分散システムで処理する全タスク数に合わせて均等に入力データを分割して各ノードに配置するが、タスクあたりのデータ量が均等になるため、各ノードの計算性能のばらつきは考慮されていない。
　本発明は以上の点を考慮してなされたもので、システム全体としてデータ処理時間を短縮できる分散データベースシステム及び分散データベースシステムのリソース管理方法を提案しようとするものである。
　かかる課題を解決するため、本発明においては、データを処理する１つ以上の計算デバイスを搭載する１つ以上のデータ処理ノードを備える分散データベースシステムにおいて、前記データ処理ノードにおける各前記計算デバイスの計算能力の違いを判定する計算能力判定部と、各前記計算デバイスの計算能力の違いに基づいて最適な計算デバイスを複数選択するデバイス選択部と、前記最適な複数の計算デバイスを用いて前記タスクを実行する時に、前記タスクの処理命令によって処理される前記データのデータ量を、前記最適な複数の計算デバイスの計算能力の違いに応じて前記最適な複数の計算デバイス間で配分し、前記最適な複数の計算デバイスを用いて前記タスクを分散して実行させるタスク分配制御部と、を備えることを特徴とする。
　また、本発明においては、データを処理する１つ以上の計算デバイス、及び制御部を搭載する１つ以上のデータ処理ノードを備える分散データベースシステムにおけるリソース管理方法において、前記制御部が、前記データ処理ノードにおける各前記計算デバイスの計算能力の違いを判定する計算能力判定ステップと、前記制御部が、各前記計算デバイスの計算能力の違いに基づいて最適な計算デバイスを複数選択するデバイス選択ステップと、前記制御部が、前記最適な複数の計算デバイスを用いて前記タスクを実行する時に、前記タスクの処理命令によって処理される前記データのデータ量を、前記最適な複数の計算デバイスの計算能力の違いに応じて前記最適な複数の計算デバイス間で配分し、前記最適な複数の計算デバイスを用いて前記タスクを分散して実行させるタスク分配制御ステップと、を有することを特徴とする。
　本発明によれば、システム全体としてデータ処理時間を短縮することができる。
本実施の形態による分散データベースシステムの構成例を表す図である。 データソースを２０台のデータ処理ノードで処理する場合の構成の一例を示した図である。 データソースを１０台のデータ処理ノードで処理する場合の構成の一例を示した図である。 データソースを１０台のデータ処理ノードで処理する場合の構成の別の一例を示した図である。 データソースを２台のアクセラレータ搭載データ処理ノードで処理する場合の構成の一例を示した図である。 データソースを２台のアクセラレータ搭載データ処理ノードで処理する場合の構成の別の一例を示した図である。 データソースを９台のアクセラレータ非搭載データ処理ノードと、１台のアクセラレータ搭載データ処理ノードで処理する場合の構成の一例を示した図である。 データソースを９台のアクセラレータ非搭載データ処理ノードと、１台のアクセラレータ搭載データ処理ノードで処理する場合の、本実施の形態によるリソース管理方法を用いた構成の一例を示した図である。 データソースを９台のアクセラレータ非搭載データ処理ノードと、１台のアクセラレータ搭載データ処理ノードで処理する場合の、本実施の形態によるリソース管理方法を用いた構成の別の一例を示した図である。 データ処理ノードのデータ処理性能に応じて、データ格納ノードに配置するデータ量を調整する機能を詳細に示した図である。 データ処理ノードに配置されたタスクの命令を解釈し、タスクが実行するデータブロックの数量を決定して、データ処理ノードがアクセスするデータ格納ノードに配置する流れを示す図である。 本実施の形態により、計算デバイスのタスク実行性能に基づいてデータ配分を調整してタスクを実行する方法を示すフローチャートである。 タスク負荷判定部において判定した、各タスクの処理負荷に基づいた実行時間の例である。 データ処理ノードに搭載された計算デバイスの構成例である。 タスク実行性能計算部において、計算デバイス毎のタスク実行時間を計算した結果である。 各ノードでタスク毎に最適な計算デバイスを選択した場合のタスク実行時間を示した例である。 図１６の実行時間の比較を、データ処理性能（ＴＢ/s）で表現したものである。 本実施の形態によるリソース管理方法を用いてノード毎の実行時間を平準化した場合のデータ配分量を示す図である。 本実施の形態によるリソース管理方法を用いてデータ処理ノードの計算性能に応じてデータ配分を調整した場合の効果を示す図である。
　以下、図面について、本発明の一実施の形態について詳述する。
　（１）本実施の形態によるシステム構成
　（１－１）全体構成
　図１は、本実施の形態による分散データベースシステムの構成例を示すブロック図である。分散データベースシステムは、クライアントノード１０１、ジョブ管理ノード１０３、リソース管理ノード１０４、データ管理ノード１０５、データ処理ノード１１１～１１４、及びデータ格納ノード１１５～１１８を備える。
　これらのノード１０１などは、図示は省略するが、イーサネット（登録商標）等のネットワークを介して接続されており、このネットワークを通じて制御信号及びデータの送受信を実施する構成となっている。
　なお、このネットワークは、ローカルなドメイン内で閉じたネットワーク（ＬＡＮ：Ｌｏｃａｌ　ａｒｅａ　ｎｅｔｗｏｒｋ）であっても良い。各ノードの一部または全部が、それぞれ異なるデータセンタ等のドメインに配置され、各ノード間がグローバルなネットワーク（ＷＡＮ：Ｗｉｄｅ　ａｒｅａ　ｎｅｔｗｏｒｋ）で接続された構成であっても良い。データ処理ノード１１１～１１４とデータ格納ノード１１５～１１８とは、いわゆるＳＡＮ（Ｓｔｏｒａｇｅ　ａｒｅａ　ｎｅｔｗｏｒｋ）を介して接続された構成であっても良い。
　（１－２）クライアントノード
　クライアントノード１０１は、少なくともプロセッサ、メモリ及びネットワークインタフェースを備える計算機である。クライアントノード１０１は、さらにストレージ装置、及び、計算機を操作するためのユーザインタフェースを備えても良い。
　クライアントノード１０１では、アプリケーションプログラム（図示の「アプリケーション」に相当）１０２は、図示しないネットワーク経由で伝送されるか、図示しないストレージ装置に格納されているか、ユーザインタフェースを介してインストールされている。このアプリケーションプログラム１０２は、図示しないメモリにロードされ、図示しないプロセッサによって実行される。
　アプリケーションプログラム１０２には、そのソースコードに、分散データベースシステムを用いてデータ処理を実行する命令が含まれている。アプリケーションプログラム１０２を実行することによって、データ処理を実行する命令が呼び出され、該命令に基づいて分散データベースシステムにおいてデータ処理が実行される。
　（１－３）ジョブ管理ノード
　ジョブ管理ノード１０３は、少なくともプロセッサ、メモリ及びネットワークインタフェースを備える計算機である。さらにジョブ管理ノード１０３は、図示しないストレージ装置、及び、計算機を操作するためのユーザインタフェースを備えても良い。
　ジョブ管理ノード１０３は、クライアントノード１０１上のアプリケーションプログラム１０２が発行したデータ処理命令を受信し、分散データベースシステム上でデータ処理を実行するためのジョブ１０７～１１０を構成する。
　さらにジョブ管理ノード１０３は、ジョブにおけるデータ処理を、複数のデータ処理ノードに分散配置して実行する単位であるタスクを生成する。例えば、Ｈａｄｏｏｐ（登録商標）分散処理システムにおいては、Ｍａｐ処理及びＲｅｄｕｃｅ処理を組み合わせてデータ処理を実行する単位が「ジョブ」に相当する。これらＭａｐ処理及びＲｅｄｕｃｅ処理はそれぞれ「タスク」に相当する。
　タスクは、複数のデータ処理ノード１１１～１１４において分散実行される。ジョブ管理ノード１０３は、生成したタスクを実行するデータ処理ノード１１１～１１４の使用を、リソース管理ノード１０４に対して要求する。
　（１－４）リソース管理ノード
　リソース管理ノード１０４は、少なくともプロセッサ、メモリ及びネットワークインタフェースを備える計算機である。さらにリソース管理ノード１０４は、図示しないストレージ装置、及び、計算機を操作するためのユーザインタフェースを備えても良い。
　リソース管理ノード１０４は、ジョブ管理ノード１０３からタスクを実行するデータ処理ノード１１１～１１４の使用要求を受信し、リソース管理情報に基づいて使用可能なデータ処理ノード１１１～１１４を選択し、タスクを、これらデータ処理ノード１１１～１１４に配置して実行させる。さらにリソース管理ノード１０４は、ジョブ管理ノードが構成した１つ以上のジョブの実行順や実行割合等を優先度や諸条件に基づいてスケジューリングして実行する。
　（１－５）データ管理ノード
　データ管理ノード１０５は、少なくともプロセッサ、メモリ及びネットワークインタフェースを備える計算機である。さらにデータ管理ノード１０５は、図示しないストレージ装置、及び、計算機を操作するためのユーザインタフェースを備えても良い。
　データ管理ノード１０５は、分散データベースシステムによって処理されるデータをデータソース１０６から取得し、指定された分割サイズのブロックに分割してデータ格納ノード１１５～１１８に格納する。この時、データ管理ノード１０５は、データの可用性、信頼性を担保するために、ブロックごとに１つ以上の複製を作成し、例えば特定のノードが停止した時にデータが失われないように当該複製を、複数のノードに分散して配置しても良い。
　なお、本実施の形態による分散データベースシステムにおいては、ジョブ管理ノード１０３、リソース管理ノード１０４及びデータ管理ノード１０５の全て又はこれらのうちのいずれか２つのノードが、物理的に共通の計算機上に構成されているようにすることも可能である。さらにはクライアントノード１０１は、これらのうちのいずれかのノード、又はこれら全てのノードと物理的に共通の計算機上に構成されるようにことも可能である。
　（１－６）データ処理ノード
　データ処理ノード１１１～１１４は、リソース管理ノード１０４によって設定されたタスクを、特定の計算デバイスやメモリ等を用いて実行する。この時、データ処理ノード１１１～１１４は、タスク毎に、予め設定された論理的なデータ単位であるパーティション１２３～１３４に接続してデータ処理を行う。
　（１－７）データ格納ノード
　データ格納ノード１１５～１１８は、データ管理ノード１０５の指定によって配置されたデータブロックを、各データ格納ノード１１５～１１８が備えるハードディスク又はフラッシュメモリデバイス等であるストレージ装置１１９～１２２に格納する。なお、本実施の形態では、ストレージ装置１１９～１２２のようなストレージ装置の代わりに、いわゆるＤＲＡＭのようなメインメモリにデータブロックを格納するようにしても良い。
　各データ格納ノード１１５～１１８に格納されたデータブロックは、データ処理ノード１１１～１１４において設定されたパーティション１２３～１３４それぞれに一つ以上割り当てられる。なお、各データ処理ノードにおいて設定されたパーティションに割り当てるデータブロックは、当該データ処理ノードとペアになっているデータ格納ノードに搭載されているものに限定されるものではなく、他のデータ格納ノードに搭載されているデータブロックに割り当て、ネットワークを介してデータブロックを参照しても良い。
　データ処理ノード１１１～１１４のタスクは、論理データであるパーティション１２３～１３４を介して、割り当てられたデータブロックにアクセスする。
　なお、図１に示すシステム構成は、本実施の形態による分散データベースシステム構成の一例であるが、他の構成例としては、例えば、データ処理ノードとデータ格納ノードを共通にしても良い。データ処理ノード上のタスクと、タスクが処理するデータとが、同じ物理ノード上に存在すれば、ノード間のネットワーク帯域性能によってデータ転送速度が制限されることが無いため、タスクがデータにアクセスする速度が高速になる場合がある。
　また、各データ処理ノードでは、ノードのリソースを管理するノード管理プログラム（図示省略）が実行されるが、これらのノード管理プログラムを実行するノードを、データ処理ノードとは別に用意し、ネットワークを介して接続して、データ処理ノードを管理しても良い。この場合、ノード管理プログラムの負荷によってデータ処理ノードにおけるジョブ実行性能が影響を受けることが無くなる。
　次に、分散データベースシステムにおいてタスクを並列実行する場合に、処理にかかる時間を、いくつかの条件毎に説明する。
　（１－８）比較例としてのデータ処理ノードの構成例
　図２は、図１に示したデータ処理ノード構成の一例を示した図である。図示の構成では、データ処理ノード２０１として、４コアのＣＰＵを２つ（２０２、２０３）搭載した計算機を例示している。
　データ処理ノード２０１におけるタスクの実行は、ＣＰＵコア数だけ多重化できるものとし、ノードあたりのＣＰＵコア数８に合わせて８つのタスクを同時に実行する場合を示している。
　この例では、８つのタスク２０５の各々に対して１つずつパーティション２０６が対応付けられている。各パーティションに対して１つずつデータブロックを割り当てるものとし、データ格納ノード２０４に格納されている８つのデータブロック２０８のそれぞれを１対１でパーティションに割り当てる。
　本実施の形態による分散データベースシステムで処理するデータソース２０７は、予め設定されたブロックサイズに基づいて、１６０個のブロックに分割されるものとする。
　１６０個のデータブロックをすべてのデータ処理ノードに均等に分配する場合、すべてのデータブロックを処理するためには、２０台のデータ処理ノード、及びデータ格納ノードのペアが必要となる。
　ただし、図示の例では、データブロックの複製は省略している。１つのタスクが、１つのＣＰＵコアを用いて、１つのパーティションを介して１つのデータブロックのデータを処理するのにかかる時間を「１単位時間」と定義すると、８コアのデータ処理ノード２０台で１６０個のデータブロックを処理するのに掛かる時間は、グラフ２０９に示す通り、すべてのデータ処理ノードで等しく１単位時間となる。なお、本例のＣＰＵやノード数、タスク数、パーティション数等の数値は、説明のために設定した一例であり、本発明の実施に対し、これらの数値に必然性を求めるものでないことは言うまでもない。なお、本実施の形態では、タスクの実行制御等、データ処理以外にかかるオーバーヘッド時間は、データ処理時間に比べ十分小さいものとし、図示を省略している。
　図３は、図２と同様のデータソースのデータを、同じ条件のデータ処理ノード１０台で処理する場合を示している。図３のデータ処理ノード３０５は、４コアのＣＰＵ２つ（３０２、３０３）を持ち、同時に８多重でタスクを処理可能である。
　図示の例では、図２と同様に８つのタスク３０５に１つずつパーティション３０６が対応付けられている。データ処理ノード３０５の台数を、図２の例の半分の１０台に設定したため、１６０個のデータブロックは、各データ格納ノードに１６ブロックずつ配置される。
　８つのタスクで１６個のブロックを処理するために、各々のパーティションに２つずつデータブロックを割り当てるとすると、１つのタスクが２つのデータブロックを処理するのにかかる時間は、グラフ３０９に示すように、２単位時間となり、データ処理ノードを２０台使用する場合の２倍の時間が必要になる。
　図４は、図３と同様に１６０個のデータブロック４０４を１０台のデータ処理ノード４０１で処理する場合の別の構成例である。図４では、８つのコアに対し、１６個のタスク４０５を実行する。
　パーティション４０６は、タスクをパーティションと１対１で対応づけ、各パーティションに１つのデータブロックを割り当てる場合、ＣＰＵコアあたり２つのタスクを実行する必要があるため、データ処理時間は、図３と同様に２単位時間となる。
　図５は、データ処理ノード５０１の計算デバイスとして、ＣＰＵ５０２、５０３の他にも、ＦＰＧＡ及びＧＰＵ等のようなデータ処理を高速実行するためのアクセラレータ５０４を設けた場合の構成例である。
　例えば、搭載しているアクセラレータ５０４が、ＣＰＵ１コアに対し、８８倍の性能を有すると仮定すると、アクセラレータ１台で、１単位時間の間に８８個のデータブロックを処理することができる。この場合、２台のアクセラレータ搭載データ処理ノード５０１、及びデータ格納ノード５０５を用意し、各々にアクセラレータで実行するタスク５０６を１つ、対応するパーティション５０７に８０個のデータブロック５０９を割り当てれば、１６０ブロック分のデータソース５０８を処理するのに必要な時間は、１０／１１単位時間となり（データブロック５０９）、データ処理ノード数を削減してシステム規模を抑えることが可能になる。
　この時、ＣＰＵをタスク実行に使用する必要がないため、コア数が少ない廉価なＣＰＵを搭載してコストを低減するか、ＣＰＵに別の処理を行わせることにより、システム全体の負荷を分散させることが可能になる。なお、８コアＣＰＵのみを搭載したデータ処理ノード２０台分と同じ１単位時間でデータ処理を完了するには、８０倍のアクセラレータ性能があればよいことは明らかである。
　図６は、図５の例と同様にＣＰＵ１コアの８８倍のデータ処理性能を有するアクセラレータ６０５を搭載したデータ処理ノード６０１を用いてタスクを実行する別の構成例である。図６では、ＣＰＵ６０２、６０３の８つのコアそれぞれで１つずつタスク６０６を実行し、平行してアクセラレータ６０４で１つのタスク６０８を実行する。各タスクには１つずつパーティション６０７、６０９を対応づける。
　８つのパーティション６０７には、それぞれデータ格納ノード６０５の１つずつのデータブロック６１１を割り当て、パーティション６０９には、７２個のデータブロック６１２を対応づける。この構成のデータ処理ノード及びデータ格納ノードのペアを２つ用意すれば、１６０ブロック分のデータソース６１０は、１単位時間で処理することができる。なお、この時、アクセラレータは、ＣＰＵコアの７２倍の性能を有すれば十分である。
　図７は、図２～図６と同様に１６０データブロック分のデータソース７０７を処理する場合で、アクセラレータを搭載したデータ処理ノード７０９が１台のみとしたときの構成例である。
　これまでの例と同様に、データ格納ノードあたりのデータブロック数を均等配置する場合、図３と同様に１０台のデータ処理ノードでタスクを実行する際には、１データ格納ノードあたり１６個のデータブロックが配置される。
　この時は、８コアＣＰＵのみを搭載したデータ処理ノード７０１ｘ９台では、８つのタスク７０５に対応づけた８つのパーティション７０６それぞれに対し、データ格納ノードに格納されているデータブロック７０８から２つずつを割り当てるため、データ処理ノード７０８では、タスクを処理するのに２単位時間必要になる。
　一方、ＣＰＵコアの８８倍のデータ処理性能を有するアクセラレータ７１２を搭載したデータ処理ノード７０９では、ペアリングされているデータ格納ノード７１３の１６個のデータブロックは、１つのタスク７１４、及び１つのパーティション７１５において処理され、２／１１単位時間でタスクの実行が完了する。
　しかしながら、ＨａｄｏｏｐのＭａｐ／Ｒｅｄｕｃｅ処理等で、ひとつのタスクの分散実行が完了してから次のタスクを実行するような場合では、ＣＰＵのみを搭載したデータ処理ノードにおけるタスク実行が完了するまで、ジョブの次の処理の実行を待つため、システム全体としては、タスクの実行完了に２単位時間必要となり、アクセラレータの効果を活用することができない。
　（１－９）本実施の形態によるデータ処理ノードの構成
　そこで、本実施の形態では図８に示すような構成を採用している。すなわち、図８では、ＣＰＵ８０２、８０３のみを搭載したデータ処理ノード８０５が処理するデータとして、８個のデータブロック８０８をデータ格納ノード８０４に格納しておく。さらに、図８では、８個のＣＰＵコアそれぞれで１つずつタスクを実行し、各タスクに１つずつ対応付けた８個のパーティション８０６のそれぞれに１つずつデータブロック８０８を割り当てる。
　これにより、データ処理ノード８０１と同等の構成を持つ９台のデータ処理ノード、及び、対応する９台のデータ格納ノードにおけるタスク実行時間は、１単位時間となる。
　一方、ＣＰＵコア１台の８８倍の性能を有するアクセラレータ８１２を搭載したデータ処理ノード８０９には、アクセラレータで実行する１つのタスク８１４と、該タスクに対応づけた１つのパーティション８１５、及び該パーティションに８８個のブロックを割り当てて、タスクを実行すれば、データ処理ノード８０９においても、１単位時間で８８ブロックのデータを処理するタスクの実行が完了する。
　このように、データ処理ノードの計算性能に合わせて、処理するデータ量を調整することにより、本実施の形態による分散データベースシステムは、システム全体としてタスク実行時間を最適化することが可能になる（グラフ８１７参照）。
　図９は、本実施の形態によるリソース管理方法の一例を示す図である。具体的には、図９は、全８コアのＣＰＵ９０２、９０３のみを計算デバイスとして構成されたデータ処理ノード９０１と同等構成のデータ処理ノード８台と、同じく８コアのＣＰＵ９１０、９１１に加えＣＰＵコア１台の８８倍の性能を持つアクセラレータ９１２を搭載したデータ処理ノード９０９を用いて１６０ブロック分のデータソース９０７を処理するタスクを実行する場合の構成例を示している。
　図９では、データ処理ノード９０１、及びデータ格納ノード９０４と同等の構成を持つデータ処理ノード８台で、図８に示したデータ処理ノード８０１と同様に１単位時間でタスクを実行している。これにより、データ処理ノード９０９は、ＣＰＵコア９１０、９１１で実行する８つのタスク９１４を、対応パーティション９１５、それぞれにデータ格納ノード９１３のデータブロック９１６から各１つずつ対応づけたデータブロックをそれぞれ１単位時間で実行するとともに、アクセラレータ９１２でタスク９１７を、対応パーティション９１８、及びパーティション９１８に８８個のデータブロックを割り当てて１単位時間で実行している。
　これにより、全９台のデータ処理ノード、及びペアリングしたデータ格納ノードにおいては、データソース９０７を処理するタスクを１単位時間で実行することができる（グラフ９１９参照）。
　なお、データブロックをデータ格納ノードに配置する際は、予めデータ処理ノードの計算性能に合せてデータブロック数を決定して配置しておいても良いし、タスク実行時に、データ管理ノードに対し、データ格納ノードに配置するデータブロックを要求しても良い。
　ただし、必要なデータブロックが、データ処理ノードと高速ネットワークで直結しているデータ格納ノード上、又は、データ処理ノードと同一の計算機として構成されているデータ格納ノード上に存在していなかった場合は、他のデータ格納ノードから転送するか、直接他のデータ格納ノードのデータを参照する必要がある。
　この場合、データ格納ノード間のネットワークを介したデータ転送、及び、データ処理ノードからネットワークを介したデータ格納ノードへのデータ参照は、ネットワークの帯域によって律速する場合がある。従って、仮にタスク実行中にデータ転送、又は、ネットワークを介したデータ参照を行う必要が生じた場合、計算デバイスの処理性能を十分に活かすためには、ノードのデータ処理に間に合う速度でデータを転送することが必要である。
　このためには、ノード間を十分高速なネットワークで接続するか、複数のデータ格納ノードを集中ストレージとして実装し、データブロックをデータ格納ノード間で共有し、データ処理ノードと集中ストレージの間を高速なＳＡＮで接続するか、又は、データ格納ノード間のデータ転送を内部通信バス等により高速化することが考えられる。
　本実施の形態では、データ処理ノードと高速ネットワークで接続しているか、データ処理ノードと同一の計算機として構成されているデータ格納ノードに、タスク実行の前に、予めタスクの実行に使用するデータブロックを配置しておく場合を例に、以下の実施方法を説明する。
　図１０は、図１で示した分散データベースシステムにおいて、データ処理ノード１１１のデータ処理性能に応じて、データ格納ノード１１５～１１８に配置するデータ量を調整する機能を詳細に示した図である。
　図１０では、図１における説明と同様に、図示しないが、各ノードがネットワークで接続されている。クライアントノード１０１においてアプリケーション実行部１０２Ａが実行されると、分散データベースシステムに対してデータ処理命令が発行される。
　ジョブ管理ノード１０３は、データ処理命令解釈部１００１がアプリケーション実行部１０２Ａによって発行されたデータ処理命令を解釈し、ジョブ構成部１００２が分散データベースシステムにおいて実行可能なジョブを構成する。
　タスク生成部１００３は、このように構成されたジョブに対応付けて、１つ以上のデータ処理ノード１１１～１１４のいずれかのデータ処理ノードに分散配置して実行される、データ処理プログラムの単位としてのタスクを生成する。
　ジョブ発行部１００４は、リソース管理ノード１０４に対して、このリソース管理ノード１０４によって管理されているデータ処理ノード１１１～１１４のうちから必要なリソースを要求し、当該要求に応じて割り当てられた特定のデータ処理ノードに対してジョブ、及びジョブの構成要素であるタスクを発行する。
　リソース管理ノード１０４では、ジョブ管理部１００５が、発行された１つ以上のジョブを、優先度、発行順及び／又は計算リソース占有率等の条件に従ってスケジューリングし、割り当てられた特定のデータ処理ノードにおいて実行する。
　リソース管理部１００６は、分散データベースシステムに含まれるデータ処理ノード１１１～１１４上における計算デバイス及びメモリ等のリソース要素を管理する。
　タスク実行判定部１００７は、タスク生成部１００３によって生成されたタスクの負荷、性能要件等を解釈し、データ処理ノード１１１～１１４の計算デバイス等のリソース毎のタスク実行性能を計算する。
　タスク分配部１００８は、タスク実行判定部１００７で判定されたタスク実行性能に基づいて、各データ処理ノード１１１～１１４にタスクを分配する。
　データ管理ノード１０５は、アプリケーション実行部１０２Ａが処理する対象のデータソースを分散データベースシステムに分散配置する。
　データ入力部１００９は、データソースからデータを取り込み、必要に応じて分散処理に適したフォーマットに変換する。ブロック分割部１０１０は、データソースのデータを、予め設定したブロックサイズに分割する。
　データ配置部１０１１は、データブロックを、データ処理ノード１１１～１１４のデータ処理性能に応じたデータ量毎に各データ処理ノードとペアリングされているデータ格納ノード１１５～１１８のストレージ部１１９に格納する。
　ブロック管理部１０１６は、データ格納ノードに格納されたデータブロックに対する、データ処理ノード１１１～１１４で実行されるタスクからのアクセスを管理する。
　データ処理ノード１１１～１１４のタスク管理部１０１２は、データ処理ノード１１１～１１４に配置されたタスクの実行順を管理するとともに、実行する計算デバイスへのタスク割り当てを管理する。
　デバイス選択部１０１３は、配置されたタスクを、ＣＰＵ、ＦＰＧＡ、ＧＰＵ及びＡＳＩＣ等のどの計算デバイスで実行するかについて、タスク実行判定部において判定した計算デバイス毎のタスク実行性能に基づいて選択する。
　論理データ生成部１０１４は、選択した計算デバイスでタスクを実行した時のタスク実行性能に基づいて、該タスクが処理するデータ量を決定し、該データ量に応じた論理データパーティションを生成し、生成したパーティションのサイズに対応した数量のデータブロックを割り当てる。
　タスク実行部１０１５は、データ処理ノードに配置されたタスクを、当該タスクを実行するものとして選択された計算デバイスを用いて実行し、該タスクに対応づけられたパーティションに割り当てられたデータブロックを処理する。
　図１１は、データ処理ノード１１０５に配置されたタスクの命令を解釈し、タスクが実行するデータブロックの数量を決定して、データ処理ノード１１０５がアクセスするデータ格納ノード１１１６に配置する流れを示す図である。
　図１１に示す例では、分散データベースシステムにおいて実行するべく構成されたジョブとして、ジョブ１（図示の符号１１０１に相当）を例示している。このジョブ１は、タスク１．１（図示の符号１１０２に相当）、タスク１．２（図示の符号１１０３に相当）、タスク１．３（図示の符号１１０４に相当）を構成要素として保持する。また、本実施の形態においては、説明のために、データ処理ノードおよびデータ格納ノードが、それぞれ３台ずつの例を示しているが、データ処理ノードおよびデータ格納ノードの台数は、３台に限定されるものではない。
　図１０に示すタスク実行判定部１００７では、タスク負荷判定部１１１１において、タスク１．１、タスク１．２、タスク１．３の命令（Ｏｐ１～Ｏｐ６）を解釈し、各タスクを実行した時の計算量等の処理負荷を判定する。
　リソース管理部１００６のリソース性能判定部１１１２は、データ処理ノード１１０５～１１０７が有するＣＰＵ１１０９及びＦＰＧＡ１１１０等のような計算デバイスの動作周波数、並列実行数、メモリ帯域等のデータ処理性能情報に基づいて各計算デバイスのデータ処理性能を判定する。
　タスク実行性能計算部１１１３は、タスク負荷判定部１１１１によって判定された各タスクの処理負荷と、リソース性能判定部１１１２によって判定された各計算デバイスの性能に基づいて、各計算デバイスで各タスクを実行した時のタスク実行性能を計算する。
　デバイス選択部１０１３は、計算されたタスク実行性能に基づいて、各タスクを最短時間で実行可能等、当該タスクの実行に最適なデバイスを選択する。
　データ配分計算部１１１４は、選択されたデバイスを用いてタスクを実行した時のタスク実行性能に基づいて、各データ処理ノード１１０５～１１０７におけるタスク実行時間を平準化するように、タスク毎のデータ処理量を決定し、該決定されたデータ処理量に応じて論理データ生成部１０１４においてタスク毎のパーティション１１２０～１１２４を作成する。
　データ配分部１１１５は、データ格納ノード１１１６～１１１８毎に、各データ格納ノードとペアリングされているデータ処理ノードが処理するデータ量に応じた数量のデータブロックを格納する。
　パーティション１１２０～１１２４には、そのデータ量に対応した数量のデータブロック１１２５～１１２９が、データ格納ノード１１１６～１１１９から割り当てられる。
　図１２は、本実施の形態によるリソース管理方法の一例を示す。より具体的には、図示の例では、計算デバイスのタスク実行性能に基づいてデータ配分を調整してタスクを実行するデータ配分処理を示している。
　データ処理が開始されると、クライアントノード１０１において、アプリケーション実行部１０２Ａがデータ処理命令の実行を要求する（ステップＳ１２０１）。
　ジョブ管理ノード１０３では、アプリケーション実行部１０２Ａが発行したデータ処理命令に基づき、分散データベースシステムでデータ処理命令を実行するジョブ構成を決定する（ステップＳ１２０２）。
　ジョブ管理ノード１０３では、決定されたジョブの構成に基づいて、各データ処理ノードで分散実行するタスクを生成し（ステップＳ１２０３）、リソース管理ノード１０４に対し、このタスクを実行するリソースを有するデータ処理ノードの使用を要求する（ステップＳ１２０４）。
　ジョブ管理ノード１０３は、各データ処理ノードが有する計算デバイスの性能に基づいて、生成されたタスクのノード毎の実行性能を計算する（ステップＳ１２０５）。
　さらにジョブ管理ノード１０３は、各タスクの各データ処理ノードにおける実行性能に基づいて、各タスクを実行する計算デバイスを選択する（ステップＳ１２０６）。
　ジョブ管理ノード１０３は、これらに基づいて、各タスクを実行する計算デバイス毎に、ノード間の実行時間が概ね等しくなる処理データ量を決定する（ステップＳ１２０７）。
　リソース管理ノード１０４は、このように決定した処理データ量に基づいて、タスクによって処理される論理データとしてのパーティションを生成する（ステップＳ１２０８）。
　データ管理ノード１０５は、各タスクが処理するデータ量に基づいて、各データ処理ノードとペアリングした各データ格納ノードに、データ処理ノードが処理するデータ量に対応する数量のデータブロックを配置する（ステップＳ１２０９）。
　データ管理ノード１０５は、各タスクに対応づけた各パーティションに、パーティションに設定したデータ量に応じた数量のデータブロックを割り当てる（ステップＳ１２１０）。
　各データ管理ノード１０５は、タスクを実行し、このタスクに対応づけたパーティションに割り当てられたデータを処理する（ステップＳ１２１１）。各データ管理ノード１０５は、タスクの実行が完了したら、次の計算ステージのタスクが存在するかを判定し、まだ次に実行すべきタスクが存在する場合（ステップＳ１２１２）は、ステップＳ１２０５に戻って処理を反復する。データ管理ノード１０５は、次の計算ステージのタスクが存在しない場合は、実行すべき他のジョブが存在するかを判定する。
　データ管理ノード１０５は、次に実行すべきジョブが存在する場合は、ステップＳ１２０３に戻って処理を反復する。データ管理ノード１０５は、処理すべき他のジョブが存在しない場合（ステップＳ１２１３）、処理を終了する。
　図１３は、図１１のタスク負荷判定部１１１１において判定された各タスクの処理負荷に基づいた実行時間の一例を示す。ここでは、図１１の例に従って、ジョブ１にタスク１．１、タスク１．２、タスク１．３の３つのタスクが構成要素として含まれるものとする。また、本実施の形態による分散データベースシステムで実行される複数のジョブは、それぞれの間に依存関係を持たず独立であるとし、各データ処理ノード１１０５～１１０７に搭載されている計算デバイスもそれぞれ独立に実行可能であるとする。さらに、同一ジョブ内の異なる種類のタスクは並列実行不可であり、タスク１．１、タスク１．２、タスク１．３の順番に、前のタスク完了後に次のタスクの実行を開始できるものとする。
　このとき、図１３に示す表では、タスク１．１で１００ＧＢのデータを処理した場合における処理負荷は、ＣＰＵで実行したときに、１コアあたり、動作周波数１ＧＨzあたり１０００ｍｓの実行時間が掛かるとする。また、タスク１．１をＦＰＧＡで処理した場合には１ｍｓの実行時間であるとする一方、ＧＰＵで実行した場合は１０ｍｓの実行時間であるとする。タスク１．２及びタスク１．３については、表に示す通りである。
　ただし、タスク１．２は、タスクの処理の性質上ＧＰＵで実行することができないものとした。タスク１．３は、ＦＰＧＡで実行することができないものとした。なお、これらの数値は、タスクプログラムの処理内容から性能モデルを生成し、該生成モデルに基づいて推定しても良いし、実際に特定の計算デバイスで予め実行しておいた結果から換算することも可能である。
　図１４は、図１１等で示したデータ処理ノード１１０５～１１０７に搭載された計算デバイスの構成例である。例えば、ノード１には、２０コアのＣＰＵ（動作周波数：４ＧＨｚ）と、ＦＰＧＡ及びＧＰＵが１台ずつ搭載されていることを示している。
　図１５は、図１３及び図１４に基づいて、図１１のタスク実行性能計算部１１１３において、計算デバイス毎のタスク実行時間を計算した結果の一例を示す。
　例えば、ノード１のＣＰＵでタスク１．１を実行した場合の実行時間Ｔｉｍｅは、以下のように計算される。
　Ｔｉｍｅ（タスク１．１、ノード１、ＣＰＵ）＝１０００／２０／４＝１２．５ｍｓ
　例えば、ノード１のＦＰＧＡ又はＧＰＵでタスク１．１を実行した場合の実行時間Ｔｉｍｅも同様に以下のように計算することができる。
　Ｔｉｍｅ（タスク１．１、ノード１、ＦＰＧＡ）＝１ｍｓ
　Ｔｉｍｅ（タスク１．１、ノード１、ＧＰＵ）＝５ｍｓ
　以上より、ノード１でタスク１．１を実行する場合は、ＦＰＧＡを使用した場合に最も短い実行時間で処理が完了するため、計算デバイスとしてＦＰＧＡを選択する。なお、ノード２及びノード３の場合は図１５に示す通りである。
　図１６は、各ノードでタスク毎に最適な計算デバイスを選択した場合のタスク実行時間を示した一例である。実行時間は、図１５の説明で示した方法に基づいて計算する。１００ＧＢのデータを処理する場合、ノード１では、タスク１．１の実行時間は、ＦＰＧＡを使用することにより１ｍｓ、タスク１．２ではＣＰＵを使用し６．２５ｍｓ、タスク１．３ではＣＰＵを使用し５ｍｓとなる。ノード２、ノード３についても同様に表に示す。
　図１７は、図１６の実行時間の比較を、データ処理性能（ＴＢ/s）を用いて示す。図１８は、データソースとして１ＴＢ（テラバイト）のデータを３台のデータ処理ノードで処理する場合に、本実施の形態によるリソース管理方法を用いてノード毎の実行時間を平準化するデータ配分量を示す。
　例えば、タスク１．１では、ノード１、ノード２、ノード３における計算性能比が、図１７より、１０対２対０．２となっている。そこで、この比率で１ＴＢ＝１０２４ＧＢのデータを配分すると、ノード１では、
データ配分量（ノード１）＝　１０２４ｘ１０／（１０＋２＋０．２）＝８３９ＧＢ
となる。
　同様にノード２には１６８ＧＢ、ノード３には１７ＧＢを割り当てることにより、タスク１．１は、全てのノードで同じ実行時間で処理を完了する。タスク１．２、タスク１．３については、図１８の表の通りである。
　図１９は、本実施の形態によるリソース管理処理により、データ処理ノードの計算性能に応じてデータ配分を調整した場合の効果を示す。
　図１９（Ａ）は、データ配分の調整を行わず、全てのデータ処理ノードに３３３ＧＢずつ均等に配分した場合の各タスクの実行時間を示している。
　タスク１、１、タスク１．２、タスク１．３は、それぞれ前のタスクが完了してから次のタスクの実行を開始する条件であるため、各タスクにおいて、ノード１やノード２では処理が早期に完了しているにも関わらず、ノード３の処理が完了するまで待機することになり、システム全体の処理時間は、ノード３の実行性能で律速している。
　これに対し、図１９（Ｂ）では、タスク毎に、図１８の表に記載したデータ配分を行うことで、タスク毎の実行時間がノード間で平準化され、待機時間が無くなり、システム全対の実行時間が大幅に短縮される。
　図１９（Ｃ）は、タスク毎にデータ配分を最適化するのではなく、タスク１．１、１．２、１．３のノード毎の実行性能の幾何平均（図１７の表における幾何平均欄に記載）に基づいてデータを配分（図１８の表における幾何平均欄に記載）した場合である。
　この場合は、実行するタスクによらず同じデータ配分を用いる。Ｈａｄｏｏｐ（登録商標）の分散ファイルシステムであるＨＤＦＳのデータ配分機能等を用いてデータを配分する場合、データ格納ノードへのデータ転送が発生するため、タスク実行の度にデータ配分を行うと、データ転送のオーバーヘッド時間が全体の実行時間に影響を与える可能性がある。
　そこで本実施の形態では、データ転送のオーバーヘッドの影響が大きい場合には、実行する複数のタスクに対し準最適なデータ配分を予め行うことにより、タスク実行時のデータ転送オーバーヘッドの影響を回避しても良い。
　図１９（Ｃ）では、タスク毎に多少の待機時間が生じているが、システム全体の実行時間は、データを均等配置した場合（Ａ）に比べ、十分短くなっている。
　本実施の形態では、データ配分比として、タスク実行性能の幾何平均を用いたが、配分比を決定する方法は幾何平均に限定されるものではなく、例えば、算術平均、調和平均等、タスクの性質に応じて最適な計算方法を選択することが可能である。
　本実施の形態による分散データベースシステムでは、そのリソース管理方法として、ここまで、データ処理ノードが備える計算デバイスを用いてタスクを実行した際における、タスク実行性能に応じてタスクが処理するデータ量を配分する方法を開示したが、このようにタスク実行性能に応じてデータ量を配分する代わりに、予め配分されたデータ量に応じてタスクの実行性能を調整するようにしても良い。
　例えば、特定のタスクを実行する際に、高い動作周波数を持つＣＰＵ、又は、コア数の多いＣＰＵを有するノードでタスクを実行する場合に、該ノードにおけるタスク実行時間が他のノードより短くなり、当該ノードに待機時間が生じてしまうときは、動作周波数を下げたり、使用するコア数を制限する等により、システム全体の実行時間を平準化し、かつ特定のノードの消費電力を削減したり、データベースソフトのライセンス費を削減することが可能である。
　また、計算デバイスとしてＦＰＧＡを使用する場合も、対象タスクを実行する論理回路の並列度を落としたり、論理回路規模を削減する等により、タスク実行性能を、他のＦＰＧＡ非搭載データ処理ノードと平準化しながら、消費電力を削減したり、他の処理を実行する論理を追加する等により機能性を向上することが考えられる。
　本実施の形態では、計算能力としてタスク実行時間を評価尺度とする例について記載したが、例えば、タスク実行時のデータ転送量やネットワーク負荷、メモリ使用量等の性能指標や、タスク実行に伴う電力消費量や、計算リソース使用料金等を評価尺度として、ジョブ実行を最適化しても良い。
　（２）本実施の形態の効果等
　以上説明したように、上記実施の形態における分散データベースシステムでは、最適な複数の計算デバイスを用いてタスクを実行する時に、タスクの処理命令によって処理されるデータのデータ量を、最適な複数の計算デバイスの計算能力の違いに応じて最適な複数の計算デバイス間で配分し、最適な複数の計算デバイスを用いてタスクを分散して実行させている。
　このような構成によれば、各データ処理ノーゾにおける計算能力に応じて処理対象のデータのデータ量を分散できるため、システム全体でのデータの処理に掛かる実行時間を短縮することができる。
　（３）その他の実施形態
　上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、各種プログラムの処理をシーケンシャルに説明したが、特にこれにこだわるものではない。従って、処理結果に矛盾が生じない限り、処理の順序を入れ替え又は並行動作するように構成しても良い。
　本発明は、分散データベースシステムを用いたデータ分析処理におけるリソース管理方法に広く適用することができる。
　１００７……タスク実行判定部、１００８……タスク分配部、１０１１……データ配置部、１０１４……論理データ生成部、１１１１……タスク負荷判定部、１１１２……リソース性能判定部、１１１３……タスク実行性能計算部、１１１４……データ配分計算部、１１１５……データ配分部。

Claims (14)

  1. 　データを処理する１つ以上の計算デバイスを搭載する１つ以上のデータ処理ノードを備える分散データベースシステムにおいて、
    　前記データ処理ノードにおける各前記計算デバイスの計算能力の違いを判定する計算能力判定部と、
    　各前記計算デバイスの計算能力の違いに基づいて最適な計算デバイスを複数選択するデバイス選択部と、
    　前記最適な複数の計算デバイスを用いて前記タスクを実行する時に、前記タスクの処理命令によって処理される前記データのデータ量を、前記最適な複数の計算デバイスの計算能力の違いに応じて前記最適な複数の計算デバイス間で配分し、前記最適な複数の計算デバイスを用いて前記タスクを分散して実行させるタスク分配制御部と、
    　を備えることを特徴とする分散データベースシステム。
  2. 　各前記計算デバイスは、
    　前記タスクを処理するアクセラレータであることを特徴とする請求項１に記載の分散データベースシステム。
  3. 　各前記計算デバイスは、
    　ＣＰＵ、ＦＰＧＡ、ＧＰＵ及びＡＳＩＣのいずれか又はいずれかの組み合わせであることを特徴とする請求項２に記載の分散データベースシステム。
  4. 　前記タスク分配制御部は、
    　複数の前記データ処理ノードに搭載された各前記計算デバイスを用いて前記タスクを分散して実行させることを特徴とする請求項１に記載の分散データベースシステム。
  5. 　前記タスク分配制御部は、
    　１つの前記データ処理ノードに搭載された複数の前記計算デバイスを用いて前記タスクを分散して実行させることを特徴とする請求項１に記載の分散データベースシステム。
  6. 　前記計算能力判定部は、
    　前記タスクの処理命令を解釈してタスク負荷を判定するタスク負荷判定部と、
    　各前記計算デバイスのリソース性能を判定するリソース性能判定部と、
    　を備え、
    　前記タスク分配制御部は、
    　前記最適な複数の計算デバイスを用いて前記タスクを実行する時に、前記タスクの処理命令によって処理される前記データのデータ量を、前記タスク負荷及び前記リソース性能に基づくタスク実行性能の比に応じて前記最適な複数の計算デバイス間で配分し、前記最適な複数の計算デバイスを用いて前記タスクを分散して実行させることを特徴とする請求項１に記載の分散データベースシステム。
  7. 　前記タスク分配制御部は、
    　前記タスクによって処理される前記データのデータ量を前記タスク実行性能の比に応じて分配する際に、前記タスク実行性能の平均値に基づいて分配することを特徴とする請求項６に記載の分散データベースシステム。
  8. 　前記タスク分配制御部は、
    　前記平均値の導出に幾何平均を用いることを特徴とする請求項７に記載の分散データベースシステム。
  9. 　データを処理する１つ以上の計算デバイス、及び制御部を搭載する１つ以上のデータ処理ノードを備える分散データベースシステムにおけるリソース管理方法において、
    　前記制御部が、前記データ処理ノードにおける各前記計算デバイスの計算能力の違いを判定する計算能力判定ステップと、
    　前記制御部が、各前記計算デバイスの計算能力の違いに基づいて最適な計算デバイスを複数選択するデバイス選択ステップと、
    　前記制御部が、前記最適な複数の計算デバイスを用いて前記タスクを実行する時に、前記タスクの処理命令によって処理される前記データのデータ量を、前記最適な複数の計算デバイスの計算能力の違いに応じて前記最適な複数の計算デバイス間で配分し、前記最適な複数の計算デバイスを用いて前記タスクを分散して実行させるタスク分配制御ステップと、
    　を有することを特徴とする分散データベースシステムのリソース管理方法。
  10. 　前記タスク分配制御ステップでは、
    　前記制御部が、複数の前記データ処理ノードに搭載された各前記計算デバイスを用いて前記タスクを分散して実行させることを特徴とする請求項９に記載の分散データベースシステムのリソース管理方法。
  11. 　前記タスク分配制御ステップでは、
    　前記制御部が、１つの前記データ処理ノードに搭載された複数の前記計算デバイスを用いて前記タスクを分散して実行させることを特徴とする請求項９に記載の分散データベースシステムのリソース管理方法。
  12. 　前記計算能力判定ステップでは、
    　前記制御部が、前記タスクの処理命令を解釈してタスク負荷を判定するタスク負荷判定ステップと、
    　前記制御部が、各前記計算デバイスのリソース性能を判定するリソース性能判定ステップと、
    　を含み、
    　前記タスク分配制御ステップでは、
    　前記制御部が、前記最適な複数の計算デバイスを用いて前記タスクを実行する時に、前記タスクの処理命令によって処理される前記データのデータ量を、前記タスク負荷及び前記リソース性能に基づくタスク実行性能の比に応じて前記最適な複数の計算デバイス間で配分し、前記最適な複数の計算デバイスを用いて前記タスクを分散して実行させる
    　ことを特徴とする請求項９に記載の分散データベースシステムのリソース管理方法。
  13. 　前記タスク分配制御ステップでは、
    　前記制御部が、前記タスクによって処理される前記データのデータ量を前記タスク実行性能の比に応じて分配する際に、前記タスク実行性能の平均値に基づいて分配することを特徴とする請求項１２に記載の分散データベースシステムのリソース管理方法。
  14. 　前記タスク分配制御ステップでは、
    　前記制御部が、前記平均値の導出に幾何平均を用いることを特徴とする請求項１３に記載の分散データベースシステムのリソース管理方法。
PCT/JP2017/007799 2017-02-28 2017-02-28 分散データベースシステム及び分散データベースシステムのリソース管理方法 WO2018158819A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019502321A JP6753999B2 (ja) 2017-02-28 2017-02-28 分散データベースシステム及び分散データベースシステムのリソース管理方法
PCT/JP2017/007799 WO2018158819A1 (ja) 2017-02-28 2017-02-28 分散データベースシステム及び分散データベースシステムのリソース管理方法
US16/333,727 US10936377B2 (en) 2017-02-28 2017-02-28 Distributed database system and resource management method for distributed database system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007799 WO2018158819A1 (ja) 2017-02-28 2017-02-28 分散データベースシステム及び分散データベースシステムのリソース管理方法

Publications (1)

Publication Number Publication Date
WO2018158819A1 true WO2018158819A1 (ja) 2018-09-07

Family

ID=63370395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007799 WO2018158819A1 (ja) 2017-02-28 2017-02-28 分散データベースシステム及び分散データベースシステムのリソース管理方法

Country Status (3)

Country Link
US (1) US10936377B2 (ja)
JP (1) JP6753999B2 (ja)
WO (1) WO2018158819A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220086449A (ko) * 2020-12-16 2022-06-23 한국과학기술원 스케줄링 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7305990B2 (ja) * 2019-03-12 2023-07-11 富士通株式会社 転送プログラム、転送方法、および情報処理装置
US11675515B2 (en) * 2021-02-17 2023-06-13 Bank Of America Corporation Intelligent partitioning engine for cluster computing
CN115061825B (zh) * 2022-08-09 2022-11-18 深圳致星科技有限公司 隐私计算、隐私数据和联邦学习的异构计算系统及方法
CN115268800B (zh) * 2022-09-29 2022-12-20 四川汉唐云分布式存储技术有限公司 基于计算路由重定向的数据处理方法及数据存储系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122758A (ja) * 2008-11-17 2010-06-03 Fujitsu Ltd ジョブ管理装置、ジョブ管理方法およびジョブ管理プログラム
JP2013186770A (ja) * 2012-03-09 2013-09-19 Hitachi Ltd データ処理装置
US20140245298A1 (en) * 2013-02-27 2014-08-28 Vmware, Inc. Adaptive Task Scheduling of Hadoop in a Virtualized Environment
JP2016532183A (ja) * 2013-10-03 2016-10-13 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ソフトウェアプログラムの計算ブロックをマルチプロセッサシステムのコアに割り当てるための方法及びシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09259091A (ja) * 1996-03-22 1997-10-03 Nec Corp トランザクション処理のホスト負荷分散方式
JPH09265459A (ja) * 1996-03-28 1997-10-07 Mitsubishi Electric Corp データ処理装置の制御方法
US7054934B2 (en) * 2001-10-26 2006-05-30 Hewlett-Packard Development Company, L.P. Tailorable optimization using model descriptions of services and servers in a computing environment
US8301742B2 (en) * 2008-04-07 2012-10-30 International Business Machines Corporation Systems and methods for coordinated management of power usage and runtime performance in performance-managed computing environments
US7979426B2 (en) * 2008-06-05 2011-07-12 Samsung Electronics Co., Ltd. Clustering-based interest computation
US8122269B2 (en) * 2009-01-07 2012-02-21 International Business Machines Corporation Regulating power consumption in a multi-core processor by dynamically distributing power and processing requests by a managing core to a configuration of processing cores
US8874961B2 (en) * 2010-03-22 2014-10-28 Infosys Limited Method and system for automatic failover of distributed query processing using distributed shared memory
US9244737B2 (en) 2011-02-04 2016-01-26 Hitachi, Ltd. Data transfer control method of parallel distributed processing system, parallel distributed processing system, and recording medium
JP2014215764A (ja) 2013-04-24 2014-11-17 日本電信電話株式会社 設定値生成装置、分散処理装置、設定値生成方法、および、設定値生成プログラム
EP3063708A2 (en) * 2013-10-28 2016-09-07 Intel Corporation Methods, systems and computer program products for using a distributed associative memory base to determine data correlations and convergence therein
WO2017013758A1 (ja) * 2015-07-22 2017-01-26 株式会社日立製作所 データベース検索システム及びデータベース検索方法
US9900378B2 (en) * 2016-02-01 2018-02-20 Sas Institute Inc. Node device function and cache aware task assignment
US10649996B2 (en) * 2016-12-09 2020-05-12 Futurewei Technologies, Inc. Dynamic computation node grouping with cost based optimization for massively parallel processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122758A (ja) * 2008-11-17 2010-06-03 Fujitsu Ltd ジョブ管理装置、ジョブ管理方法およびジョブ管理プログラム
JP2013186770A (ja) * 2012-03-09 2013-09-19 Hitachi Ltd データ処理装置
US20140245298A1 (en) * 2013-02-27 2014-08-28 Vmware, Inc. Adaptive Task Scheduling of Hadoop in a Virtualized Environment
JP2016532183A (ja) * 2013-10-03 2016-10-13 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ソフトウェアプログラムの計算ブロックをマルチプロセッサシステムのコアに割り当てるための方法及びシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220086449A (ko) * 2020-12-16 2022-06-23 한국과학기술원 스케줄링 방법 및 장치
KR102559658B1 (ko) 2020-12-16 2023-07-26 한국과학기술원 스케줄링 방법 및 장치

Also Published As

Publication number Publication date
US20190272201A1 (en) 2019-09-05
JPWO2018158819A1 (ja) 2019-06-27
JP6753999B2 (ja) 2020-09-09
US10936377B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
WO2018158819A1 (ja) 分散データベースシステム及び分散データベースシステムのリソース管理方法
Chowdhury et al. Implementation and performance analysis of various VM placement strategies in CloudSim
US9916183B2 (en) Scheduling mapreduce jobs in a cluster of dynamically available servers
EP3254196B1 (en) Method and system for multi-tenant resource distribution
US10715587B2 (en) System and method for load balancing computer resources
US9501325B2 (en) System and method for shared utilization of virtualized computing resources
Piao et al. A network-aware virtual machine placement and migration approach in cloud computing
EP3274859B1 (en) Cluster computing service assurance apparatus and method
US20230136661A1 (en) Task scheduling for machine-learning workloads
KR101656706B1 (ko) 고성능 컴퓨팅 환경에서의 작업 분배 시스템 및 방법
CN104518897A (zh) 虚拟防火墙的资源管理优化处理方法和装置
Acharya et al. Docker container orchestration management: A review
CN107528871B (zh) 存储系统中的数据分析
US20210390405A1 (en) Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof
Pandya et al. Dynamic resource allocation techniques in cloud computing
US9584594B2 (en) Dynamic provisioning of processing resources in a virtualized computational architecture
KR20140044597A (ko) 태스크 처리 장치 및 방법
Heidari et al. A cost-efficient auto-scaling algorithm for large-scale graph processing in cloud environments with heterogeneous resources
Yan et al. Affinity-aware virtual cluster optimization for mapreduce applications
KR20140125893A (ko) 가상화된 매니코어 서버의 작업분배 시스템과 그 방법 및 기록매체
Kyi et al. An efficient approach for virtual machines scheduling on a private cloud environment
KR101639947B1 (ko) 하둡 선점 데드라인 제약 스케줄링 방법 및 그 방법을 수행하는 컴퓨터프로그램과, 그 프로그램이 기록된 매체
Peng et al. BQueue: A coarse-grained bucket QoS scheduler
Patel et al. Implementation of Load balancing in Cloud computing through Round Robin & Priority using cloudSim
Gu et al. Elastic model aggregation with parameter service

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898694

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019502321

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898694

Country of ref document: EP

Kind code of ref document: A1