WO2017130377A1 - 計算機システム、及び、データ処理方法 - Google Patents

計算機システム、及び、データ処理方法 Download PDF

Info

Publication number
WO2017130377A1
WO2017130377A1 PCT/JP2016/052642 JP2016052642W WO2017130377A1 WO 2017130377 A1 WO2017130377 A1 WO 2017130377A1 JP 2016052642 W JP2016052642 W JP 2016052642W WO 2017130377 A1 WO2017130377 A1 WO 2017130377A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
upper limit
key range
data amount
message
Prior art date
Application number
PCT/JP2016/052642
Other languages
English (en)
French (fr)
Inventor
裕太朗 加藤
鈴木　隆志
敏之 長谷川
展之 山本
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2016/052642 priority Critical patent/WO2017130377A1/ja
Priority to JP2017544685A priority patent/JP6360634B2/ja
Priority to US15/561,214 priority patent/US10719496B2/en
Publication of WO2017130377A1 publication Critical patent/WO2017130377A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries

Definitions

  • the present invention generally relates to a distributed database composed of a plurality of computers.
  • RDBMS Relational DataBase Management System
  • the data is divided into predetermined ranges (for example, key ranges, etc.), and the divided data is arranged on multiple servers, thereby improving the access performance of the entire system.
  • the method is known.
  • KVS Key Value Store
  • a volatile storage medium capable of accessing data at high speed for example, a configuration for storing data in a memory (memory store), a non-volatile recording medium having excellent data storage durability, for example, SSD (Solid State Disk) ) And HDD, etc., various configurations such as a configuration for storing data (disk store) or a configuration in which the above-described configuration is used together.
  • the in-memory type KVS realizes high-speed data access compared to the disk type KVS, but has some drawbacks.
  • the amount of data that can be stored is smaller than that of a disk-type KVS because the memory capacity that can be mounted on one server is smaller than that of an SSD or HDD.
  • the memory is a volatile recording medium, the data on the memory disappears when the server is stopped due to some kind of failure.
  • a system that overcomes the above drawbacks is an in-memory distributed KVS (hereinafter, distributed KVS).
  • the distributed KVS is a KVS configured by configuring a cluster from a plurality of servers and on a memory of a server included in the cluster.
  • a memory capacity that cannot be held by one server can be secured.
  • the same data is duplicated between a plurality of servers, so that even if some servers are stopped, the disappearance of the data can be avoided.
  • Each server constituting the distributed KVS is in charge of a range that does not overlap with other servers, and stores a set of data (hereinafter referred to as a partition) included in the range. Furthermore, each server stores a copy of the partition managed by the other server.
  • the distributed KVS there is no single point of failure because no special server such as a management server exists or is multiplexed. In other words, even if a failure occurs in an arbitrary server, the processing can be continued based on the replicated partition of the other server, and the computer system does not stop. Therefore, the distributed KVS also ensures fault tolerance.
  • a scale-out of adding a new server to the cluster as one of the countermeasures when the load on the server increases or the amount of data that can be stored disappears due to an increase in the amount of data stored in the distributed KVS.
  • a process for changing the range that the server is in charge of hereinafter referred to as rebalancing process
  • rebalance processing is also performed when data bias is eliminated as one of the countermeasures when the system throughput decreases due to the data being biased to only some servers.
  • Patent Document 1 As described above, the techniques described in Patent Documents 1 and 2 are known for the rebalancing process.
  • Patent Document 1 a new partition after rebalancing is prepared for the existing range and the existing partition corresponding to the existing range, data is copied from the existing partition to the new partition, and the existing range and the corresponding existing partition are copied after the copying is completed. It is described that a rebalance process can be realized by performing a process of switching access from a partition to a new range and a corresponding new partition.
  • an object of the present invention is to improve the ease of operation and reliability of the distributed KVS. Other objects will become apparent in the description of the examples.
  • a computer system includes a plurality of computer devices, the plurality of computer devices include a processor and a memory, and executes a plurality of nodes for configuring a distributed KVS, and the plurality of nodes include manageable data.
  • the upper limit data amount of the new key range and the upper limit data amount of the existing key range The upper limit data amount of the existing key range is reduced so that the sum of the above and the maximum amount that is based on the memory capacity of the computer device does not exceed the maximum amount.
  • the operability and reliability of the computer system constituting the distributed KVS can be improved.
  • the figure which shows the structural example of the computer system which concerns on a present Example The figure which shows the structural example of a computer apparatus.
  • summary of a rebalance process The figure which shows the example of state transition information.
  • the figure which shows the example of process control information The figure which shows the example of resource information.
  • the flowchart which shows the process example of the numbering part of a configuration management process.
  • the flowchart which shows the process example of the process number control part of a range process.
  • the flowchart which shows the process example of the state control part of a range process.
  • the flowchart which shows the process example of the message
  • the flowchart which shows the process example of the resource check part of a range process.
  • the figure for demonstrating the example of a rebalance process The figure for demonstrating the example of a rebalance process.
  • the figure for demonstrating the example of a rebalance process The figure for demonstrating the example of a rebalance process.
  • the figure for demonstrating the example of a rebalance process The figure for demonstrating the example of a rebalance process.
  • the figure for demonstrating the example of a rebalance process The figure for demonstrating the example of a rebalance process.
  • the figure for demonstrating the example of a rebalance process The figure for demonstrating the example of a rebalance process. The figure for demonstrating the example of a rebalance process. The figure for demonstrating the example of a rebalance process. The figure for demonstrating the example of a rebalance process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a scale-out process. The figure for demonstrating the example of a
  • the figure for demonstrating the example of a scale-in process The figure for demonstrating the example of a scale-in process. The figure for demonstrating the example of a scale-in process. The figure for demonstrating the example of a scale-in process. The figure for demonstrating the example of a scale-in process. The figure for demonstrating the example of a scale-in process. The figure for demonstrating the example of a scale-in process. The figure for demonstrating the example of a scale-in process. The figure for demonstrating the example of prevention of double implementation of a message
  • telegram in a rebalance process The figure for demonstrating the example of prevention of double implementation of a message
  • telegram in a rebalance process The figure for demonstrating the example of prevention of double implementation of a message
  • telegram in a rebalance process The figure for demonstrating the example of prevention of double implementation of a message
  • FIG. 1 shows a configuration example of a computer system according to this embodiment.
  • the computer system 1 includes a rebalance device 20, a scale-in device 22, a scale-out device 24, an alive monitoring device 30, a client device 40, and a plurality of computer devices 10, which are bidirectional via a network 50. It is connected so that it can communicate.
  • the plurality of computer apparatuses 10 have a plurality of nodes 110 (see FIG. 2), and the plurality of nodes 110 cooperate to configure a distributed KVS.
  • Each node 110 manages a key range (sometimes simply referred to as “range”) indicating a part of the entire key range. In order to improve fault tolerance, multiple nodes 110 may manage the same key range.
  • the plurality of computer apparatuses 10 may be referred to as “computer clusters”.
  • the rebalancing device 20 changes the key range so that the data amount held by each key range is equalized when the data amount held by each key range is biased (referred to as “rebalance processing”). ).
  • the scale-in device 22 is a device that performs processing for deleting at least one node 110 from the plurality of nodes 110 (referred to as “scale-in processing”).
  • the scale-out device 24 is a device that performs processing for adding at least one node 110 to a plurality of nodes 110 (referred to as “scale-out processing”).
  • the rebalance device 20, the scale-in device 22, and the scale-out device 24 may be one device.
  • the life and death monitoring device 30 is a device that monitors the life and death of each device. For example, the alive monitoring device 30 periodically transmits a PING to each device, and if a response is not returned within the first time (timeout), it is determined that the device is stopped. You can do it. Then, the alive monitoring device 30 may instruct the standby device corresponding to the device determined to be stopped to take over the processing.
  • the client device 40 uses a distributed KVS configured by a plurality of computer devices 10. For example, the client device 40 can request the computer cluster to write, read, and delete data.
  • the computer cluster that has received the data write request may calculate a key from the data and write the key and data to the node 110 that manages the range including the key.
  • the computer cluster that has received the data acquisition request may calculate a key from the data, read the data corresponding to the key from the node 110 that manages the range including the key, and return the data to the client device 40. The same applies to deletion.
  • FIG. 2 shows a configuration example of the computer apparatus 10.
  • the computer apparatus 10 includes a processor 102, a main storage device 104, an auxiliary storage device 103, and a network I / F device 101.
  • the processor 102 executes a program stored in the main storage device 104.
  • the auxiliary storage device 103 stores various information. Examples of the auxiliary storage device 103 are an HDD, an SSD, and the like.
  • the network I / F device 101 is a device for the computer apparatus 10 to communicate with other apparatuses via the network 50. An example of the network I / F device 101 is an Ethernet card or the like.
  • the main storage device 104 stores a program executed by the processor 102 and information necessary for executing the program. Examples of the main storage device 102 are SRAM, DRAM, and the like. In this embodiment, a distributed KVS is constructed in the main storage device 104, but a disk store (not shown) for constructing a distributed KVS in the auxiliary storage device 103 may be constructed.
  • the main storage device 104 stores a program for realizing the node 110.
  • a single computer apparatus 10 may have a plurality of nodes 110.
  • the node 110 includes a program for realizing a configuration management process 130, a copy unit 160, and a plurality of range processes 170.
  • the configuration management process 130 may include a primitive distribution unit 131, a message saving unit 132, a message execution unit 133, a numbering unit 134, an operation issuing unit 135, and numbering information 400.
  • the range process 170 includes a primitive distribution unit 171, a process number control unit 174, a resource check unit 175, a message saving unit 172, a state control unit 176, a message execution unit 173, a data store unit 177, group information 600, resource information 500, Processing control information 700 and state transition information 800 may be included.
  • a primitive distribution unit 171 a process number control unit 174, a resource check unit 175, a message saving unit 172, a state control unit 176, a message execution unit 173, a data store unit 177, group information 600, resource information 500, Processing control information 700 and state transition information 800 may be included.
  • the range process 170 is a processing unit responsible for one range.
  • the range process 170 is a system (also called a state machine or automaton) that expresses the behavior of an object using "state” and “event”, and holds the current state inside, and event input from the outside If so, the current state is “state transitioned” to the next state in accordance with a predetermined rule.
  • KVS can be treated as a set of range processes 170 for each key.
  • the number of range processes 170 becomes enormous, which is not realistic.
  • the key data length is 4 bytes
  • the number of range processes 170 required is about 4.2 billion than the number of keys that can be expressed in 4 bytes (2 to the 32nd power).
  • the range represents a range of hash values.
  • the hash value is calculated from the key of each data, and the range process 170 in charge of the range including the calculated hash value stores the data. This method is called the consistent hashing method.
  • methods such as the Range method and the List method may be adopted.
  • the range process 170 When the distributed KVS is to be realized by the range process 170, it is necessary to cause the plurality of range processes 170 to execute the same behavior in order to maintain data consistency among the plurality of range processes 170 that replicate data. is there.
  • a set of range processes 170 that execute the same behavior to duplicate data is called a “group”.
  • the atomic distribution unit 171 In order for all the range processes 170 belonging to the group to execute the same behavior, it is necessary to input the same event to all the range processes 170 belonging to the group in the same input order. Therefore, the atomic distribution unit 171 is used to determine the order in which the event is input.
  • the atomic distribution unit 171 of the range process 170 can communicate with the atomic distribution unit 171 of the range process 170 belonging to the same group. Information about the group is stored in the group information 600. And the same message
  • telegram is delivered in the same order within a group, for example using a distributed agreement algorithm.
  • This distribution method is referred to as atomic distribution (otherwise, it may be referred to as full-order broadcast ⁇ or atomic broadcast ⁇ ).
  • the message execution unit 173 retrieves a message from the message storage unit 172, and performs various processes corresponding to the message on the data managed by the data store unit 177.
  • the various processes include, for example, data update, lowering of the upper limit data amount, raising operation of the upper limit data amount, initialization operation, and the like.
  • the configuration management process 130 performs various operations based on messages received from the alive monitoring device 20, the rebalance device 20, or the like.
  • the primitive distribution unit 131 of the configuration management process 130 can communicate with the primitive distribution unit 171 included in all the configuration management processes 130 and atomically distributes to all the configuration management processes 130.
  • the telegram saving unit 132 temporarily stores the telegrams delivered primitively by the primitive delivery unit 131 using the FIFO method.
  • the message execution unit 133 takes out a message from the message storage unit 172, and performs various processes corresponding to the message.
  • the various processes are, for example, a configuration change process and a numbering process. Details will be described later.
  • the numbering unit 134 issues a processing number. Details will be described later.
  • the operation issuing unit 135 gives a processing number to the message transmitted by the message transmitting unit 211 or the message executing unit 133 of the configuration management process 130.
  • FIG. 3 shows a configuration example of the rebalancing device 20.
  • the rebalancing device 20 includes a processor 202, a main storage device 204, an auxiliary storage device 203, and a network I / F device 201.
  • the processor 202 executes a program stored in the main storage device 204.
  • the auxiliary storage device 203 stores various information. Examples of the auxiliary storage device 203 are an HDD, an SSD, and the like.
  • the network I / F device 201 is a device for the rebalance device 20 to communicate with other devices via the network 50. An example of the network I / F device 201 is an Ethernet card or the like.
  • the main storage device 204 stores a program executed by the processor 202 and information necessary for executing the program. Examples of the main storage device 204 are SRAM, DRAM, and the like.
  • the main storage device 204 may store programs for realizing the functions of the configuration information management unit 214, the performance monitoring unit 215, the message transmission unit 211, the numbering unit 213, and the operation issuing unit 212.
  • the configuration information management unit 214 manages configuration information related to the configuration of the node 110 and the range process 170 included in the node 110.
  • the performance monitoring unit 215 periodically collects performance indexes of each group. Then, the performance monitoring unit 215 determines whether or not the performance index is biased between groups based on the collection result. If the performance monitoring unit 215 determines that a bias has occurred, the performance monitoring unit 215 causes the message transmission unit 211 to transmit a message related to the rebalancing process.
  • the message transmission unit 211 transmits a message to the computer cluster in order to perform the rebalancing process.
  • These messages may be, for example, an initialization message, an upper limit data amount increase message, an upper limit lower message, an initialization message, and a message for operating the range process 170.
  • the operation of the range process 170 includes, for example, an empty range creation operation, a range division operation, a range copy operation, and a range merge operation. Details will be described later.
  • the numbering message is a message that requests the computer cluster to assign a processing number.
  • the numbering message may be issued by a numbering unit 213 described later.
  • the upper limit data amount increase message is a message that requests the computer cluster to increase the upper limit data amount of the specified key range.
  • the upper limit data amount reduction message is a message that requests the computer cluster to reduce the upper limit data amount of the specified key range.
  • the configuration change message is a message sent when the alive monitoring device 30 detects that the node 110 is down, and is a message requesting to disconnect the down node 110 from the computer cluster.
  • the data update message is a message that requests the computer cluster to update (write, read, move, delete, etc.) the specified data.
  • the initialization message is a message that requests the computer cluster to initialize the state in the state transition information 800 prior to the start of the rebalancing process.
  • the numbering unit 213 issues a message requesting numbering to the computer cluster (“numbering message”). Then, the numbering unit 213 manages the processing number issued from the computer cluster for the numbering message.
  • this processing number and operation issuing unit 212 for example, when the active rebalancing device 20 and the standby rebalancing device 20 transmit the same message to the computer cluster due to some abnormal state, the computer cluster However, it is possible to prevent these same messages from being executed twice.
  • FIG. 4 is a diagram for explaining the outline of the rebalancing process.
  • the hash value is obtained between 1 and 2000, and all data handled by the system can be stored in the range of 1 to 2000.
  • a group A that processes data represented by a circle included in a range ⁇ of 1 to 1000
  • a group B that processes data represented by a square included in a range ⁇ of 1001 to 1700
  • the maximum data amount that each node can hold is “200 MB”
  • the upper limit data amounts of the ranges ⁇ , ⁇ , and ⁇ are each “100 MB”.
  • the load is uneven among the groups. Therefore, in order to eliminate the bias by narrowing the range of the range ⁇ and widening the range of the range ⁇ , the steps of creating the moving group, dividing the group, moving the moving group, merging the group, and deleting the moving group are performed. The rebalancing process will be described.
  • a temporarily used moving group D is created for a node including group B and responsible for an empty range having no range range. Specifically, since the node A and the node C include a range belonging to the group B, the movement group D is created in the node A and the node C.
  • a group division operation is performed, and the range B of group B and the range ⁇ of moving group D are updated. Further, when performing the group division operation, the data stored in the group B in the range that the moving group D is newly in charge of is moved from the group B to the moving group D.
  • the data handled by the movement group D is represented by diamonds in the figure.
  • the range process belonging to the moving group D held by the node C and the data held by the range process are copied to the node B, and the copied range process is It belongs to the moving group D (“copy” in the figure).
  • copying a range process belonging to a certain group to another node and belonging to the same group is called intra-group process copy processing.
  • the copied group D (range ⁇ ) data exists in the node B. That is, the sum of the upper limit data amount “100 MB” of the range ⁇ , the upper limit data amount “100 M” of the range ⁇ , and the upper limit data amount “38 MB” of the range ⁇ is the maximum data amount “200 MB” that the node B can hold. It has been exceeded. This embodiment prevents such a problem from occurring.
  • the range process belonging to the moving group D existing on the node C that becomes an obstacle in the group merging operation is deleted.
  • deleting a part of a range process belonging to a certain group may be referred to as in-group process deletion processing.
  • the group merging operation is performed as in R3, and the range ⁇ of the group A and the range ⁇ of the moving group D are updated. Further, when performing the group merging operation, the data stored in the moving group D in the range newly assigned to the group A is moved from the moving group D to the group A.
  • the range ⁇ of group A is changed from “1 to 1000” to “1 to 1500” and the range ⁇ of group B is changed from “1001 to 1700” to “1501 to 1700”.
  • the group split operation and group merge operation are realized by a process called “range update process”. Specifically, in the group division operation, the range ⁇ handled by the group B and the range ⁇ handled by the movement group D are changed from “1001 to 1700” and “NULL” to “1501 to 1700” and “1001 to 1501”. It is realized by updating to "”. Further, the group merging operation changes the range ⁇ handled by the moving group D and the range ⁇ handled by the group A from “1001 to 1501” and “1 to 1000” to “NULL” and the range “1 to 1500”. Realize by updating.
  • FIG. 5 shows an example of the state transition information 800.
  • the state transition information 800 includes information about the correspondence between the state of the range process 170 and the operations that can be executed by the range process 170 in that state.
  • FIG. 5 shows that, in the initial state, an operation for increasing the upper limit data amount (upper limit data amount increasing operation) and an operation for decreasing the upper limit data amount (upper limit data amount decreasing operation) can be executed.
  • an operation for increasing the upper limit data amount upper limit data amount increasing operation
  • an operation for decreasing the upper limit data amount upper limit data amount decreasing operation
  • FIG. 6 shows an example of the process control information 700.
  • the processing control information 700 includes the processing number (final processing number) of the message last received by the range process 170 from the rebalancing device 20 and the like, and information on the current state of the range process 170.
  • the final process number is used to prevent double execution of the same message as described above.
  • the current state of the range process 170 is used to determine the operations that the range process 170 can currently perform.
  • the value that the current state of the node 110 can take may be a value registered in the state of the node 110 in the state transition information 800.
  • FIG. 7 shows an example of resource information 500.
  • the resource information 500 includes information about the current upper limit data amount of the range and the data amount (retained data amount) currently held in the range.
  • FIG. 8 shows an example of the issue number information 400.
  • the numbering information 400 includes information on the processing number that the numbering unit 134 of the configuration management process 130 has issued to the rebalancing device 20 or the like.
  • FIG. 9 is a flowchart showing a processing example of the rebalancing device 20.
  • the rebalancing device 20 determines that rebalancing is necessary by the performance monitoring unit 215, the rebalancing device 20 performs the following processing.
  • the numbering unit 213 transmits a numbering message to the configuration management process 130.
  • the numbering unit 213 receives the processing number corresponding to the rebalancing process from the configuration management process 130 and registers it. This processing number may be given to all messages in the following rebalance processing through the operation issuing unit 212. Then, the process proceeds to S202.
  • the message transmission unit 211 transmits an initialization message to the range process 170. Then, the process proceeds to S204.
  • the message transmission unit 211 cooperates with the range process 170 to create an empty temporary range in the node 110 that manages the source range. Then, the process proceeds to S206.
  • the message transmission unit 211 transmits a message for lowering the upper limit data amount of the movement source range and the movement destination range to the range process 170. Then, the process proceeds to S208.
  • the message transmission unit 211 cooperates with the range process 170 to execute range division of the source range. For example, the operation issuing unit moves a part of the data of the movement source range to the temporary range created in S204.
  • the message transmitting unit 211 copies the temporary range to the node 110 that manages the destination range in cooperation with the range process 170. Then, the process proceeds to S212.
  • the message transmission unit 211 transmits an upper limit data amount increase message for the movement source range and the movement destination range to the range process 170. Then, this process ends.
  • FIGS. 18A to 18I and FIGS. 21A to 21H Specific examples of this processing are shown in FIGS. 18A to 18I and FIGS. 21A to 21H.
  • FIG. 10 is a flowchart showing a processing example of the scale-out device 24.
  • the scale-out device 24 performs the following processing when adding the new node 110 to the computer cluster (S300).
  • the numbering unit 213 transmits a numbering message to the configuration management process 130.
  • the numbering unit 213 receives the processing number corresponding to the scale-out processing from the configuration management process 130 and registers it. This processing number may be given to all messages in the scale-out processing below through the operation issuing unit 212. Then, the process proceeds to S304.
  • the message transmission unit 211 cooperates with the range process 170 to generate an empty destination range in the node 110 that manages the source range. Then, the process proceeds to S308.
  • the message transmission unit 211 transmits a message for lowering the upper limit data amount of the movement source range to the range process 170. Then, the process proceeds to S310.
  • the message transmission unit 211 cooperates with the range process 170 to perform range division of the source range. For example, the operation issuing unit 212 moves some data of the movement source range to the movement destination range created in S306. Then, the process proceeds to S312.
  • the message transmission unit 211 cooperates with the range process 170 to copy the destination range to the new node 110. Further, the operation issuing unit 212 copies the movement destination range to the new node 110 in cooperation with the range process 170.
  • the message transmission unit 211 cooperates with the range process 170 to delete the range (unnecessary range) that has become redundant due to the range copy in S312. Then, the process proceeds to S214.
  • the message transmission unit 211 transmits an upper limit data amount increase message for the movement source range and the movement destination range to the range process 170. Then, this process ends.
  • FIG. 11 is a flowchart showing a processing example of the scale-in device 22.
  • the scale-in device 22 performs the following processing when deleting the existing node 110 from the computer cluster.
  • the numbering unit 213 transmits a numbering message to the configuration management process 130.
  • the numbering unit 213 receives the processing number corresponding to the scale-in processing from the configuration management process 130 and registers it. This processing number may be given to all messages in the scale-in processing below through the operation issuing unit 212. Then, the process proceeds to S402.
  • the message transmission unit 211 transmits an initialization message to the range process 170. Then, the process proceeds to S404.
  • the message transmission unit 211 transmits a message for lowering the upper limit data amount of the movement source range and the merge destination range to the range process 170. Then, the process proceeds to S406.
  • the message transmission unit 211 copies the movement source range to the node 110 that manages the movement destination range in cooperation with the range process 170. Then, the process proceeds to S408.
  • the message transmission unit 211 cooperates with the range process 170 to merge the destination range with the destination range. Then, the process proceeds to S410.
  • the message transmission unit 212 transmits a message for increasing the upper limit value data amount of the destination range to the range process 170. Then, the process proceeds to S414.
  • FIG. 12 is a flowchart showing a processing example of the message execution unit 133 of the configuration management process 130.
  • the message execution unit 133 determines whether or not the received message is a configuration change message. If the determination result is “YES”, the process proceeds to S504, and if “NO”, the process proceeds to S502.
  • the message execution unit 133 determines whether or not the received message is a numbered message. If the determination result is “YES”, the process proceeds to S510, and if “NO”, the process is terminated.
  • the message execution unit 133 determines whether the configuration management process 130 of the node 110 including the range process 170 that has received the initialization message is a representative configuration management process 130. If the determination result is “YES”, the process proceeds to S512, and if “NO”, the process ends.
  • the message execution unit 133 transmits an upper limit data amount increase message to the range process 170, and ends this process.
  • a processing number may be given through the operation issuing unit 135.
  • the numbering unit 134 issues a processing number corresponding to the received numbering message, and ends this processing. Details of the processing of the numbering unit 134 will be described later (see FIG. 13).
  • FIG. 13 is a flowchart illustrating a processing example of the numbering unit 134 of the configuration management process 130.
  • the numbering unit 134 issues a processing number larger than the processing number included in the numbering information 400. Then, the process proceeds to S604.
  • the numbering unit 134 registers the processing number issued in S602 in the numbering information 400. Then, the process proceeds to S606.
  • the numbering unit 134 determines whether or not it is the node 110 that has received the numbering message by the primitive distribution unit 131. If the determination result is “YES”, the process proceeds to S608, and “NO”. If so, this process ends.
  • the numbering unit 134 returns the processing number numbered in S602 to the numbering message transmission source (for example, the rebalancing device 20). Then, this process ends.
  • FIG. 14 is a flowchart showing a processing example of the processing number control unit 174 of the range process 170.
  • the process number control unit 174 determines whether or not the process number of the message extracted in S700 is equal to or greater than the final process number registered in the process control information 700. If the determination result is “YES”, the process number control unit 174 proceeds to S704, and if “NO”, the process ends.
  • the processing number control unit 174 updates the final processing number to the processing number of the acquired message. Then, the process proceeds to S706.
  • the process number control unit 174 passes the message extracted in S700 to the state control unit 176, and ends this process.
  • FIG. 15 is a flowchart showing a processing example of the state control unit 176 of the range process 170.
  • the state control unit 176 refers to the state transition information 800, and determines whether or not the message received in S800 can be executed in the current state of the process control information 700. If the determination result is “YES”, the state control unit 176 proceeds to S804, and if “NO”, the process is terminated.
  • the state control unit 176 passes the message received in S800 to the message execution unit 173, and ends this process.
  • FIG. 16 is a flowchart showing a processing example of the message execution unit 173 of the range process 170.
  • the message execution unit 173 determines whether or not the message is a data update message. If the determination result is “YES”, the process proceeds to S904, and if “NO”, the process proceeds to S910.
  • the message execution unit 173 determines whether the message is an upper limit data amount increase message. If the determination result is “YES”, the process proceeds to S912, and if “NO”, the process proceeds to S920.
  • the message execution unit 173 determines whether or not the message is an upper limit data amount reduction message. If the determination result is “YES”, the process proceeds to S922, and if “NO”, the process proceeds to S930.
  • the message execution unit 173 determines whether or not the message is an initialization message. If the determination result is “YES”, the process proceeds to S932, and if “NO”, the process ends.
  • the message execution unit 173 stores the data in the data store unit 177, and ends this processing.
  • the message execution unit 173 operates to increase the upper limit data amount of the resource information 500. For example, the upper limit data amount of the resource information 500 is changed to a value specified by the upper limit data amount raising message. Then, the process proceeds to S914.
  • the message execution unit 173 changes the current state of the process control information 700 to the “upper limit data amount increase state”, and ends this process.
  • the message execution unit 173 operates to lower the upper limit data amount of the resource information 500. For example, the upper limit data amount of the resource information 500 is changed to a value specified by the upper limit data amount lowering message. Then, the process proceeds to S924.
  • the message execution unit 173 changes the current state of the processing control information 700 to the “upper limit data amount reduction state”, and ends this processing.
  • FIG. 17 is a flowchart illustrating a processing example of the resource check unit 175 of the range process 170.
  • the resource check unit 175 acquires the upper limit data amount from the resource information 500.
  • the resource check unit 175 determines whether the upper limit data amount acquired in S1000 is not exceeded even if the data of the received data update message is registered in the range. If the determination result is “YES”, the resource check unit 175 proceeds to S1004, and if “NO”, the process is terminated.
  • the resource check unit 175 passes the data update message to the primitive delivery unit 171 and ends this process.
  • FIG. 18A to FIG. 18I are diagrams for explaining an example of the rebalancing process in the present embodiment.
  • Node A manages Range 1 and Range 4
  • Node B manages Range 1 and Range 2
  • Node C manages Range 2 and Range 3
  • Node D manages Range 3 and Range 4.
  • a rebalance process is performed to move a part of the data in the range 3 to the range 2.
  • the maximum memory amount of each node is “200”, and the monitoring upper limit (corresponding to the upper limit data amount) of each range is “100”.
  • FIG. 18B An empty temporary range 3.5 is created in the node C and the node D that manage the source range 3 by the process of S204.
  • the upper limit of monitoring of the empty temporary range 3.5 is set to “38”.
  • FIG. 18C By the process of S206, a message for lowering the upper limit data amount of the movement source range 3 and the movement destination range 2 (a message for changing the monitoring upper limit to “62”) is transmitted, and the movement of the movement source range 3 and the movement destination range 2 The monitoring upper limit is changed to “62”.
  • the value of the monitoring upper limit may be determined so that the sum of the monitoring upper limits of all ranges managed by the node does not exceed the maximum memory amount “200” of the node.
  • FIG. 18D A part of the data in the movement source range 3 is moved to the temporary range 3.5 by the process of S208.
  • the temporary range 3.5 is copied to the node B that manages the destination range 2 by the process of S210. At this time, there are range 1, range 2, and range 3.5 in node B, but the upper limit of monitoring of range 2 is lowered to “62” in FIG. Does not exceed the maximum memory amount “200” of the node B. That is, resource overflow is prevented.
  • FIG. 18H By the process of S216, an upper limit data amount increase message for the movement source range 3 and the movement destination range 2 (message for changing the monitoring upper limit to “100”) is transmitted, and the movement source range 3 and the movement destination range 2 The monitoring upper limit is changed to “100”. Thereby, the monitoring upper limit of the ranges 2 and 3 once lowered in FIG. 18C is restored.
  • the client device 40 may transmit a data update message to each range. The same applies to scale-out and scale-in.
  • 19A to 19H are diagrams for explaining an example of the scale-out process in the present embodiment.
  • FIG. 19A In a configuration in which node A manages range 1 and range 4, node C manages range 1 and range 3, and node D manages range 3 and range 4, node B is added to the computer cluster. Perform scale-out processing to be added.
  • the maximum memory amount of each node is “200”, and the monitoring upper limit of each range is “100”.
  • node B is added to the computer cluster.
  • FIG. 19C In the process of S306, an empty destination range 3.5 is created in the node C and the range 4 that manage the source range 3.
  • the upper limit of monitoring of the destination range 3.5 is “38”.
  • FIG. 19D By the processing of S308, the upper limit data amount lowering message transmission processing of the movement source range 3 is performed, and the monitoring upper limit of the movement destination range 3 is changed to “62”.
  • FIG. 19E A part of the data in the movement source range 3 is moved to the movement destination range 3.5 by the process of S310. At this time, there are range 1, range 3, and range 3.5 in node C, but since the upper limit of monitoring of range 3 is lowered to “62” in FIG. 19D, the upper limit of monitoring of these ranges is set. The total does not exceed the maximum memory amount “200” of the node C. The same applies to node D. That is, resource overflow is prevented.
  • the destination range 3.5 is copied to the additional node B by the processing of S312. Further, the range 1 of the node A may be copied to the additional node B as necessary so that the data amount is equalized as a whole.
  • FIG. 19H By the process of S316, the upper limit data amount increase message of the movement source range 3 and the movement destination range 3.5 (message for changing the monitoring upper limit to “100”) is transmitted, and the movement source range 3 and the movement destination range The monitoring upper limit of 3.5 is changed to “100”. Thereby, the monitoring upper limit of the movement source range 3 once lowered in FIG. 19E is restored. Further, the monitoring upper limit of the movement destination range 3.5 created in FIG. 19C increases to “100”.
  • 20A to 20G are diagrams for explaining an example of the scale-in process in the present embodiment.
  • Node A manages range 1 and range 4
  • node B manages range 1 and range 2
  • node C manages range 2 and range 3
  • node D manages range 3 and range 4.
  • the scale-in process for separating the node B from the computer cluster is performed.
  • the maximum memory amount of each node is “200”, and the monitoring upper limit of each range is “100”.
  • FIG. 20B By the processing of S404, a message for lowering the upper limit data amount of the movement source range 2 and the movement destination range 3 (message for changing the monitoring upper limit to “50”) is transmitted, and the movement of the movement source range 2 and the movement destination range 3 Change the monitoring upper limit to “50”.
  • the source range 2 is copied to the node D that manages the destination range 3 by the process of S406.
  • the range D, the range 3 and the range 4 exist in the node D, but the upper monitoring limit of the range 3 and the range 4 is lowered to “50” in FIG. Of the maximum memory amount “200” of the node D does not exceed. That is, resource overflow is prevented.
  • the range 1 managed by the node B to be deleted may be copied to the node C in order to ensure redundancy.
  • FIG. 20D The source range 2 is merged with the destination range 3 by the processing of S408.
  • FIG. 20E The movement source range 2 that has become unnecessary is deleted by the processing of S410.
  • FIG. 20F By the process of S412, a message for increasing the upper limit data amount of the merge range 3 is transmitted, and the monitoring upper limit of the merged data amount is changed to “100”. Thereby, the monitoring upper limit of the movement destination range 3 once lowered in FIG. 20B is restored.
  • FIG. 20G The node B to be deleted is deleted from the computer cluster by the processing of S414.
  • FIGS. 21A to 21H are diagrams for explaining an example in which double execution of a message is prevented in the rebalancing process.
  • Node A manages range 1 and range 4
  • node B manages range 1 and range 2
  • node C manages range 2 and range 3
  • node D manages range 3 and range 4.
  • the active rebalancing device 20 performs a rebalancing process for moving a part of the data in the range 3 to the range 2.
  • the maximum memory amount of each node is “200”, and the monitoring upper limit of each range is “100”.
  • the numbering message is transmitted to the configuration management process 130 by the process of S200 of the active rebalancing device 20.
  • the configuration management process 130 that has received the numbering message issues a processing number “1” through the processing of S600 to S608, and transmits it to the active rebalancing device 20. Also, the configuration management process 130 registers the issued processing number “1” in the numbering information 400. The active rebalancing device 20 that has received the process number “1” holds the process number “1”.
  • the upper limit data amount lowering message (the monitoring upper limit is “62”) including the processing number “1” being held and the movement source range 2 and the movement destination range 3. Message to be changed to.
  • the processing number 1 of the upper limit data amount reduction message is executed because it is the same as the processing number “1” being held in the numbering information 400 by the configuration management process 130 (the determination result in S702 is “YES”). That is, the monitoring upper limit is changed to “62”.
  • the movement source range 2 and the movement destination range 3 are associated with the process number “1”.
  • FIG. 21D Assume that the life and death monitoring device 30 erroneously determines that the active rebalancing device 20 has stopped.
  • An example of erroneous determination is a case where the processing load of the active rebalancing device 20 is high and the PING response to the alive monitoring device 30 is delayed (timed out). In this case, the alive monitoring device 30 instructs the standby rebalancing device 20 to switch processing.
  • the standby-system rebalancing device 20 transmits a numbering message to the configuration management process 130 as in FIG. 21A.
  • the issuer 134 of the configuration management process 130 that has received the numbering message issues, for example, a process number “2” larger than the process number “1” stored in the numbering information 400, and rebalances the standby system. Transmit to device 20.
  • the configuration management process 130 registers the issued processing number “2” in the numbering information 400.
  • the standby rebalancing device 20 that has received the process number “2” holds this process number “2”.
  • FIG. 21F By the process of S206 of the standby-system rebalancing device 20, as in FIG. 21C, the upper limit data amount lowering messages (monitoring) of the movement source range 2 and the movement destination range 3 including the process number 2 being held are monitored. A message for changing the upper limit to “62”) is transmitted. This upper limit data amount lowering message is executed because it is the same as the processing number 2 being held in the calling number information 400 by the configuration management process 130 (the determination result in S702 is “YES”). That is, the monitoring upper limit is similarly changed to “62”. The movement source range 2 and the movement destination range 3 are associated with the process number “2”.
  • FIG. 21G Here, the active rebalancing device 20 that has not actually stopped attempts to continue the processing after S206 (that is, the processing of S208 to S216) performed in FIG. 21C.
  • S216 an upper limit data amount increase message for the movement source range 2 and the movement destination range 3 (message for changing the management upper limit to “100”) including the process number “1” being held is transmitted.
  • the processing number “1” of the upper limit data amount raising message is not executed because it is smaller than the processing number “2” associated with the ranges 2 and 3 (the determination result in S702 is “NO”). That is, double implementation of the message is prevented, and the monitoring upper limit remains “62”.
  • the standby-system rebalancing device 20 also tries to continue the processing after S206 (that is, the processing of S208 to S216) performed in FIG. 21F.
  • S216 an upper limit data amount increase message for the movement source range 2 and the movement destination range 3 (message for changing the management upper limit to “100”) including the process number “2” being held is transmitted. Since the processing number “2” of this upper limit data amount raising message is the same as the processing number “2” associated with the ranges 2 and 3 (the determination result in S702 is “YES”), it is executed. That is, the monitoring upper limit is changed to “100”.
  • Computer device 20 Rebalance device 22: Scale-in device 24: Scale-out device 30: Alive monitoring device 40: Client device 110: Node 130: Configuration management process 170: Range process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

計算機システムは分散ＫＶＳを構成するための複数のノードを含み、複数のノードは、管理可能なデータ量の上限である上限データ量がそれぞれに設定されている複数のキーレンジを有し、新規のキーレンジを作成する場合、その新規のキーレンジの上限データ量と既存のキーレンジの上限データ量との合計が計算機装置のメモリの容量に基づく量である最大量を超えないように、既存のキーレンジの上限データ量を下げる。

Description

計算機システム、及び、データ処理方法
　本発明は、概して、複数の計算機から構成される分散データベースに関する。
　近年、Ｗｅｂを用いたアプリケーションを実行する計算システムにおいてデータ量が爆発的に増大しており、複数のサーバにデータを分散させることによって、データへのアクセス性能を向上させるシステムが知られている。例えば、ＲＤＢＭＳ（Ｒｅｌａｔｉｏｎａｌ　ＤａｔａＢａｓｅ　Ｍａｎａｇｅｍｅｎｔ　Ｓｙｓｔｅｍ）では、データを所定のレンジ（例えば、キーレンジなど）毎に分割し、分割されたデータを複数のサーバに配置することによって、システム全体のアクセス性能を向上させる方法が知られている。
　また、キャッシュサーバ等に用いられるシステムとして、ＫＶＳ（Ｋｅｙ　Ｖａｌｕｅ　Ｓｔｏｒｅ）等のＮｏＳＱＬ（Ｎｏｔ　Ｏｎｌｙ　ＳＱＬ）データベースが知られている。ＫＶＳには、データ（バリュー）と、データの識別子（キー）とがペアとなったレコードが複数格納される。
　ＫＶＳでは、データに高速にアクセス可能な揮発性の記憶媒体、例えばメモリに、データを格納する構成（メモリストア）、データ格納の永続性に優れる不揮発性の記録媒体、例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｉｓｋ）やＨＤＤ等に、データを格納する構成（ディスクストア）、又は、前述したものを併用する構成等の種々の構成がとられている。
　インメモリ型ＫＶＳは、ディスク型ＫＶＳに比べて、高速なデータアクセスを実現するが、いくつか欠点もある。第一に、物理的制約などにより、ＳＳＤやＨＤＤに比べて一台のサーバに搭載可能なメモリ容量が小さいため、ディスク型ＫＶＳに比べて格納可能なデータ量が小さくなってしまう。第二に、メモリは揮発性の記録媒体であるため、何らかの障害で、サーバが停止するとメモリ上のデータが消滅してしまう。
　上記欠点を克服したシステムが、インメモリ型分散ＫＶＳ（以下、分散ＫＶＳ）である。分散ＫＶＳは、複数のサーバからクラスタを構成して、そのクラスタに含まれるサーバのメモリ上に構成されるＫＶＳである。第一の欠点に対しては、複数のサーバ上にあるメモリを統合することで、一台のサーバでは保持できないメモリ容量を確保できる。第二の欠点に対しては、複数のサーバ間で同じデータを複製しておくことで、一部のサーバが停止してもデータの消滅を回避できる。
　分散ＫＶＳを構成する各サーバは、他のサーバとは重複しないレンジを担当し、そのレンジに含まれるデータの集合（以下、パーティション）を格納する。さらに、各サーバは他のサーバが管理しているパーティションの複製を格納する。
　そして、分散ＫＶＳには、管理サーバのような特別なサーバが存在しないもしくは多重化させているため、単一点障害が存在しない。すなわち、任意のサーバに障害が発生した場合であっても、他のサーバが複製されたパーティションに基づいて処理を継続できるため、計算機システムが停止することがない。したがって、分散ＫＶＳは耐障害性も確保される。
　ここで、分散ＫＶＳに格納するデータ量が多くなることで、サーバの負荷が上昇した、または格納可能なデータ量が無くなった際の対策の一つとしてクラスタに新しいサーバを追加するスケールアウトがある。スケールアウトでは、サーバが担当するレンジの変更を行う処理（以下、リバランス処理）が行われる。また、一部のサーバだけにデータが偏ることで、システムのスループットが低下した際の対策の一つとしてデータの偏りを解消する際もリバランス処理が行われる。
　前述したような、リバランス処理については、特許文献１、２に記載された技術が知られている。特許文献１には、既存レンジとそれに対応する既存パーティションに対して、リバランス後の新しいパーティションを用意し、既存パーティションから新しいパーティションヘデータをコピーし、コピー完了後に、既存レンジとそれに対応する既存パーティションから、新しいレンジとそれに対応する新しいパーティションへアクセスを切り替える処理を行うことで、リバランス処理が実現できることが記載されている。
米国特許公報第２０１１／２２５１２２号明細書 国際公開第２０１５／７２０２５号
　しかしながら、従来の分散ＫＶＳを構成する計算機システムは、リバランス処理の際に行われるデータコピーにより、リソース溢れが発生するおそれがある。これに対処するために、メモリの増築やデータの流量監視などを行うことは、運用が煩雑になり、システムの信頼性も低下してしまう。そこで、本発明の目的は、分散ＫＶＳの運用容易性及び信頼性を向上させることにある。その他の目的については、実施例の説明において明らかになるであろう。
　一実施例に係る計算機システムは複数の計算機装置を備え、複数の計算機装置は、プロセッサ及びメモリを備え、分散ＫＶＳを構成するための複数のノードを実行し、複数のノードは、管理可能なデータ量の上限である上限データ量がそれぞれに設定されている複数のキーレンジを有し、新規のキーレンジを作成する場合、その新規のキーレンジの上限データ量と既存のキーレンジの上限データ量との合計が計算機装置のメモリの容量に基づく量である最大量を超えないように既存のキーレンジの上限データ量を下げる。
　本発明によれば、分散ＫＶＳを構成する計算機システムの運用容易性及び信頼性を向上させることができる。
本実施例に係る計算機システムの構成例を示す図。 計算機装置の構成例を示す図。 リバランス装置の構成例を示す図。 リバランス処理の概要を説明するための図。 状態遷移情報の例を示す図。 処理制御情報の例を示す図。 リソース情報の例を示す図。 発番情報の例を示す図。 リバランス装置の処理例を示すフローチャート。 スケールアウト装置の処理例を示すフローチャート。 スケールイン装置の処理例を示すフローチャート。 構成管理プロセスの電文実行部の処理例を示すフローチャート。 構成管理プロセスの発番部の処理例を示すフローチャート。 レンジプロセスの処理番号制御部の処理例を示すフローチャート。 レンジプロセスの状態制御部の処理例を示すフローチャート。 レンジプロセスの電文実行部の処理例を示すフローチャート。 レンジプロセスのリソースチェック部の処理例を示すフローチャート。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 リバランス処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールアウト処理の例を説明するための図。 スケールイン処理の例を説明するための図。 スケールイン処理の例を説明するための図。 スケールイン処理の例を説明するための図。 スケールイン処理の例を説明するための図。 スケールイン処理の例を説明するための図。 スケールイン処理の例を説明するための図。 スケールイン処理の例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。 リバランス処理において電文の二重実施の防止例を説明するための図。
　図１は、本実施例に係る計算機システムの構成例を示す。
　計算機システム１は、リバランス装置２０、スケールイン装置２２、スケールアウト装置２４、死活監視装置３０、クライアント装置４０、及び、複数の計算機装置１０を有し、これらは、ネットワーク５０を介して双方向通信可能に接続されている。
　複数の計算機装置１０は、複数のノード１１０（図２参照）を有し、複数のノード１１０が連携して分散ＫＶＳを構成する。各ノード１１０は、キーの全範囲の内の一部の範囲を示すキーレンジ（単に「レンジ」という場合もある）を管理する。耐障害性を高めるため、複数のノード１１０が、同じキーレンジを管理してよい。以下、複数の計算機装置１０を「計算機クラスタ」という場合がある。
　リバランス装置２０は、各キーレンジが保持するデータ量に偏りが発生した場合に、各キーレンジが保持するデータ量が均等化されるようにキーレンジを変更する処理（「リバランス処理」という）を実施する装置である。スケールイン装置２２は、複数のノード１１０から少なくとも１つのノード１１０を削除する処理（「スケールイン処理」という）を実施する装置である。スケールアウト装置２４は、複数のノード１１０に少なくとも１つのノード１１０を追加する処理（「スケールアウト処理」という）を実施する装置である。リバランス装置２０、スケールイン装置２２、及びスケールアウト装置２４は、１つの装置であってもよい。
　死活監視装置３０は、各装置の死活を監視する装置である。例えば、死活監視装置３０は、各装置に対して定期的にＰＩＮＧを送信し、初手の時間内に応答が返ってこなかったならば（タイムアウトしたならば）、その装置が停止していると判断してよい。そして、死活監視装置３０は、その停止していると判断した装置に対応する待機系の装置に対して、処理を引き継ぐように指示してよい。
　クライアント装置４０は、複数の計算機装置１０が構成する分散ＫＶＳを利用する。例えば、クライアント装置４０は、計算機クラスタに対して、データの書き込み、読み出し、削除等を要求することができる。データの書き込み要求を受領した計算機クラスタは、そのデータからキーを算出し、そのキーを含むレンジを管理するノード１１０に、そのキー及びデータを書き込んでよい。データの取得要求を受領した計算機クラスタは、そのデータからキーを算出し、そのキーを含むレンジを管理するノード１１０から、そのキーに対応するデータを読み出して、クライアント装置４０へ返してよい。削除についても同様である。
　図２は、計算機装置１０の構成例を示す。
　計算機装置１０は、プロセッサ１０２、主記憶デバイス１０４、補助記憶デバイス１０３、及びネットワークＩ／Ｆデバイス１０１を備える。
　プロセッサ１０２は、主記憶デバイス１０４に格納されるプログラムを実行する。補助記憶デバイス１０３は、各種情報を格納する。補助記憶デバイス１０３の例は、ＨＤＤ、ＳＳＤ等である。ネットワークＩ／Ｆデバイス１０１は、計算機装置１０がネットワーク５０を介して他の装置と通信を行うためのデバイスである。ネットワークＩ／Ｆデバイス１０１の例は、Ｅｔｈｅｒｎｅｔカード等である。主記憶デバイス１０４は、プロセッサ１０２が実行するプログラム及びそのプログラムの実行に必要な情報を格納する。主記憶デバイス１０２の例は、ＳＲＡＭ、ＤＲＡＭ等である。なお、本実施例は、主記憶デバイス１０４に分散ＫＶＳを構築するが、補助記憶デバイス１０３に分散ＫＶＳを構築するディスクストア（図示省略）を構築してもよい。
　主記憶デバイス１０４は、ノード１１０を実現するためのプログラムを格納する。なお、１つの計算機装置１０には複数のノード１１０が存在してもよい。ノード１１０は、構成管理プロセス１３０、コピー部１６０、複数のレンジプロセス１７０を実現するためのプログラムを含む。
　構成管理プロセス１３０は、原始的配信部１３１、電文貯蓄部１３２、電文実行部１３３、発番部１３４、操作発行部１３５、及び発番情報４００を有してよい。
　レンジプロセス１７０は、原始的配信部１７１、処理番号制御部１７４、リソースチェック部１７５、電文貯蓄部１７２、状態制御部１７６、電文実行部１７３、データストア部１７７、グループ情報６００、リソース情報５００、処理制御情報７００、状態遷移情報８００を有してよい。以下、主記憶デバイス１０４に格納されるプログラム及び情報について説明する。
＜レンジプロセス＞
　レンジプロセス１７０は、一つのレンジを担当する処理単位である。レンジプロセス１７０は「状態」及び「イベン卜」を用いて対象の振る舞いが表現されるシステム（状態マシンやオートマトンとも呼ばれる）であって、内部に現在の状態を保持し、外部からイベン卜が入力された場合、予め決定されたルールにしたがって、現在の状態を次の状態へ「状態遷移」させる。
　ここで、ＫＶＳ内で保存しているキーに対するデータを「状態」、当該キーに対するデータ更新等の操作を「イベン卜」、当該操作に対する当該データの更新処理を「状態遷移」と見立てた場合、ＫＶＳはキー毎のレンジプロセス１７０の集合として扱うことができる。
　ただし、キー毎のレンジプロセス１７０の集合を運用する場合、レンジプロセス１７０の数が膨大となるため現実的ではない。例えば、キーのデータ長が４バイトである場合、４バイトで表現できるキーの数（２の３２乗）より、必要となるレンジプロセス１７０の数は約４２億個になる。
　したがって、ＫＶＳは特定のレンジに含まれるキーの集合毎に一つのレンジプロセス１７０を運用する方が望ましい。レンジはハッシュ値の範囲を表し、各データのキーからハッシュ値を算出し、算出したハッシュ値が含まれるレンジを担当するレンジプロセス１７０がそのデータを格納するものとする。この方式をＣｏｎｓｉｓｔｅｎｔ　Ｈａｓｈｉｎｇ法と呼ぶ。上記方式以外にもＲａｎｇｅ法及びＬｉｓｔ法等の方式を採用しても良い。
　そして、分散ＫＶＳをレンジプロセス１７０で実現しようとする場合、データを複製し合う複数のレンジプロセス１７０間でデータの一貫性を維持するため、複数のレンジプロセス１７０に同一の振る舞いを実行させる必要がある。なお、データを複製し合うために同一の振る舞いを実行するレンジプロセス１７０の集合を「グループ」と呼ぶ。グループに属する全レンジプロセス１７０が同一の振る舞いを実行するためには、グループに属する全レンジプロセス１７０に同一イベン卜を同一の入力順で入力する必要がある。そこで、イベン卜を入力する順番を決定するために原子的配信部１７１が使用される。
　レンジプロセス１７０の原子的配信部１７１は、同じグループに属するレンジプロセス１７０の原子的配信部１７１と通信できる。グループに関する情報は、グループ情報６００に格納されている。そして、例えば分散合意アルゴリズムを用いて、グループ内で同一の電文を同一の順序で配信する。当該配信方法を原子的配信と呼ぶ（他にも全順序ブロードキャス卜や原子的ブロードキャス卜とも呼ばれることがある）。
　電文実行部１７３は、電文貯蓄部１７２から電文を取り出し、データストア部１７７が管理するデータに対し、電文に対応した各種処理を行う。各種処理は、例えばデータの更新、上限データ量の下げ操作、上限データ量の上げ操作、初期化操作などである。
＜構成管理プロセス＞
　構成管理プロセス１３０は、死活監視装置２０やリバランス装置２０などから受領した電文に基づいて各種の動作を行う。
　構成管理プロセス１３０の原始的配信部１３１は、全ての構成管理プロセス１３０含まれる原始的配信部１７１と通信でき、全ての構成管理プロセス１３０に原子的配信する。
　電文貯蓄部１３２は、原始的配信部１３１で原始的配信された電文をＦＩＦＯ方式で一時的に貯蓄する。
　電文実行部１３３は、電文貯蓄部１７２から電文を取り出して、その電文に対応した各種処理を行う。各種処理は、例えば、構成変更処理や、採番処理などである。詳細については後述する。
　発番部１３４は、処理番号を発番する。詳細については後述する。
　操作発行部１３５は、電文送信部２１１や構成管理プロセス１３０の電文実行部１３３が送信する電文に処理番号を付与する。
　図３は、リバランス装置２０の構成例を示す。
　リバランス装置２０は、プロセッサ２０２、主記憶デバイス２０４、補助記憶デバイス２０３、及びネットワークＩ／Ｆデバイス２０１を備える。
　プロセッサ２０２は、主記憶デバイス２０４に格納されるプログラムを実行する。補助記憶デバイス２０３は、各種情報を格納する。補助記憶デバイス２０３の例は、ＨＤＤ、ＳＳＤ等である。ネットワークＩ／Ｆデバイス２０１は、リバランス装置２０がネットワーク５０を介して他の装置と通信を行うためのデバイスである。ネットワークＩ／Ｆデバイス２０１の例は、Ｅｔｈｅｒｎｅｔカード等である。主記憶デバイス２０４は、プロセッサ２０２が実行するプログラム及びそのプログラムの実行に必要な情報を格納する。主記憶デバイス２０４の例は、ＳＲＡＭ、ＤＲＡＭ等である。
　主記憶デバイス２０４には、構成情報管理部２１４、性能監視部２１５、電文送信部２１１、採番部２１３、操作発行部２１２の機能を実現するためのプログラムが格納されてよい。
　構成情報管理部２１４は、ノード１１０、及びノード１１０に含まれるレンジプロセス１７０の構成に関する構成情報を管理する。
　性能監視部２１５は、各グループの性能指標を定期的に収集する。そして、性能監視部２１５は、その収集結果から、グループ間で性能指標の偏りが発生しているか否かを判定する。性能監視部２１５は、偏りが発生していると判定した場合、リバランス処理に係る電文を電文送信部２１１に送信させる。
　電文送信部２１１は、リバランス処理を行うために、計算機クラスタに対して、電文を送信する。これらの電文は、例えば、初期化電文、上限データ量上げ電文、上限下げ電文、初期化電文やレンジプロセス１７０を操作するための電文であってよい。レンジプロセス１７０の操作とは、例えば、空のレンジの作成操作、レンジの分割操作、レンジのコピー操作、レンジの併合操作等である。詳細については後述する。
　採番電文は、計算機クラスタに対して、処理番号の採番を要求する電文である。採番電文は、後述の採番部２１３によって発行されてよい。
　上限データ量上げ電文は、計算機クラスタに対して、指定のキーレンジの上限データ量を上げることを要求する電文である。
　上限データ量下げ電文は、計算機クラスタに対して、指定のキーレンジの上限データ量を下げることを要求する電文である。
　構成変更電文は、死活監視装置３０がノード１１０のダウンを検知した場合に送られる電文であり、計算機クラスタからダウンしたノード１１０を切り離すことを要求する電文である。
　データ更新電文は、計算機クラスタに対して、指定のデータに対する更新（書き込み、読み出し、移動、削除等）を要求する電文である。
　初期化電文は、リバランス処理の開始に先だって、計算機クラスタに対して、状態遷移情報８００中の状態を初期化することを要求する電文である。
　採番部２１３は、計算機クラスタに対して採番を要求する電文（「採番電文」）を発行する。そして、採番部２１３は、その採番電文に対して計算機クラスタから発番された処理番号を管理する。この処理番号と操作発行部２１２により、例えば、何らかの異常状態により、現用系のリバランス装置２０と待機系のリバランス装置２０とが同じ電文を計算機クラスタに送信してしまったときに、計算機クラスタがこれらの同じ電文を二重実施してしまうことを防止することができる。
　図４は、リバランス処理の概要を説明するための図である。
　この例では、ハッシュ値は１～２０００の間で求められ、１～２０００までのレンジでシステムが取り扱う全データが格納できるとする。ここで、１～１０００のレンジαに含まれる丸で表わされるデータを処理するグループＡ、１００１～１７００のレンジβに含まれる四角で表わされるデータを処理するグループＢ、１７０１～２０００のレンジγに含まれる三角で表わされるデータを処理するグループＣ、によってデータ更新等の操作を処理する分散ＫＶＳについて説明する。なお、各ノードが保持可能な最大データ量を「２００ＭＢ」とし、レンジα、β、γの上限データ量を、それぞれ、「１００ＭＢ」とする。
　Ｒ１のように、グループＡはレンジαに含まれる３個のデータを処理しており、各データはノードＡとノードＢ上に存在するグループＡに属するレンジプロセスのデータストア部１７７で多重化されているため、グループＡは計６個（＝３個ｘ２多重）のデータを保持している。
　同様に、グループＢはレンジβに含まれる７個のデータを処理しており、各データはノードＡとノードＣ上に存在するグループＢに属するレンジプロセスのデータストア部で多重化されているため、グループＢは計１４個（＝７個ｘ２多重）のデータを保持している。
　さらに同様に、グループＣはレンジγに含まれる５個のデータを処理しており、各データはノードＢとノードＣ上に存在するグループＣに属するレンジプロセスのデータストア部で多重化されているため、グループＣは計１０個（＝５個ｘ２多重）のデータを保持している。
　このため各グループ間で負荷に偏りが生じている。そこで、レンジβの範囲を狭め、レンジαの範囲を広げることにより偏りを無くすため、移動グループの作成、グループの分割操作、移動グループの移動、グループの併合操作及び移動グルーフの削除というステップを実施することによりリバランスする処理を説明する。
　まず、グループの分割操作の準備として、グループＢを含むノードに、レンジ範囲が無い空レンジを担当する、一時的に使用する移動グループＤを作成する。具体的には、ノードＡとノードＣがグループＢに属するレンジを含むため、ノードＡとノードＣに移動グループＤを作成する。
　次に、グループの分割操作を行い、グループＢのレンジβと移動グループＤのレンジδを更新する。また、グループの分割操作を行う際、移動グループＤが新しく担当するレンジでグループＢが格納しているデータについては、グループＢから移動グループＤへ移動させる。なお、移動グループＤが担当するデータは図中では菱形で表される。
　次に、Ｒ２のように、移動グルーフＤを移動させるため、まず、ノードＣが保持する移動グループＤに属するレンジプロセス及び当該レンジプロセスが保持するデータをノードＢにコピーし、コピーしたレンジプロセスを移動グループＤに属させる（図中の「コピー」）。ここで、あるグループに属するレンジプロセスを別のノードにコピーし、かつ同じグループに属させることをグループ内プロセスコピー処理と呼ぶ。
　このとき、ノードＢには、元々のグループＡ（レンジα）とグループＣ（レンジγ）のデータに加えて、コピーされたグループＤ（レンジδ）のデータが存在することになる。すなわち、レンジαの上限データ量「１００ＭＢ」と、レンジγの上限データ量「１００Ｍ」と、レンジδの上限データ量「３８ＭＢ」の合計が、ノードＢが保持可能な最大データ量「２００ＭＢ」を超えてしまっている。本実施例は、このような問題が発生しないようにする。
　次に、グループの併合操作上で邪魔となるノードＣ上に存在する移動グループＤに属するレンジプロセスを削除する。ここで、あるグループに属するレンジプロセスの一部を削除することをグループ内プロセス削除処理と呼んでもよい。
　次に、Ｒ３のように、グループの併合操作を行い、グループＡのレンジαと移動グループＤのレンジδを更新する。また、グループの併合操作を行う際、グループＡが新しく担当するレンジで移動グループＤが格納しているデータについては、移動グループＤからグループＡへ移動させる。
　これにより、Ｒ１と比べてＲ３は、グループＡのレンジαが「１～１０００」から「１～１５００」に変更され、グループＢのレンジβが「１００１～１７００」から「１５０１～１７００」に変更され、また、グループＡとグループＢに格納されるデータ数が各々１０個（＝５個ｘ２多重）に均等化されている。
　ここで、グループの分割操作とグループの併合操作は、「レンジ更新処理」と呼ばれる処理によって実現する。具体的には、グループの分割操作は、グループＢが担当するレンジβと移動グループＤが担当するレンジδを、「１００１～１７００」と「ＮＵＬＬ」から、「１５０１～１７００」と「１００１～１５０１」に更新することで実現する。また、グループの併合操作は、移動グループＤが担当するレンジδとグループＡが担当するレンジαを、「１００１～１５０１」と「１～１０００」から、「ＮＵＬＬ」とレンジ「１～１５００」に更新することで実現する。
　図５は、状態遷移情報８００の例を示す。
　状態遷移情報８００は、レンジプロセス１７０の状態と、その状態においてレンジプロセス１７０が実行可能な操作との対応関係についての情報を含む。
　図５の例は、初期状態のとき、上限データ量を上げる操作（上限データ量上げ操作）、及び、上限データ量を下げる操作（上限データ量下げ操作）が実行可能であることを示す。同様に、上限データ量下げ操作が完了している状態（上限データ量下げ状態）のとき、上限データ量上げ操作のみが実行可能であり、上限データ量上げ操作が完了している状態（上限データ量上げ状態）のとき、初期化操作のみが実行可能であることを示す。
　これにより、一連の処理（例えば１回のリバランス処理）における、上限データ量の上げ下げの操作の整合性を保つことができる。
　図６は、処理制御情報７００の例を示す。
　処理制御情報７００には、レンジプロセス１７０がリバランス装置２０などから最後に受領した電文の処理番号（最終処理番号）、及び、レンジプロセス１７０の現在の状態についての情報を含む。
　最終処理番号は、上記で説明したように、同じ電文の二重実行を防止するために用いられる。
　レンジプロセス１７０の現在の状態は、レンジプロセス１７０が現在、実行可能な操作を決めるために用いられる。ノード１１０の現在の状態が取り得る値は、状態遷移情報８００のノード１１０の状態に登録されている値であってよい。
　図７は、リソース情報５００の例を示す。
　リソース情報５００は、レンジの現在の上限データ量、及び、そのレンジに現在保持されているデータ量（保持データ量）についての情報を含む。
　図８は、発番情報４００の例を示す。
　発番情報４００は、構成管理プロセス１３０の発番部１３４が、リバランス装置２０等に発番した処理番号についての情報を含む。
　図９は、リバランス装置２０の処理例を示すフローチャートである。
　リバランス装置２０は、性能監視部２１５によってリバランスが必要と判定すると、以下の処理を実施する。
　（Ｓ２００）採番部２１３は、構成管理プロセス１３０に対して採番電文を送信する。そして採番部２１３は、構成管理プロセス１３０から当該リバランス処理に対応する処理番号を受領し、これを登録する。この処理番号は、操作発行部２１２を通して、以下のリバランス処理における全ての電文に付与されてもよい。そしてＳ２０２へ進む。
　（Ｓ２０２）電文送信部２１１は、レンジプロセス１７０に対して、初期化電文を送信する。そしてＳ２０４へ進む。
　（Ｓ２０４）電文送信部２１１は、レンジプロセス１７０と連携して、移動元レンジを管理するノード１１０に、空の一時レンジを作成する。そしてＳ２０６へ進む。
　（Ｓ２０６）電文送信部２１１は、レンジプロセス１７０に対して、移動元レンジ及び移動先レンジの上限データ量下げ電文を送信する。そしてＳ２０８へ進む。
　（Ｓ２０８）電文送信部２１１は、レンジプロセス１７０と連携して、移動元レンジのレンジ分割を実行する。例えば、操作発行部は、移動元レンジの一部のデータをＳ２０４で作成した一時レンジに移動させる。
　（Ｓ２１０）電文送信部２１１は、レンジプロセス１７０と連携して、一時レンジを、移動先レンジを管理するノード１１０にコピーする。そしてＳ２１２へ進む。
　（Ｓ２１２）電文送信部２１１は、レンジプロセス１７０と連携して、一時レンジを移動先レンジに併合する。そしてＳ２１４へ進む。
　（Ｓ２１４）電文送信部２１１は、レンジプロセス１７０と連携して、一時レンジ（不要レンジ）を削除する。そしてＳ２１６へ進む。
　（Ｓ２１６）電文送信部２１１は、レンジプロセス１７０に対して、移動元レンジ及び移動先レンジの上限データ量上げ電文を送信する。そして本処理を終了する。
　以上によれば、リバランス処理において、ノード１１０が管理するデータ量がそのノード１１０が管理可能な最大データ量を超えることを防止することができる。なお、本処理の具体例を、図１８Ａ～図１８Ｉ、及び、図２１Ａ～図２１Ｈに示す。
　図１０は、スケールアウト装置２４の処理例を示すフローチャートである。
　スケールアウト装置２４は、新規ノード１１０を計算機クラスタに追加する場合（Ｓ３００）、以下の処理を実施する。
　（Ｓ３０２）採番部２１３は、構成管理プロセス１３０に対して採番電文を送信する。そして採番部２１３は、構成管理プロセス１３０から当該スケールアウト処理に対応する処理番号を受領し、これを登録する。この処理番号は、操作発行部２１２を通して、以下のスケールアウト処理における全ての電文に付与されてよい。そしてＳ３０４へ進む。
　（Ｓ３０４）電文送信部２１１は、レンジプロセス１７０に対して、初期化電文を送信する。そしてＳ３０６へ進む。
　（Ｓ３０６）電文送信部２１１は、レンジプロセス１７０と連携して、移動元レンジを管理するノード１１０に空の移動先レンジを生成する。そしてＳ３０８へ進む。
　（Ｓ３０８）電文送信部２１１は、レンジプロセス１７０に対して、移動元レンジの上限データ量下げ電文を送信する。そしてＳ３１０へ進む。
　（Ｓ３１０）電文送信部２１１は、レンジプロセス１７０と連携して、移動元レンジのレンジ分割を実施する。例えば、操作発行部２１２は、移動元レンジの一部のデータをＳ３０６で作成した移動先レンジに移動させる。そしてＳ３１２へ進む。
　（Ｓ３１２）電文送信部２１１は、レンジプロセス１７０と連携して、移動先レンジを新規ノード１１０にコピーする。また、操作発行部２１２は、レンジプロセス１７０と連携して、移動先レンジを新規ノード１１０にコピーする。
　（Ｓ３１４）電文送信部２１１は、レンジプロセス１７０と連携して、Ｓ３１２のレンジのコピーによって余分になったレンジ（不要レンジ）を削除する。そしてＳ２１４へ進む。
　（Ｓ３１６）電文送信部２１１は、レンジプロセス１７０に対して、移動元レンジ及び移動先レンジの上限データ量上げ電文を送信する。そして本処理を終了する。
　以上によれば、スケールアウト処理において、ノード１１０が管理するデータ量がそのノード１１０が管理可能な最大データ量を超えることを防止することができる。なお、本処理の具体例を、図１９Ａ～図１９Ｈに示す。
　図１１は、スケールイン装置２２の処理例を示すフローチャートである。
　スケールイン装置２２は、計算機クラスタから既存ノード１１０を削除する場合、以下の処理を実施する。
　（Ｓ４００）採番部２１３は、構成管理プロセス１３０に対して採番電文を送信する。そして採番部２１３は、構成管理プロセス１３０から当該スケールイン処理に対応する処理番号を受領し、これを登録する。この処理番号は、操作発行部２１２を通して、以下のスケールイン処理における全ての電文に付与されてよい。そしてＳ４０２へ進む。
　（Ｓ４０２）電文送信部２１１は、レンジプロセス１７０に対して、初期化電文を送信する。そしてＳ４０４へ進む。
　（Ｓ４０４）電文送信部２１１は、レンジプロセス１７０に対して、移動元レンジ及び併合先レンジの上限データ量下げ電文を送信する。そしてＳ４０６へ進む。
　（Ｓ４０６）電文送信部２１１は、レンジプロセス１７０と連携して、移動元レンジを、移動先レンジを管理するノード１１０に複製する。そしてＳ４０８へ進む。
　（Ｓ４０８）電文送信部２１１は、レンジプロセス１７０と連携して、移動先レンジを移動先レンジに併合する。そしてＳ４１０へ進む。
　（Ｓ４１０）電文送信部２１１は、移動元レンジ（不要レンジ）を削除する。そしてＳ４１２へ進む。
　（Ｓ４１２）電文送信部２１２は、レンジプロセス１７０に対して、移動先レンジの上限値データ量上げ電文を送信する。そしてＳ４１４へ進む。
　（Ｓ４１４）電文送信部２１１は、削除対象ノード１１０を計算機クラスタから削除する。そして本処理を終了する。
　以上によれば、スケールイン処理において、ノード１１０が管理するデータ量がそのノード１１０が管理可能な最大データ量を超えることを防止することができる。なお、本処理の具体例を、図２０Ａ～図２０Ｇに示す。
　図１２は、構成管理プロセス１３０の電文実行部１３３の処理例を示すフローチャートである。
　（Ｓ５００）電文実行部１３３は、受領した電文が構成変更電文であるか否かを判定し、その判定結果が「ＹＥＳ」ならばＳ５０４へ進み、「ＮＯ」ならばＳ５０２へ進む。
　（Ｓ５０２）電文実行部１３３は、受領した電文が採番電文であるか否かを判定し、その判定結果が「ＹＥＳ」ならばＳ５１０へ進み、「ＮＯ」ならば本処理を終了する。
＜構成変更電文の場合＞
　（Ｓ５０４）電文実行部１３３は、初期化電文を受領しているレンジプロセス１７０を含むノード１１０の構成管理プロセス１３０であって、代表となる構成管理プロセス１３０であるか否かを判定する。その判定結果が「ＹＥＳ」ならばＳ５１２へ進み、「ＮＯ」ならば本処理を終了する。
　（Ｓ５１２）電文実行部１３３は、レンジプロセス１７０に上限データ量上げ電文を送信し本処理を終了する。また、電文を送信する際に、操作発行部１３５を通して処理番号を付与してもよい。
＜採番電文の場合＞
　（Ｓ５１０）発番部１３４は、その受領した採番電文に対応する処理番号を発番し、本処理を終了する。発番部１３４の処理の詳細については後述する（図１３参照）
　図１３は、構成管理プロセス１３０の発番部１３４の処理例を示すフローチャートである。
　（Ｓ６００）発番部１３４は、電文実行部１３３から採番電文を受け取ると、Ｓ６０２の処理に進む。
　（Ｓ６０２）発番部１３４は、発番情報４００に含まれる処理番号よりも大きな処理番号を発番する。そしてＳ６０４へ進む。
　（Ｓ６０４）発番部１３４は、Ｓ６０２で発番した処理番号を発番情報４００に登録する。そしてＳ６０６へ進む。
　（Ｓ６０６）発番部１３４は、自分が原始的配信部１３１で採番電文を受領したノード１１０であるか否かを判定し、その判定結果が「ＹＥＳ」ならばＳ６０８へ進み、「ＮＯ」ならば本処理を終了する。
　（Ｓ６０８）発番部１３４は、Ｓ６０２で発番した処理番号を、採番電文の送信元（例えばリバランス装置２０）に返す。そして本処理を終了する。
　図１４は、レンジプロセス１７０の処理番号制御部１７４の処理例を示すフローチャートである。
　（Ｓ７００）処理番号制御部１７４は、電文貯蓄部１７２から電文を取り出す。そしてＳ７０２へ進む。
　（Ｓ７０２）処理番号制御部１７４は、Ｓ７００で取り出した電文の処理番号が、処理制御情報７００に登録されている最終処理番号以上であるか否かを判定する。処理番号制御部１７４は、その判定結果が「ＹＥＳ」ならばＳ７０４へ進み、「ＮＯ」ならば本処理を終了する。
　（Ｓ７０４）処理番号制御部１７４は、最終処理番号を、その取得した電文の処理番号に更新する。そしてＳ７０６へ進む。
　（Ｓ７０６）処理番号制御部１７４は、Ｓ７００で取り出した電文を状態制御部１７６に渡し、本処理を終了する。
　図１５は、レンジプロセス１７０の状態制御部１７６の処理例を示すフローチャートである。
　（Ｓ８００）状態制御部１７６は、処理番号制御部１７４から電文を受け取ると、Ｓ８０２へ進む。
　（Ｓ８０２）状態制御部１７６は、状態遷移情報８００を参照し、Ｓ８００で受け取った電文が、処理制御情報７００の現在の状態において実行可能であるか否かを判定する。状態制御部１７６は、その判定結果が「ＹＥＳ」ならばＳ８０４へ進み、「ＮＯ」ならば本処理を終了する。
　（Ｓ８０４）状態制御部１７６は、Ｓ８００で受け取った電文を電文実行部１７３に渡し、本処理を終了する。
　図１６は、レンジプロセス１７０の電文実行部１７３の処理例を示すフローチャートである。
　（Ｓ９００）電文実行部１７３は、状態制御部１７６から電文を受け取ると、Ｓ９０２へ進む。
　（Ｓ９０２）電文実行部１７３は、その電文がデータ更新電文であるか否かを判定し、その判定結果が「ＹＥＳ」ならばＳ９０４へ進み、「ＮＯ」ならばＳ９１０へ進む。
　（Ｓ９１０）電文実行部１７３は、その電文が上限データ量上げ電文であるか否かを判定し、その判定結果が「ＹＥＳ」ならばＳ９１２へ進み、「ＮＯ」ならばＳ９２０へ進む。
　（Ｓ９２０）電文実行部１７３は、その電文が上限データ量下げ電文であるか否かを判定し、その判定結果が「ＹＥＳ」ならばＳ９２２へ進み、「ＮＯ」ならばＳ９３０へ進む。
　（Ｓ９３０）電文実行部１７３は、その電文が初期化電文であるか否かを判定し、その判定結果が「ＹＥＳ」ならばＳ９３２へ進み、「ＮＯ」ならば本処理を終了する。
＜データ更新電文の場合＞
　（Ｓ９０４）電文実行部１７３は、データをデータストア部１７７に蓄積し、本処理を終了する。
＜上限データ量上げ電文の場合＞
　（Ｓ９１２）電文実行部１７３は、リソース情報５００の上限データ量を上げ操作する。例えば、リソース情報５００の上限データ量を、上限データ量上げ電文の指定する値に変更する。そしてＳ９１４へ進む。
　（Ｓ９１４）電文実行部１７３は、処理制御情報７００の現在の状態を「上限データ量上げ状態」に変更し、本処理を終了する。
＜上限データ量下げ電文の場合＞
　（Ｓ９２２）電文実行部１７３は、リソース情報５００の上限データ量を下げ操作する。例えば、リソース情報５００の上限データ量を、上限データ量下げ電文の指定する値に変更する。そしてＳ９２４へ進む。
　（Ｓ９２４）電文実行部１７３は、処理制御情報７００の現在の状態を「上限データ量下げ状態」に変更し、本処理を終了する。
＜初期化電文の場合＞
　（Ｓ９３２）電文実行部１７３は、処理制御情報７００を「初期状態」に変更し、本処理を終了する。
　図１７は、レンジプロセス１７０のリソースチェック部１７５の処理例を示すフローチャートである。
　（Ｓ１０００）リソースチェック部１７５は、リソース情報５００から上限データ量を取得する。
　（Ｓ１００２）リソースチェック部１７５は、受領したデータ更新電文のデータをそのレンジに登録しても、Ｓ１０００で取得した上限データ量を超えないか否かを判定する。リソースチェック部１７５は、その判定結果が「ＹＥＳ」ならばＳ１００４へ進み、「ＮＯ」ならば本処理を終了する。
　（Ｓ１００４）リソースチェック部１７５は、原始的配信部１７１にそのデータ更新電文を渡し、本処理を終了する。
　次に、リバランス処理、スケールアウト処理、及び、スケールイン処理の具体的な例を示す。
　図１８Ａ～図１８Ｉは、本実施例におけるリバランス処理の例を説明するための図である。
　（図１８Ａ）ノードＡがレンジ１及びレンジ４を管理し、ノードＢがレンジ１及びレンジ２を管理し、ノードＣがレンジ２及びレンジ３を管理し、ノードＤがレンジ３及びレンジ４を管理している構成において、レンジ３内のデータの一部をレンジ２に移動させるリバランス処理を行う。各ノードの最大メモリ量は「２００」、各レンジの監視上限（上限データ量に相当）は「１００」とする。
　（図１８Ｂ）Ｓ２０４の処理により、移動元レンジ３を管理するノードＣ及びノードＤに空の一時レンジ３．５を作成する。ここで、空の一時レンジ３．５の監視上限を「３８」とする。
　（図１８Ｃ）Ｓ２０６の処理により、移動元レンジ３及び移動先レンジ２の上限データ量下げ電文（監視上限を「６２」に変更する電文）を送信し、移動元レンジ３及び移動先レンジ２の監視上限を「６２」に変更する。この監視上限の値は、ノードが管理する全てのレンジの監視上限の合計が、ノードの最大メモリ量「２００」を超えないように決定されてよい。
　（図１８Ｄ）Ｓ２０８の処理により、移動元レンジ３内の一部のデータを一時レンジ３．５に移動させる。
　（図１８Ｅ）Ｓ２１０の処理により、一時レンジ３．５を、移動先レンジ２を管理するノードＢに複製する。このとき、ノードＢには、レンジ１とレンジ２とレンジ３．５が存在するが、図１８Ｃにおいてレンジ２の監視上限が「６２」に下げられているので、これらのレンジの監視上限の合計は、ノードＢの最大メモリ量「２００」を超えない。すなわち、リソース溢れが防止される。
　（図１８Ｆ）Ｓ２１２の処理により、レンジ３．５をレンジ２に併合する。
　（図１８Ｇ）Ｓ２１４の処理により、不要となったレンジ３．５を削除する。
　（図１８Ｈ）Ｓ２１６の処理により、移動元レンジ３及び移動先レンジ２の上限データ量上げ電文（監視上限を「１００」に変更する電文）を送信し、移動元レンジ３及び移動先レンジ２の監視上限を「１００」に変更する。これにより、図１８Ｃで一旦下げられたレンジ２及び３の監視上限が元に戻る。
　（図１８Ｉ）これらのリバランス処理が行われている間、例えばクライアント装置４０は、各レンジに対してデータ更新電文を送信してもよい。また、スケールアウト、スケールインについても同様である。
　図１９Ａ～図１９Ｈは、本実施例におけるスケールアウト処理の例を説明するための図である。
　（図１９Ａ）ノードＡがレンジ１及びレンジ４を管理し、ノードＣがレンジ１及びレンジ３を管理し、ノードＤがレンジ３及びレンジ４を管理している構成において、計算機クラスタにノードＢを追加するスケールアウト処理を行う。各ノードの最大メモリ量は「２００」、各レンジの監視上限は「１００」とする。
　（図１９Ｂ）Ｓ３００の処理において、ノードＢを計算機クラスタに追加する。
　（図１９Ｃ）Ｓ３０６の処理において、移動元レンジ３を管理するノードＣ及びレンジ４に空の移動先レンジ３．５を作成する。ここで、移動先レンジ３．５の監視上限を「３８」とする。
　（図１９Ｄ）Ｓ３０８の処理により、移動元レンジ３の上限データ量下げ電文の送信処理し、移動先レンジ３の監視上限を「６２」に変更する。
　（図１９Ｅ）Ｓ３１０の処理により、移動元レンジ３内の一部のデータを移動先レンジ３．５に移動させる。このとき、ノードＣには、レンジ１とレンジ３とレンジ３．５とが存在するが、図１９Ｄにおいてレンジ３の監視上限が「６２」に下げられているので、これらのレンジの監視上限の合計は、ノードＣの最大メモリ量「２００」を超えない。ノードＤについても同様である。つまり、リソース溢れが防止される。
　（図１９Ｆ）Ｓ３１２の処理により、移動先レンジ３．５を追加ノードＢにコピーする。また、全体でデータ量が均等化されるように、必要に応じて、ノードＡのレンジ１を追加ノードＢにコピーしてもよい。
　（図１９Ｇ）Ｓ３１４の処理により、余分となった（不要な）ノードＣのレンジ１及びノードＤのレンジ３．５を削除する。
　（図１９Ｈ）Ｓ３１６の処理により、移動元レンジ３及び移動先レンジ３．５の上限データ量上げ電文（監視上限を「１００」に変更する電文）を送信し、移動元レンジ３及び移動先レンジ３．５の監視上限を「１００」に変更する。これにより、図１９Ｅで一旦下げられた移動元レンジ３の監視上限が元に戻る。また、図１９Ｃで作成された移動先レンジ３．５の監視上限が「１００」に上がる。
　図２０Ａ～図２０Ｇは、本実施例におけるスケールイン処理の例を説明するための図である。
　（図２０Ａ）ノードＡがレンジ１及びレンジ４を管理し、ノードＢがレンジ１及びレンジ２を管理し、ノードＣがレンジ２及びレンジ３を管理し、ノードＤがレンジ３及びレンジ４を管理している構成において、ノードＢを計算機クラスタから切り離すスケールイン処理を行う。各ノードの最大メモリ量は「２００」、各レンジの監視上限は「１００」である。
　（図２０Ｂ）Ｓ４０４の処理により、移動元レンジ２及び移動先レンジ３の上限データ量下げ電文（監視上限を「５０」に変更する電文）を送信し、移動元レンジ２及び移動先レンジ３の監視上限を「５０」に変更する。
　（図２０Ｃ）Ｓ４０６の処理により、移動元レンジ２を、移動先レンジ３を管理するノードＤにコピーする。このとき、ノードＤには、レンジ２とレンジ３とレンジ４とが存在するが、図２０Ｂにおいてレンジ３とレンジ４の監視上限が「５０」に下げられているので、これらのレンジの監視上限の合計は、ノードＤの最大メモリ量「２００」を超えない。つまり、リソース溢れが防止される。なお、冗長性を確保するために、削除対象のノードＢが管理するレンジ１を、ノードＣにコピーしてよい。
　（図２０Ｄ）Ｓ４０８の処理により、移動元レンジ２を移動先レンジ３に併合させる。
　（図２０Ｅ）Ｓ４１０の処理により、不要となった移動元レンジ２を削除する。
　（図２０Ｆ）Ｓ４１２の処理により、併合レンジ３の上限データ量上げ電文を送信し、併合データ量の監視上限を「１００」に変更する。これにより、図２０Ｂでいったん下げられた移動先レンジ３の監視上限が元に戻る。
　（図２０Ｇ）Ｓ４１４の処理により、削除対象のノードＢを計算機クラスタから削除する。
　図２１Ａ～図２１Ｈは、リバランス処理において電文の二重実施が防止される例を説明するための図である。
　（図２１Ａ）ノードＡがレンジ１及びレンジ４を管理し、ノードＢがレンジ１及びレンジ２を管理し、ノードＣがレンジ２及びレンジ３を管理し、ノードＤがレンジ３及びレンジ４を管理している構成において、現用系のリバランス装置２０が、レンジ３内のデータの一部をレンジ２に移動させるリバランス処理を行う。各ノードの最大メモリ量は「２００」、各レンジの監視上限は「１００」とする。現用系のリバランス装置２０のＳ２００の処理により、構成管理プロセス１３０に採番電文を送信する。
　（図２１Ｂ）採番電文を受領した構成管理プロセス１３０は、Ｓ６００～Ｓ６０８の処理により、処理番号「１」を発番し、現用系のリバランス装置２０へ送信する。また、構成管理プロセス１３０は、その発番した処理番号「１」を、発番情報４００に登録する。処理番号「１」を受領した現用系のリバランス装置２０は、この処理番号「１」を保持する。
　（図２１Ｃ）現用系のリバランス装置２０のＳ２０６の処理により、保持中の処理番号「１」を含む、移動元レンジ２及び移動先レンジ３の上限データ量下げ電文（監視上限を「６２」に変更する電文）を送信する。この上限データ量下げ電文の処理番号１は、構成管理プロセス１３０が発番情報４００に保持中の処理番号「１」と同じ（Ｓ７０２の判定結果が「ＹＥＳ」）なので、実行される。つまり、監視上限が「６２」に変更される。そして、この移動元レンジ２及び移動先レンジ３には、処理番号「１」が対応付けられる。
　（図２１Ｄ）ここで、死活監視装置３０が、現用系のリバランス装置２０が停止したと誤判断したとする。誤判断の例は、現用系のリバランス装置２０の処理負荷が高く、死活監視装置３０へのＰＩＮＧ応答が遅れた（タイムアウトになった）場合などである。この場合、死活監視装置３０は、待機系のリバランス装置２０に対して処理の切り替えを指示する。
　（図２１Ｅ）待機系のリバランス装置２０は、上記の図２１Ａと同様、構成管理プロセス１３０に採番電文を送信する。採番電文を受領した構成管理プロセス１３０の発番部１３４は、例えば、発番情報４００に保持中の処理番号「１」よりも大きい処理番号「２」を発番し、待機系のリバランス装置２０へ送信する。また、構成管理プロセス１３０は、その発番した処理番号「２」を発番情報４００に登録する。処理番号「２」を受領した待機系のリバランス装置２０は、この処理番号「２」を保持する。
　（図２１Ｆ）待機系のリバランス装置２０のＳ２０６の処理により、上記の図２１Ｃと同様、保持中の処理番号２を含む、移動元レンジ２及び移動先レンジ３の上限データ量下げ電文（監視上限を「６２」に変更する電文）を送信する。この上限データ量下げ電文は、構成管理プロセス１３０が発番情報４００に保持中の処理番号２と同じ（Ｓ７０２の判定結果が「ＹＥＳ」）なので、実行される。つまり、監視上限は同じく「６２」に変更される。そして、この移動元レンジ２及び移動先レンジ３には、処理番号「２」が対応付けられる。
　（図２１Ｇ）ここで、実際は停止していなかった現用系のリバランス装置２０が、図２１Ｃで実施したＳ２０６以降の処理（つまりＳ２０８～Ｓ２１６の処理）を引き続き実施しようとする。例えば、Ｓ２１６の処理として、保持中の処理番号「１」を含む、移動元レンジ２及び移動先レンジ３の上限データ量上げ電文（管理上限を「１００」に変更する電文）を送信する。しかし、この上限データ量上げ電文の処理番号「１」は、レンジ２及び３に対応付けられている処理番号「２」よりも小さい（Ｓ７０２の判定結果が「ＮＯ」）なので、実行されない。すなわち、電文の二重実施が防止され、監視上限は「６２」のままとなる。
　（図２１Ｈ）一方、待機系のリバランス装置２０も、上記図２１Ｆで実施したＳ２０６以降の処理（つまりＳ２０８～Ｓ２１６の処理）を引き続き実施しようとする。例えば、Ｓ２１６の処理として、保持中の処理番号「２」を含む、移動元レンジ２及び移動先レンジ３の上限データ量上げ電文（管理上限を「１００」に変更する電文）を送信する。この上限データ量上げ電文の処理番号「２」は、レンジ２及び３に対応付けられている処理番号「２」と同じ（Ｓ７０２の判定結果が「ＹＥＳ」）なので、実行される。つまり、監視上限は「１００」に変更される。
　以上の処理によれば、現用系及び待機系のリバランス装置２０が存在する構成において、リバランス処理が二重実施されることを防止することができる。
　上述した実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
　１０：計算機装置　２０：リバランス装置　２２：スケールイン装置　２４：スケールアウト装置　３０：死活監視装置　４０：クライアント装置　１１０：ノード　１３０：構成管理プロセス　１７０：レンジプロセス

Claims (9)

  1. 　複数の計算機装置を備える計算機システムであって、
    　複数の計算機装置は、プロセッサ及びメモリを備え、分散ＫＶＳ（Ｋｅｙ－Ｖａｌｕｅ　Ｓｔｏｒｅ）を構成するための複数のノードを実行し、
    　複数のノードは、管理可能なデータ量の上限である上限データ量がそれぞれに設定されている複数のキーレンジを有し、
    　複数のノードは、新規のキーレンジを作成する場合、その新規のキーレンジの上限データ量と既存のキーレンジの上限データ量との合計が前記計算機装置のメモリの容量に基づく量である最大量を超えないように、前記既存のキーレンジの上限データ量を下げる
    計算機システム。
  2. 　複数のノードは、それぞれが管理しているデータ量に偏りが存在するときにキーレンジを変更する処理であるリバランス処理を行う場合、
    　　データの移動元及び移動先のキーレンジの上限データ量を下げた後、移動元のキーレンジの一部を分割して新規のキーレンジを生成し、
    　　その新規のキーレンジに移動元のキーレンジの一部のデータを移行し、
    　　その新規のキーレンジを移動先のキーレンジを管理するノードにコピーし、
    　　そのコピーした新規のキーレンジを移動先のキーレンジに併合し、
    　　移動元及び併合後のキーレンジの上限データ量を上げる
    請求項１に記載の計算機システム。
  3. 　複数のノードは、新規ノードを追加する処理であるスケールアウト処理を行う場合、
    　　データの移動元のキーレンジの上限データ量を下げた後、移動元のキーレンジの一部を分割して新規のキーレンジを生成し、
    　　その新規のキーレンジに移動元のキーレンジの一部のデータを移行し、
    　　その新規のキーレンジを新規ノードにコピーし、
    　　移動元及び新規のキーレンジの上限データ量を上げる
    請求項１に記載の計算機システム。
  4. 　複数のノードは、既存のノードを削除する処理であるスケールイン処理を行う場合、
    　　移動先のキーレンジ及び削除対象のノードが有する移動元のキーレンジの上限データ量を下げた後、
    　　その移動元のキーレンジを移動先のキーレンジを管理するノードにコピーし、
    　　そのコピーした移動元のキーレンジを移動先のキーレンジに併合し、
    　　併合後のキーレンジの上限データ量を上げる
    請求項１に記載の計算機システム。
  5. 　前記リバランス処理に関する指示を複数のノードに発行するリバランス装置をさらに備え、
    　複数のノードにおけるキーレンジの上限データ量の下げる及び上げる処理は、前記リバランス装置から発行される指示に基づいて行われる
    請求項２に記載の計算機システム。
  6. 　複数のノードは、キーレンジの上限データ量の状態が、初期状態、下げ状態、又は、上げ状態の何れであるかを管理し、
    　　前記リバランス装置からキーレンジの上限データ量を下げる指示を受領したとき、前記キーレンジの上限データ量の状態が初期状態ならば当該指示を実行し、それ以外の状態ならば当該指示を実行せず、
    　　前記リバランス装置からキーレンジの上限データ量を上げる指示を受領したとき、前記キーレンジの上限データ量の状態が初期状態又は上げ状態ならば当該指示を実行し、前記キーレンジの上限データ量の状態が上げ状態ならば当該指示を実行しない
    請求項５に記載の計算機システム。
  7. 　複数のノードは、リバランス装置にリバランス処理に対応する処理番号を提供し、
    　リバランス装置は、複数のノードに対する指示にその提供された処理番号を含め、
    　複数のノードは、
    　　最後に実施した処理番号を管理しておき、
    　　リバランス装置から受領した指示に含まれる処理番号が、最後に実施した処理番号と同じ又はそれより大きいならばその指示を実施し、前記処理番号が最後の実施した処理番号よりも小さいならばその指示を実施しない
    請求項５に記載の計算機システム。
  8. 　キーレンジの上限データ量を上げる又は下げる指示は、複数のノードの間で原始的配信される
    請求項５に記載の計算機システム。
  9. 　複数の計算機装置を備える計算機システムで実行されるデータ処理方法であって、
    　複数の計算機装置は、プロセッサ及びメモリを備え、分散ＫＶＳを構成するための複数のノードを実行し、
    　複数のノードは、管理可能なデータ量の上限である上限データ量がそれぞれに設定されている複数のキーレンジを有し、
    　複数のノードは、新規のキーレンジを作成する場合、その新規のキーレンジの上限データ量と既存のキーレンジの上限データ量との合計が前記計算機装置のメモリの容量に基づく量である最大量を超えないように、前記既存のキーレンジの上限データ量を下げる
    データ処理方法。
PCT/JP2016/052642 2016-01-29 2016-01-29 計算機システム、及び、データ処理方法 WO2017130377A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/052642 WO2017130377A1 (ja) 2016-01-29 2016-01-29 計算機システム、及び、データ処理方法
JP2017544685A JP6360634B2 (ja) 2016-01-29 2016-01-29 計算機システム、及び、データ処理方法
US15/561,214 US10719496B2 (en) 2016-01-29 2016-01-29 Computer system and data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/052642 WO2017130377A1 (ja) 2016-01-29 2016-01-29 計算機システム、及び、データ処理方法

Publications (1)

Publication Number Publication Date
WO2017130377A1 true WO2017130377A1 (ja) 2017-08-03

Family

ID=59397701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052642 WO2017130377A1 (ja) 2016-01-29 2016-01-29 計算機システム、及び、データ処理方法

Country Status (3)

Country Link
US (1) US10719496B2 (ja)
JP (1) JP6360634B2 (ja)
WO (1) WO2017130377A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10725988B2 (en) 2017-02-09 2020-07-28 Micron Technology, Inc. KVS tree
US10706106B2 (en) 2017-02-09 2020-07-07 Micron Technology, Inc. Merge tree modifications for maintenance operations
US10719495B2 (en) 2017-02-09 2020-07-21 Micron Technology, Inc. Stream selection for multi-stream storage devices
US10706105B2 (en) 2017-02-09 2020-07-07 Micron Technology, Inc. Merge tree garbage metrics
CN109325015B (zh) * 2018-08-31 2021-07-20 创新先进技术有限公司 一种领域模型的特征字段的提取方法及装置
US10915546B2 (en) 2018-10-10 2021-02-09 Micron Technology, Inc. Counter-based compaction of key-value store tree data block
US11100071B2 (en) * 2018-10-10 2021-08-24 Micron Technology, Inc. Key-value store tree data block spill with compaction
US11256696B2 (en) * 2018-10-15 2022-02-22 Ocient Holdings LLC Data set compression within a database system
US11048755B2 (en) 2018-12-14 2021-06-29 Micron Technology, Inc. Key-value store tree with selective use of key portion
US10852978B2 (en) 2018-12-14 2020-12-01 Micron Technology, Inc. Key-value store using journaling with selective data storage format
US10936661B2 (en) 2018-12-26 2021-03-02 Micron Technology, Inc. Data tree with order-based node traversal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061739A (ja) * 2011-09-12 2013-04-04 Fujitsu Ltd データ管理装置、データ管理システム、データ管理方法、及びプログラム
WO2015072025A1 (ja) * 2013-11-18 2015-05-21 株式会社日立製作所 計算機システム、計算機システム管理方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8234391B2 (en) * 2006-09-20 2012-07-31 Reuters America, Llc. Messaging model and architecture
US8595130B2 (en) 2008-12-05 2013-11-26 Bank Of America Corporation Modifiable mortgage
US9009112B2 (en) * 2010-03-15 2015-04-14 Microsoft Technology Licensing, Llc Reorganization of data under continuous workload
US9805108B2 (en) * 2010-12-23 2017-10-31 Mongodb, Inc. Large distributed database clustering systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061739A (ja) * 2011-09-12 2013-04-04 Fujitsu Ltd データ管理装置、データ管理システム、データ管理方法、及びプログラム
WO2015072025A1 (ja) * 2013-11-18 2015-05-21 株式会社日立製作所 計算機システム、計算機システム管理方法及びプログラム

Also Published As

Publication number Publication date
US10719496B2 (en) 2020-07-21
JPWO2017130377A1 (ja) 2018-02-01
US20180067975A1 (en) 2018-03-08
JP6360634B2 (ja) 2018-07-18

Similar Documents

Publication Publication Date Title
JP6360634B2 (ja) 計算機システム、及び、データ処理方法
US11163727B2 (en) Scalable grid deduplication
US10162843B1 (en) Distributed metadata management
JP5952960B2 (ja) 計算機システム、計算機システム管理方法及びプログラム
JP5701398B2 (ja) 計算機システム、データ管理方法及びプログラム
US20110313971A1 (en) Storage system
US8661055B2 (en) File server system and storage control method
US10146694B1 (en) Persistent cache layer in a distributed file system
US20200341639A1 (en) Lattice layout of replicated data across different failure domains
US11231862B1 (en) Localized lookups for efficient database service request processing
US20220374173A1 (en) Methods for accelerating storage operations using computational network and storage components and devices thereof
KR101527634B1 (ko) 샤딩 서비스를 제공하는 방법 및 장치
US11275717B2 (en) Web-scale distributed deduplication
US11294931B1 (en) Creating replicas from across storage groups of a time series database
US11341009B1 (en) Directing placement of data in cloud storage nodes
JP2011232840A (ja) アクセス制御情報管理方法、計算機システム及びプログラム
US11194501B2 (en) Standby copies withstand cascading fails
US20220391411A1 (en) Dynamic adaptive partition splitting
WO2017188929A1 (en) Method and apparatus for replicating data between storage systems
US11188258B2 (en) Distributed storage system
JP6007340B2 (ja) 計算機システム、計算機システム管理方法及びプログラム
US11675523B2 (en) Remote copy of compressed journal data and corresponding metadata
JP6055197B2 (ja) データベースシステム
WO2021187194A1 (ja) 分散処理システム、分散処理システムの制御方法、及び、分散処理システムの制御装置
US11860835B1 (en) Efficient drop column requests in a non-relational data store

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017544685

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15561214

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16887964

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16887964

Country of ref document: EP

Kind code of ref document: A1