WO2013103012A1 - 情報処理装置、データ管理方法およびプログラム - Google Patents

情報処理装置、データ管理方法およびプログラム Download PDF

Info

Publication number
WO2013103012A1
WO2013103012A1 PCT/JP2012/050158 JP2012050158W WO2013103012A1 WO 2013103012 A1 WO2013103012 A1 WO 2013103012A1 JP 2012050158 W JP2012050158 W JP 2012050158W WO 2013103012 A1 WO2013103012 A1 WO 2013103012A1
Authority
WO
WIPO (PCT)
Prior art keywords
segment
data
segments
label
data belonging
Prior art date
Application number
PCT/JP2012/050158
Other languages
English (en)
French (fr)
Inventor
美穂 村田
裕一 槌本
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2012/050158 priority Critical patent/WO2013103012A1/ja
Priority to JP2013552374A priority patent/JP5765441B2/ja
Priority to EP12864659.3A priority patent/EP2801911A4/en
Publication of WO2013103012A1 publication Critical patent/WO2013103012A1/ja
Priority to US14/315,377 priority patent/US20140310321A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/2312—Data placement on disk arrays

Definitions

  • the present invention relates to an information processing apparatus, a data management method, and a program.
  • a key and data are associated with each other and stored in one or more storage devices.
  • Software such as application software performs data operations such as data reading (reading) and writing (writing) by specifying a key, for example.
  • data is distributed and stored in a plurality of storage devices, for example, the storage device of the data storage destination is determined using a key and a hash function, and the storage device storing the desired data is searched. .
  • a method of managing data in segment units by dividing a set of keys into a plurality of segments so that the data can be managed efficiently For example, a method for determining a storage device for storing data on a segment basis has been proposed. As a method of dividing a set of keys into a plurality of segments and assigning the keys to the segments, for example, a method using a binary tree called PHT (Prefix Hash Tree) has been proposed.
  • PHT Prefix Hash Tree
  • Each node of PHT is given a binary number with a length corresponding to the depth from the root node as a label.
  • the root node has node 0 and node 1 as child nodes.
  • Node 0 has node 00 and node 01 as child nodes.
  • Each key is assigned to one leaf node (a node that has no child nodes) by comparing the prefix (a few bits from the beginning of the key) with the label when the key is expressed in binary number. .
  • Keys and data are managed in units of segments corresponding to leaf nodes.
  • the depth of PHT (the degree of segment division) is determined according to the amount of data to be managed, for example.
  • an object of the present invention is to provide an information processing apparatus, a data management method, and a program that can reduce a communication amount for data management in an information processing system including a plurality of storage devices.
  • an information processing device is provided that is used in an information processing system that divides a set of keys associated with stored data into a plurality of segments and manages the arrangement of data in the plurality of storage devices in units of segments. Is done.
  • the information processing apparatus includes a storage unit and a control unit.
  • the storage unit stores segment information indicating a correspondence relationship between segments and keys.
  • the control unit divides the one segment into a plurality of segments and updates the segment information according to an increase in data belonging to the one segment.
  • a data management method provided by an information processing system that divides a set of keys associated with stored data into a plurality of segments and manages the arrangement of data in a plurality of storage devices in units of segments. Is done.
  • the data management method according to an increase in data belonging to one segment, the one segment is divided into a plurality of segments, and segment information indicating the correspondence between the segment and the key is updated.
  • N N> 1
  • N satisfies a predetermined condition
  • a plurality of second segments The data belonging to at least one of the segments is allowed to move from the first storage device storing the data belonging to the first segment to the second storage device.
  • N does not satisfy the predetermined condition, movement of data belonging to the plurality of second segments is restricted.
  • a set of keys associated with stored data is divided into a plurality of segments, and is executed by a computer used in an information processing system that manages the arrangement of data in a plurality of storage devices in units of segments.
  • a program is provided. This program causes a computer to execute the following processing. As the data belonging to one segment increases, the one segment is divided into a plurality of segments, and the segment information indicating the correspondence between the segment and the key is updated.
  • a plurality of second segments are obtained by dividing N (N> 1) times once or hierarchically from the first segment, if N satisfies a predetermined condition, a plurality of second segments
  • the data belonging to at least one of the segments is allowed to move from the first storage device storing the data belonging to the first segment to the second storage device.
  • N does not satisfy the predetermined condition, movement of data belonging to the plurality of second segments is restricted.
  • FIG. 1 is a diagram illustrating the information processing apparatus according to the first embodiment.
  • the information processing apparatus 10 divides a set of keys associated with stored data into a plurality of segments, and arranges data in the storage apparatuses 20-1 to 20-n (n is a natural number of 2 or more) in units of segments. Used for information processing system to manage. Some of the storage devices 20-1 to 20-n may be storage devices included in the information processing apparatus 10.
  • the information processing apparatus 10 includes a storage unit 11 and a control unit 12.
  • the storage unit 11 stores segment information.
  • the segment information indicates the relationship between the key and the segment. As shown in FIG. 1, the segments are expressed in a hierarchical structure. As the hierarchical structure, for example, a trie tree or a prefix tree is applicable.
  • the storage unit 11 may be a storage device such as a RAM (Random Access Memory) or an HDD (Hard Disk Drive).
  • the control unit 12 updates the segment information by dividing the segment into a plurality of segments in accordance with an increase in data belonging to the segment (for example, an increase in the amount of data or an increase in the number of keys in which data exists). For example, the control unit 12 refers to the segment information in the storage unit 11 and divides the segment into two or more segments based on the amount of data belonging to a certain segment or the number of keys in which data exists and a threshold value. The amount of data or the number of keys can be confirmed, for example, by accessing a storage device in which segments are arranged.
  • FIG. 1 shows an example in which one segment is hierarchically divided into two segments.
  • a circle indicates a segment, and an arrow indicates that data belonging to the segment is transferred from one storage device to another storage device.
  • N indicates a hierarchy.
  • the control unit 12 determines whether each division satisfies a predetermined division depth condition when a plurality of segments are generated by hierarchical division based on a certain segment. When the division satisfies a predetermined division depth condition, the control unit 12 transfers the data belonging to at least one of the plurality of generated segments from the storage device storing the data belonging to the original segment. It is allowed to move (transfer) to another storage device. When the division does not satisfy the predetermined division depth condition, the control unit 12 restricts movement of data belonging to the generated plurality of segments.
  • the condition of the division depth is, for example, whether or not the layer interval between the layer to which the original segment belongs and the layer to which the plurality of generated segments belong is a multiple of two or more predetermined layer intervals.
  • the division depth condition is satisfied when the hierarchical interval is a multiple of the predetermined hierarchical interval, and the division depth condition is not satisfied when the hierarchical interval is not a multiple of the predetermined hierarchical interval.
  • Information indicating the predetermined hierarchy interval is stored in the storage unit 11 in advance, for example.
  • the predetermined hierarchy interval is 2
  • the interval is 1.
  • data belonging to at least one of the plurality of segments sg5a, sg5b, sg5c, and sg5d that are grandchild segments of the segment sg3d can be transferred from the storage device storing the data belonging to the segment sg3d to another storage device.
  • Permissible. As shown in FIG. 1, for example, data belonging to segments sg5b, sg5c, and sg5d is transferred from a storage device storing data belonging to segment sg3d of n 3 to another storage device.
  • the control unit 12 may be realized as a program executed using a CPU (Central Processing Unit) and a RAM. As described above, when the control unit 12 divides a segment hierarchically and generates a plurality of segments that are descendants of the segment, when the division does not satisfy a predetermined division depth condition, The movement of the data belonging to the generated segment to another storage device is restricted.
  • a CPU Central Processing Unit
  • FIG. 2 illustrates an information processing system according to the second embodiment.
  • the information processing system according to the second embodiment includes server apparatuses 100, 100a, 100b, and 100c, a management apparatus 200, and a client apparatus 300.
  • Server apparatuses 100, 100 a, 100 b, 100 c and management apparatus 200 are connected to a network 41.
  • the client device 300 is connected to the network 42.
  • the information processing system according to the second embodiment may be realized as a so-called cloud system.
  • the server apparatuses 100, 100a, 100b, and 100c are server computers that manage data in a distributed manner.
  • the server devices 100, 100a, 100b, and 100c store a key for identifying the data and the data in association with each other, and hold segment information for searching for the server device storing the data from the key. ing.
  • Any server device can accept a data processing request from the client device 300.
  • the server device that has received the request including the key searches the server device in which the processing target data is stored based on the segment information, and requests the searched server device for data processing.
  • the management apparatus 200 is a computer used by a user (for example, an information processing system administrator).
  • the management device 200 manages the server devices 100, 100a, 100b, and 100c based on user operations. For example, when a server device that stores data is added to the information processing system, the management device 200 transmits information on the added server device to the server devices 100, 100a, 100b, and 100c. Also, setting information for adjusting the distributed arrangement of data is transmitted to the server apparatuses 100, 100a, 100b, and 100c.
  • the client device 300 is a computer used by a user (for example, a user of a cloud service).
  • application software that handles data stored in the server devices 100, 100a, 100b, and 100c is executed.
  • the client device 300 transmits a data processing request to an arbitrary server device among the server devices 100, 100a, 100b, and 100c via the networks 41 and 42. In the request, one key or a range of keys is specified.
  • Data processing includes data read (read) and write (write).
  • the requested data processing is executed by transmitting a message between the server devices 100, 100a, 100b, and 100c.
  • the information processing system according to the second embodiment can be designed so that a device that becomes a bottleneck for data processing does not occur as much as possible, and can improve availability, response performance, and the like. .
  • FIG. 3 is a block diagram illustrating a hardware example of the server apparatus.
  • the server apparatus 100 includes a CPU 101, a RAM 102, an HDD 103, an image signal processing unit 104, an input signal processing unit 105, a disk drive 106, and a communication unit 107.
  • the unit is connected to a bus in the server device 100.
  • the server devices 100a, 100b, and 100c, the management device 200, and the client device 300 can also be realized by the same hardware as the server device 100.
  • the CPU 101 is an arithmetic device that controls information processing in the server device 100.
  • the CPU 101 reads out at least a part of the programs and data stored in the HDD 103, expands them in the RAM 102, and executes the programs.
  • the server device 100 may include a plurality of arithmetic devices and execute information processing in a distributed manner.
  • the RAM 102 is a volatile memory that temporarily stores programs and data handled by the CPU 101.
  • the server device 100 may include a type of memory other than the RAM, or may include a plurality of memories.
  • the HDD 103 is a non-volatile storage device that stores programs such as an OS (Operating System) program and an application program, and data used for information processing.
  • the HDD 103 reads / writes data from / into the built-in magnetic disk according to instructions from the CPU 101.
  • the server device 100 may include a nonvolatile storage device (for example, SSD (Solid State Drive)) other than the HDD, or may include a plurality of storage devices.
  • the image signal processing unit 104 outputs an image to the display 31 connected to the server apparatus 100 in accordance with an instruction from the CPU 101.
  • the display 31 for example, a CRT (Cathode Ray Tube) display or a liquid crystal display can be used.
  • the input signal processing unit 105 acquires an input signal from the input device 32 connected to the server apparatus 100 and outputs it to the CPU 101.
  • the input device 32 for example, a pointing device such as a mouse or a touch panel, a keyboard, or the like can be used.
  • the disk drive 106 is a drive device that reads a program and data recorded on the recording medium 33.
  • a magnetic disk such as a flexible disk (FD: Flexible Disk) or HDD
  • an optical disk such as a CD (Compact Disk) or a DVD (Digital Versatile Disk)
  • a magneto-optical disk MO: Magneto-Optical disk.
  • the disk drive 106 stores the program and data read from the recording medium 33 in the RAM 102 or the HDD 103 in accordance with a command from the CPU 101.
  • the communication unit 107 is a communication interface that communicates by connecting to the network 41.
  • the connection method to the network 41 may be wired or wireless. That is, the communication unit 107 may be a wired communication interface or a wireless communication interface.
  • FIG. 4 is a diagram illustrating an example of request processing.
  • examples of requests include (A) a read request designating a single key, (B) a read request designating a key range, and (C) a write request.
  • the server apparatus 100a stores (2, data2), (3, data3) as a key and data pair (key, value), and the server apparatus 100c stores (4, data4), (5, data5).
  • the server apparatus 100 When the server apparatus 100 receives the read request get (2) designating the key 2 from the client apparatus 300, the server apparatus 100 determines that the data corresponding to the key 2 is stored in the server apparatus 100a. Then, a message indicating a read request for the key 2 is transmitted to the server device 100a. The server apparatus 100a transmits data2 to the server apparatus 100. The server apparatus 100 transmits data2 to the client apparatus 300.
  • (C) When the server apparatus 100 receives the write request set (1, data1) specifying the key 1 from the client apparatus 300, the server apparatus 100 determines that the data corresponding to the key 1 is stored in the server apparatus 100a. Then, a message indicating a write request for key 1 is transmitted to server device 100a. The server device 100a writes data1 to its own storage device and reports the completion of writing to the server device 100. The server apparatus 100 reports the completion of writing to the client apparatus 300.
  • server device 100 processing for determining which server device stores data corresponding to the key from the key included in the request received from the client device 300 will be described later.
  • the server apparatuses 100, 100a, 100b, and 100c hold keys and data in association with each other, and read data from the storage device and write data to the storage device in units of keys.
  • the key to be processed is specified by application software executed on the client device 300, for example. Therefore, the complexity of data processing of the server apparatuses 100, 100a, 100b, and 100c is suppressed, and the load is reduced.
  • the write request means adding data.
  • the write request means data overwrite.
  • the confirmation of whether or not the data corresponding to the key exists and the determination of whether or not overwriting is possible are performed, for example, under the responsibility of application software executed on the client device 300.
  • the information processing system according to the second embodiment can be used, for example, for managing data (for example, log data) using time as a key.
  • FIG. 5 is a diagram illustrating an example of a segment management tree.
  • the server apparatuses 100, 100a, 100b, and 100c have segment information describing a segment management tree.
  • As the segment management tree an ordered tree called a trie tree or a prefix tree can be used.
  • the PHT described in Non-Patent Document 1 (Yatin Chawathe, Sriram Ramabhadran, Sylvia Ratnasamy, Anthony LaMarca, Scott Shenker and Joseph Hellerstein, “A Case Study in Building Layered DHT Applications”) may be used.
  • the key space is hierarchically divided into sections called segments.
  • Each node in the segment management tree corresponds to a segment.
  • Each node is given a label having a length corresponding to the depth of the node. For example, the label “0” is assigned to the left child node of the root node, and the label “1” is assigned to the right child node.
  • a label L is given to a certain node
  • a label L + 0 is given to the left child node
  • a label L + 1 is given to the right child node.
  • Each key included in the key space is associated with any one leaf node (a node having no child node) to which a label matching the prefix of the key is assigned.
  • the key can be represented by a 5-bit binary number. If the key specified from the client device 300 is not expressed in binary, it may be converted into binary. Also, as shown in FIG. 5, consider a segment management tree including five leaf nodes assigned labels “000”, “001”, “01”, “10”, and “11”. In this case, the keys 00000 to 0111 are associated with the node with the label “000”. Keys 00100 to 00111 are associated with the node with label “001”. The keys 01000 to 01111 are associated with the node with the label “01”. Keys 10000 to 10111 are associated with the node with label “10”. Keys 11000 to 11111 are associated with the node with label “11”.
  • Data belonging to a segment corresponding to a leaf node of the segment management tree is stored in a storage device (for example, HDD 103 as shown in FIG. 3) in the server devices 100, 100a, 100b, and 100c.
  • a server device having a storage device that stores data belonging to a segment can make a determination based on, for example, a hash value calculated by applying a hash function to the label of the segment.
  • the server device that arranges data in segment units determines the server device that arranges data in segment units, the locality of the keys can be maintained, and the data associated with the keys having similar values are arranged on the same server device as much as possible. become. For this reason, range-designated data processing such as range-designated read requests can be efficiently executed.
  • the depth (hierarchy) of the segment management tree is dynamically adjusted according to the amount of data stored in the server apparatuses 100, 100a, 100b, and 100c. As will be described later, a segment having a large data amount is further dynamically divided into a plurality of segments.
  • a binary tree is used as an example of the segment management tree, but a tree with an arbitrary number of branches may be used.
  • b is an integer of 2 or more
  • FIG. 6 is a diagram illustrating an example of a method for arranging data belonging to a segment in a server apparatus. As described above, data belonging to the segment corresponding to the leaf node of the segment management tree is arranged in any of the server devices 100, 100a, 100b, and 100c according to the label of the segment.
  • the server apparatuses 100, 100a, 100b, and 100c apply a hash function to each identification information (for example, an address) to calculate a hash value corresponding to each server apparatus.
  • the server devices 100, 100a, 100b, and 100c calculate a hash value corresponding to the segment by applying a hash function to the label of the segment or a label obtained by converting the label by a conversion method described later.
  • the server devices 100, 100a, 100b, and 100c determine the server device in which the data belonging to the segment is arranged based on the positional relationship on the loop between the hash value of each server device and the hash value of the segment. For example, the server device having the smallest hash value before the segment hash value is selected on the loop.
  • the hash value of the server device 100 is h (s1)
  • the hash value of the server device 100a is h (s2)
  • the hash value of the label “0” is h (0).
  • the segment with the label “0” is associated with the server device 100a.
  • the hash value of the server apparatus 100b is h (s3)
  • the hash value of the server apparatus 100c is h (s4)
  • the hash value of the label “001” is h (001). If h (s4)> h (001)> h (s3), the segment with the label “001” is associated with the server device 100c.
  • the method of arranging the segments on the server devices 100, 100a, 100b, 100c is not limited to the above method.
  • a method is conceivable in which a hash value calculated from a segment label is divided by the number of server devices to obtain a remainder (residue), and a server device in which segments are arranged is selected according to the remainder.
  • the server apparatus 100b 2
  • FIG. 7 is a block diagram illustrating a software example of the server apparatus.
  • the server device 100 includes a communication processing unit 110, a storage destination determination unit 120, an event processing unit 130, and a data storage unit 140.
  • the communication processing unit 110, the storage destination determining unit 120, and the event processing unit 130 can be realized as a program executed using the CPU 101 and the RAM 102 as shown in FIG.
  • the data storage unit 140 can be realized, for example, as a storage area on the RAM 102 or the HDD 103 as shown in FIG.
  • the server apparatuses 100a, 100b, and 100c illustrated in FIG. 2 can also be realized by the same block configuration as the server apparatus 100.
  • the communication processing unit 110 includes a request reception unit 111, a transfer condition storage unit 112, a data transmission unit 113, and a message processing unit 114.
  • the request receiving unit 111 When receiving a request from the client apparatus 300 as illustrated in FIG. 2, the request receiving unit 111 notifies the message processing unit 114 of the request. Further, the request reception unit 111 acquires the data read from the data storage unit 140 or the write result to the data storage unit 140 from the message processing unit 114 and transmits it to the client device 300 as a response.
  • the transfer condition storage unit 112 is a transfer condition that determines whether or not to transfer data belonging to the divided segment from the server apparatus storing the data to another server apparatus in the segment dividing process described later.
  • the transfer conditions include, for example, how many layer intervals are allowed to transfer data belonging to a segment generated by dividing a segment hierarchically in a segment management tree as shown in FIG. It is prescribed. It can also be said that the transfer condition is a condition that defines how many generations of data belonging to a descendant node of a certain node (segment) are allowed to be transferred.
  • the transfer condition storage unit 112 can be realized as a storage area on the RAM 102 or the HDD 103 as shown in FIG.
  • the data transmission unit 113 refers to the transfer conditions stored in the transfer condition storage unit 112 during the segment dividing process. Then, when data belonging to the segment after the division is in the data storage unit 140, the data transmission unit 113 determines whether to transfer the data belonging to at least one segment after the division to another server device based on the transfer condition. To do. Further, when the data transmission unit 113 determines that the data should be transferred, the data transmission unit 113 inquires the storage destination determination unit 120 about the server device that is the storage destination of the data belonging to each segment after division. When the server device specified by the storage destination determination unit 120 is not its own server device 100, the data transmission unit 113 requests the data processing unit 131 for data to be transmitted and receives the data. Then, the data transmission unit 113 transmits the data to the server device determined by the storage destination determination unit 120.
  • the message processing unit 114 transmits and receives messages to and from other server devices (server devices 100a, 100b, and 100c).
  • server devices 100a, 100b, and 100c server devices 100a, 100b, and 100c.
  • the message processing unit 114 requests the event processing unit 130 to perform data processing.
  • the message processing unit 114 transmits a segment update message to another server device in response to a request from the segment management unit 122.
  • the segment management unit 122 is requested to update the segment information.
  • the message processing unit 114 receives the request from the client device 300 received by the request receiving unit 111. If the request is a write request, the message processing unit 114 passes the key included in the request to the storage destination determination unit 120 and inquires about the server device to which the data is to be written. When the storage destination server device is the server device 100, the message processing unit 114 stores data in the data storage unit 140 via the event processing unit 130. If the storage destination is another server device, the message processing unit 114 transfers the request to the server device. If the request is a read request, the message processing unit 114 passes the key included in the request to the storage destination determination unit 120 and inquires about the server device in which the data exists. When the storage destination server device is the server device 100, the message processing unit 114 retrieves data from the data storage unit 140 via the event processing unit 130. If the storage destination is another server device, the message processing unit 114 transfers the request to the server device.
  • the storage location determination unit 120 includes a segment information storage unit 121 and a segment management unit 122.
  • the segment information storage unit 121 stores segment information describing a segment management tree as shown in FIG. The segment information is updated as the segments are divided.
  • the segment information storage unit 121 may store information indicating a hash function.
  • the segment information storage unit 121 can be realized as a storage area on the RAM 102 or the HDD 103.
  • the segment management unit 122 searches for one or more segments corresponding to the key or key range specified in the request based on the segment information stored in the segment information storage unit 121. Then, the segment management unit 122 determines one or more server apparatuses in which data belonging to the searched segment is arranged from the segment label or the label converted by the method described later and the hash function. In addition, the segment management unit 122 requests the event processing unit 130 to perform data processing when the data belonging to the searched segment exists in its own server device. When the data belonging to the searched segment exists in another server device, the message processing unit 114 is requested to transmit a message to the other server device.
  • the segment management unit 122 updates the segment information stored in the segment information storage unit 121 when the event processing unit 130 reports that the segment has been divided. Then, the message processing unit 114 is requested to transmit a message indicating the segment update to another server device. Further, the segment management unit 122 updates the segment information stored in the segment information storage unit 121 in response to a request from the message processing unit 114. The segment management unit 122 receives the identification information of the server device in which the segment can be arranged from the management device 200 as setting information and holds it.
  • the event processing unit 130 includes a data processing unit 131, a calculation formula storage unit 132, a threshold value calculation unit 133, and a division determination unit 134.
  • the data processing unit 131 performs data processing in response to a request from the segment management unit 122 or the message processing unit 114. If the read request specifies a key or a key range, the data processing unit 131 reads data corresponding to the key or a data group corresponding to the key range from the data storage unit 140. If the write request specifies a key, the data processing unit 131 writes data in the data storage unit 140 in association with the key.
  • the data processing unit 131 inquires of the division determination unit 134 whether or not the segment division is necessary.
  • the division determination unit 134 determines that division is required, the data processing unit 131 performs segment division processing and reports to the segment management unit 122 that the segment has been divided. Further, the data processing unit 131 sends data belonging to one or more of the divided segments to the data transmission unit 113 in response to a request from the data transmission unit 113.
  • the calculation formula storage unit 132 stores a calculation formula for calculating a threshold for determining whether to divide a segment. As will be described later, the threshold value is calculated based on the label of the segment that determines whether or not division is necessary.
  • the threshold calculation formula is described by, for example, the user of the management apparatus 200 and is set in the calculation formula storage unit 132 by the management apparatus 200.
  • the calculation formula storage unit 132 can be realized, for example, as a storage area on the RAM 102 or the HDD 103 as shown in FIG.
  • the threshold calculation unit 133 calculates the threshold of the specified segment from the label of the segment specified by the division determination unit 134 and the threshold calculation formula stored in the calculation formula storage unit 132. Then, the calculated threshold value is returned to the division determination unit 134.
  • the division determination unit 134 determines whether or not it is necessary to divide the segment where the data has been written.
  • the division determination unit 134 specifies the label of the segment in which writing has been performed, and requests the threshold value calculation unit 133 to calculate the threshold value.
  • the segment label is obtained from the key specified in the write request with reference to the segment information.
  • the division determination unit 134 refers to the data storage unit 140 and obtains the data amount or the number of data of the written segment (for example, the total amount or the total number of data associated with the key belonging to the segment). . Then, the division determination unit 134 determines that the division is necessary when the data amount or the number of data exceeds the threshold value, and determines that the division is not required when the data amount or the data number is equal to or less than the threshold value.
  • the division determination unit 134 periodically checks the amount of data or the number of data belonging to each segment, and determines that a segment whose data amount or number of data exceeds the threshold needs to be divided. Also good.
  • the data storage unit 140 stores keys and data in association with each other.
  • the data storage unit 140 may store keys and data by dividing the storage area into segments.
  • Segment division processing FIG. 8 is a flowchart showing an example of segment division. Here, a case where the server apparatus 100 performs processing is considered.
  • the server apparatuses 100a, 100b, and 100c perform the same processing as the server apparatus 100. In the following, the process illustrated in FIG. 8 will be described in order of step number.
  • Step S11 The division determination unit 134 specifies the key of the data written in the data storage unit 140 by the data processing unit 131. Then, based on the segment information stored in the segment information storage unit 121, the segment corresponding to the key is searched.
  • Step S12 The threshold value calculation unit 133 substitutes the label of the segment searched in the process of step S11 for the calculation formula stored in the calculation formula storage unit 132, and calculates the threshold value of the segment.
  • the threshold calculation formula can be expressed as follows, for example.
  • th (L) represents a threshold value applied to a segment of a certain label L.
  • R represents a predetermined route threshold value
  • N represents a hierarchical interval that permits the above-described transfer.
  • b indicates the number of branches in the segment management tree.
  • length (L) indicates the number of bits of the label
  • value (L) indicates the value of the decimal number expression represented by the label L.
  • the division determination unit 134 refers to the data storage unit 140, the data amount of the segment searched in the process of Step S11 (for example, the total amount of data associated with the key belonging to the segment) or the data Calculate the number. Then, the division determination unit 134 determines whether the data amount or the number of data exceeds the threshold value calculated in the process of step S12. When the data amount or the number of data exceeds the threshold value, the process of step S14 is performed. If the amount of data or the number of data is less than or equal to the threshold, the process ends.
  • Step S15 The data processing unit 131 selects one key belonging to the segment searched in the processing of step S11 from the data storage unit 140.
  • Step S16 The data processing unit 131 identifies a child segment having a label that matches the prefix of the key selected in the process of step S15 from the child segments defined in the process of step S14. Then, the data processing unit 131 assigns the key selected in step S15 to the identified child segment.
  • Step S17 The data processing unit 131 determines whether all keys have been selected in the process of step S15. When all the keys have been selected, the process of step S18 is performed. If there is an unselected key, the processing from step S15 is repeated.
  • Step S18 The data transmission unit 113 performs a process (data transfer determination process) for determining whether to permit data belonging to any of the plurality of child segments to be transferred to another server device. An example of the data transfer determination process will be described later. If the data transmission unit 113 determines that the data transfer is permitted, the process of step S19 is performed. If the data transmission unit 113 determines that the data transfer is not permitted, the process of step S20 is performed.
  • Step S ⁇ b> 19 The data transmission unit 113 transmits data belonging to a child segment arranged in another server device (data associated with a key belonging to the child segment) to the data storage unit via the data processing unit 131. Read from 140 and send to other server devices. When the data transmission is completed, the data transmission unit 113 notifies the data processing unit 131 that the data transmission is completed. When notified from the data transmission unit 113 that the data transmission is completed, the data processing unit 131 deletes the data of the child segment arranged in another server device from the data storage unit 140.
  • Step S20 The segment management unit 122 updates the segment information stored in the segment information storage unit 121 so that the segment division performed in the process of step S14 is reflected.
  • the message processing unit 114 notifies all other server devices of the segment update.
  • a threshold is calculated from the label of the searched write target segment, and the calculated threshold is used in the processing of step S13.
  • the threshold value calculation unit 133 may calculate the threshold value and store it in the storage unit (for example, the segment information storage unit 121) at the stage where each segment is generated.
  • the division determination unit 134 extracts the threshold corresponding to the segment searched in the process of step S11 from the storage unit and uses it in the process of step S13.
  • the threshold value may be the same value for all segments.
  • FIG. 9 is a diagram illustrating an example of a segment threshold.
  • the example of the threshold value in FIG. 9 is calculated by applying Equation (1) to the segment management tree represented by the binary tree shown in FIG.
  • the route threshold R 128 [MB] and the hierarchical interval N that allows transfer is set to 4.
  • a threshold value R 128 is set.
  • a threshold value obtained by multiplying 128 by 2 ((f ⁇ N) fractional part ) is set.
  • f 0.5 from the above-described equation (2).
  • the threshold value calculated based on the formulas (1) and (2) and the value of f are shown for the other segments.
  • the threshold value based on Expression (1) it is possible to shift the division timing in a segment belonging to a hierarchy in which transfer may occur when the division is performed.
  • the threshold value associated with the segment with label “000” is 128 [MB]
  • the threshold value associated with the segment with label “001” is 181. Considering the case where data is added at a constant rate evenly over the entire key space by applying such a threshold, the segment of label “001” is divided from the segment of label “000”. Can be delayed.
  • the threshold value of each segment is calculated according to the equation (1)
  • the segment of the lower layer is divided after the segment of the upper layer is completed. Is done. For example, after the segment with label “1” is divided, the segment with label “00” is divided. After the segment with label “11” is divided, the segment with label “000” is divided. After the segment with label “111” is divided, the segment with label “0000” is divided.
  • step S18 data transfer determination process
  • FIG. 10 is a flowchart showing an example of the data transfer determination process.
  • the server apparatus 100 performs processing is considered.
  • the server apparatuses 100a, 100b, and 100c perform the same processing as the server apparatus 100.
  • the process illustrated in FIG. 10 will be described in order of step number.
  • Step S21 The data transmission unit 113 converts the label of the child segment defined in step S14 of the flowchart shown in FIG. 8 as follows, for example. For example, there are the following two conversion methods.
  • the data transmission unit 113 refers to the hierarchical interval N that allows the transfer stored in the transfer condition storage unit 112. Then, for example, the data transmission unit 113 leaves only the multiple of N bits from the head of the label of the segment represented by a binary number, and deletes the fractional bits.
  • the data transmission unit 113 deletes consecutive 0s corresponding to multiples of N when bits corresponding to multiples of N are consecutively 0 from the LSB (Least Significant Bits) to the MSB (Most Significant Bits) of the label. To do.
  • the data transmission unit 113 applies the expression (2) to the label of the segment represented by a binary number to obtain the value of f.
  • the data transmission unit 113 may acquire and use the value obtained by the process of calculating the threshold (the process of step S12 in FIG. 8).
  • the data transmission unit 113 maintains the label value as it is. If A does not match the integer part of f ⁇ N, the A bit is deleted from the LSB of the label toward the MSB.
  • the data transmission unit 113 deletes consecutive 0s corresponding to multiples of N when bits corresponding to multiples of N are consecutively 0 from the LSB to the MSB of the label.
  • Step S22 After executing one of the above two label conversion methods, the data transmission unit 113 notifies the segment management unit 122 of the label of the child segment or the converted label, and belongs to the child segment. Queries the server device for placing data.
  • Step S23 The segment management unit 122 applies a hash function to the label of the child segment or the converted label, and calculates a hash value corresponding to the child segment. Then, as shown in FIG. 6, the segment management unit 122 determines a server device in which data belonging to the child segment is arranged based on the positional relationship on the loop between the hash value of each server device and the hash value of the segment. To do. In addition, the segment management unit 122 notifies the data transmission unit 113 of the determined server device.
  • Step S24 The data transmission unit 113 determines whether the determined server device is different from the server device that arranges data belonging to the parent segment determined in advance by the same processing as steps S21 and S22. If there is a server device determined for each of the plurality of child segments that is different from the server device that arranges data belonging to the parent segment, the process of step S25 is performed. If all the server devices determined for each of the plurality of child segments are the same as the server device that arranges the data belonging to the parent segment, the process of step S26 is performed.
  • Step S25 For the child segment in which a server device different from the server device associated with the parent segment is designated, the data transmission unit 113 transmits data belonging to the child segment from the server device associated with the parent segment. Permits transfer to the specified server device.
  • Step S26 The data transmission unit 113 does not permit data belonging to the child segment to be transferred from the server device associated with the parent segment to another server device.
  • FIG. 11 is a diagram illustrating an example of segments that are allowed to be transferred when the label conversion method 1 is applied.
  • FIG. 11 shows the same segment management tree as shown in FIG.
  • the transfer destination server device is designated by the segment management unit 122 according to the label value of each segment.
  • the data transmission unit 113 does not transfer the data belonging to the segment from the server device 100 to another server device.
  • the label conversion method 1 when the label conversion method 1 is applied, when the predetermined division depth (hierarchy interval) is not satisfied, the movement of the data belonging to the generated segment to another storage device is restricted. Thereby, it is possible to suppress an increase in the average data transfer amount during load distribution in the information processing system. For this reason, it can suppress that the data movement between the memory
  • FIG. 12 is a diagram illustrating an example of segments that are allowed to be transferred when the label conversion method 2 is applied.
  • FIG. 12 shows the same segment management tree as shown in FIG.
  • the data transmission unit 113 notifies the segment management unit 122 of the label “10”.
  • the segment management unit 122 obtains a hash value corresponding to the label “10”, determines a server device as a transfer destination of data belonging to the segment of the label “10” based on the hash value, and the data transmission unit 113. Notify If the notified server device is different from the server device 100, the data transmission unit 113 transfers the data belonging to the segment with the label “10” to the notified server device.
  • the segment management unit 122 designates the server apparatus 100 as the transfer destination in the data transmission unit 113. Therefore, movement of data belonging to those segments does not occur.
  • the data transmission unit 113 notifies the label management unit 122 of the labels “110” and “111”.
  • the segment management unit 122 obtains a hash value corresponding to the labels “110” and “111”, and based on the hash value, a server device that is a transfer destination of data belonging to the segments with the labels “110” and “111” Is transmitted to the data transmission unit 113. If the notified server device is different from the server device 100, the data transmission unit 113 transfers the data belonging to the segments with the labels “110” and “111” to the notified server device.
  • the segment management unit 122 designates the server apparatus 100 as the transfer destination in the data transmission unit 113. Therefore, movement of data belonging to those segments does not occur.
  • the integer part of f ⁇ 4 matches 0 in the segments with labels “0000” to “0011”.
  • the label “0000” is deleted because 0 continues for a multiple of N (1 times) from the LSB to the MSB.
  • the segment management unit 122 obtains hash values corresponding to the labels “(empty)” to “0111”, and based on the hash values, transfers the data belonging to the segments of the labels “(empty)” to “0111”. Is determined, and the data transmission unit 113 is notified.
  • the data transmitting unit 113 transfers the data belonging to these segments to the notified server device.
  • a segment for which data movement is allowed appears at intervals of four layers in the segment of label “10” and the descendants of labels “110” and “111”. The same applies to the descendants of the segments with labels “0001” to “0111”.
  • the segments that are allowed to transfer data are not concentrated in one hierarchy but are arranged in a plurality of hierarchies.
  • Applying the label conversion method 2 as described above can achieve the same effect as the case of applying the label conversion method 1, and can shift the timing of data transfer between a plurality of segments. It is possible to suppress the occurrence of concentration at the same time. For this reason, the load of the information processing system can be reduced.
  • the data transfer determination process as described above can be similarly performed on the other server apparatuses 100a, 100b, and 100c as shown in FIG. 2 using the segment information of each server apparatus. is there.
  • FIG. 13 is a flowchart illustrating an example of request processing.
  • the server apparatuses 100a, 100b, and 100c perform the same processing as the server apparatus 100. In the following, the process illustrated in FIG. 13 will be described in order of step number.
  • the request receiving unit 111 receives a request from the client device 300.
  • the type of request includes a read request designating one key, a read request designating a key range, and a write request designating one key.
  • Step S32 The segment management unit 122 determines whether the request received in the process of step S31 specifies a key range. If it is a range designation request, the process of step S34 is performed. Otherwise, step S33 is performed.
  • the segment management unit 122 refers to the segment information stored in the segment information storage unit 121, and searches for a segment to which the key specified in the request belongs.
  • searching for a segment for example, the prefix and label of the key expressed in b base (b is an integer of 2 or more) are compared from the root node of the segment management tree toward the leaf node, and the label that matches the prefix is searched.
  • a leaf node is specified.
  • a segment corresponding to the identified leaf node is a searched segment.
  • the segment management unit 122 refers to the segment information and searches for all segments including at least one key within the range specified in the request. In the search for a plurality of segments, for example, the longest prefix common to the maximum value and the minimum value of the keys in the range is obtained, and the node having the prefix as a label is specified. Then, the segment management unit 122 identifies a plurality of leaf nodes below the identified node. A plurality of segments corresponding to the specified plurality of leaf nodes are searched segments.
  • Step S35 The segment management unit 122 converts the label of the segment searched in the process of step S33 or step S34 using any one of the label conversion methods 1 and 2 applied in the data transfer determination process. . Then, the segment management unit 122 applies a hash function to the label or the converted label, and calculates a hash value. And the segment management part 122 specifies the server apparatus by which the segment is arrange
  • the server device is specified by, for example, the method shown in FIG. When a plurality of segments are searched in the process of step S34, a plurality of server devices may be specified. The following steps S36 to S38 are executed for each identified server device or each segment.
  • Step S36 The segment management unit 122 determines whether another server device has been identified in the process of step S35 as the server device on which the segment to be processed is arranged. When another server device is specified, the process of step S37 is performed. When the own apparatus (server apparatus 100) is specified, the process of step S38 is performed.
  • Step S37 The message processing unit 114 transmits a message indicating a read request or a write request to the other server device specified in the process of Step S35.
  • the message includes the key or key range stored in the destination server device among the keys or key ranges specified in the request from the client device 300. Thereafter, the message processing unit 114 receives a response message from another server device.
  • the response message includes data corresponding to the key or a write completion report.
  • Step S38 The data processing unit 131 performs data processing in response to a request from the client device 300.
  • a read request the data corresponding to the key or key range stored in the own device among the key or key range specified in the request is read from the data storage unit 140.
  • the key and data included in the request are associated with each other and written to the data storage unit 140.
  • Step S39 The request reception unit 111 transmits a response to the request received in step S31 to the client device 300.
  • the request is a read request
  • the data read from the own device or another server device in steps S37 and S38 is transmitted as a response.
  • the request is a write request
  • a report of the completion of writing confirmed in steps S37 and S38 is transmitted as a response.
  • FIG. 14 is a sequence diagram illustrating an example of an operation sequence of the information processing system.
  • Step S41 The client apparatus 300 transmits a request indicating data writing to the server apparatus 100.
  • the request includes a key and data.
  • Step S42 The server apparatus 100 searches for the segment to which the key belongs from the segment information of the own apparatus, and converts the label using the applied label conversion method 1 or 2. Then, the server device 100 identifies the server device (here, the server device 100a) on which the data belonging to the segment is arranged using the converted label and hash function. Then, a write request message is transmitted to the server apparatus 100a.
  • the message includes a key and data.
  • Step S43 The server device 100a associates the key and the data included in the message received from the server device 100 and writes them in the storage device of the own device. Then, a response indicating the completion of writing is transmitted to the server apparatus 100.
  • Step S ⁇ b> 44 When the server device 100 confirms that the writing is completed in the server device 100 a, the server device 100 transmits a response to the client device 300.
  • Step S45 The server apparatus 100a detects that the amount of data or the number of data in the segment has exceeded a threshold value by writing data. Then, the server apparatus 100a further divides the segment into b (for example, two) segments.
  • Step S46 The server apparatus 100a performs a data transfer determination process as shown in FIG. In the following, it is assumed that data belonging to the two segments after the division is distributed and stored in the server apparatuses 100a and 100b.
  • Step S47 The server device 100a transmits the key and data stored in the server device 100b to the server device 100b.
  • the server device 100b associates the key and the data received from the server device 100a with each other and writes them in the storage device of the own device. Then, a response indicating the completion of writing is transmitted to the server device 100a.
  • Step S49 The server device 100a deletes the data of the segment that has been copied to the server device 100b from the storage device that the device itself has. Further, the server apparatus 100a updates the segment information that the own apparatus has so that the segment division is reflected. Then, the server apparatus 100a transmits a notification indicating the segment update to all other server apparatuses (server apparatuses 100, 100b, and 100c).
  • Step S50 The server apparatuses 100, 100b, and 100c update the segment information of the own apparatus based on the notification from the server apparatus 100a. Then, a response indicating that segment information has been updated is transmitted to the server device 100a. Thereby, the update of the segment information by the server apparatus 100a is reflected in the segment information which the server apparatuses 100, 100b, and 100c have.
  • the server apparatuses 100, 100a, 100b, and 100c store the keys and data in association with each other, and perform data processing for the key specified by the client apparatus 300.
  • the load can be reduced.
  • any server device can accept a request from the client device 300, it can be designed so that no device becomes a bottleneck. Increases the availability of the processing system.
  • each server apparatus can determine without negotiating with other server apparatuses, and scalability can be improved.
  • the predetermined division depth (hierarchy interval)
  • the movement of the data belonging to the generated segment to another storage device is restricted.
  • an increase in the average data transfer amount at the time of load distribution in the information processing system can be suppressed.
  • it can suppress that the data movement between the memory
  • the timing at which data transfer occurs among a plurality of segments can be shifted, and the occurrence of data transfer is prevented from concentrating at the same time. Can do. For this reason, the load of the information processing system can be reduced.
  • the data management of the second embodiment can be realized by causing the server apparatuses 100, 100a, 100b, and 100c as computers to execute data management programs, respectively.
  • the program can be recorded on a computer-readable recording medium (for example, the recording medium 33).
  • a computer-readable recording medium for example, the recording medium 33.
  • the recording medium for example, a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like can be used.
  • Magnetic disks include FD and HDD.
  • Optical disks include CD, CD-R (Recordable) / RW (Rewritable), DVD, and DVD-R / RW.
  • a portable recording medium on which the program is recorded is provided. It is also possible to store the program in a storage device of another computer and distribute the program via the network 41.
  • the computer stores, for example, a program recorded on a portable recording medium or a program received from another computer in a storage device (for example, HDD 103), and reads and executes the program from the storage device.
  • a program read from a portable recording medium may be directly executed, or a program received from another computer via the network 41 may be directly executed.
  • Storage unit 12 Control unit 20-1 to 20-n Storage device sg1, sg2a, sg2b, sg3a, sg3b, sg3c, sg3d, sg4a, sg4b, sg5a, sg5b, sg5c, sg5d segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

　複数の記憶装置を備えた情報処理システムにおけるデータ管理のための通信量を低減する。　記憶部（１１）は、セグメントとキーとの対応関係を示すセグメント情報を記憶する。制御部（１２）は、一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、セグメント情報を更新する。また、制御部（１２）は、第１のセグメントから１回または階層的にＮ（Ｎ＞１）回の分割によって複数の第２のセグメントが得られたときに、Ｎが所定の条件を満たす場合には、複数の第２のセグメントの少なくとも１つに属するデータを、第１のセグメントに属するデータを記憶していた記憶装置から他の記憶装置へ移動することを許容する。Ｎが所定の条件を満たさない場合には、データの移動を制限する。

Description

情報処理装置、データ管理方法およびプログラム
　本発明は情報処理装置、データ管理方法およびプログラムに関する。
　情報処理システムにおけるデータ管理方法の１つとして、キーとデータとを対応付けて１またはそれ以上の記憶装置に保存しておく方法がある。アプリケーションソフトウェアなどのソフトウェアは、例えば、キーを指定して、データの読み出し（リード）や書き込み（ライト）などのデータ操作を行う。データを複数の記憶装置に分散して保存する場合、例えば、キーとハッシュ関数を用いて、データの保存先の記憶装置を決定し、また、所望のデータが保存されている記憶装置を検索する。
　また、データを効率的に管理できるように、キーの集合を複数のセグメントに分割し、セグメント単位でデータを管理する方法がある。例えば、セグメント単位で、データの保存先の記憶装置を決定する方法が提案されている。キーの集合を複数のセグメントに分割してキーをセグメントに割り当てる方法として、例えば、ＰＨＴ（Prefix Hash Tree）と呼ばれる２分木を用いる方法が提案されている。
　ＰＨＴの各ノードには、ルートノードからの深さに応じた長さの２進数がラベルとして付与される。ルートノードは、ノード０とノード１を子ノードとしてもつ。ノード０は、ノード００とノード０１を子ノードとしてもつ。キーを２進数で表記したときのプレフィックス（キーの先頭から数ビットの部分）とラベルとを比較することで、各キーが何れか１つの葉ノード（子ノードをもたないノード）に割り当てられる。そして、葉ノードに相当するセグメント単位で、キーおよびデータが管理される。ＰＨＴの深さ（セグメントの分割の程度）は、例えば、管理するデータの量に応じて決定される。
Yatin Chawathe, Sriram Ramabhadran, Sylvia Ratnasamy, Anthony LaMarca, Scott Shenker and Joseph Hellerstein, "A Case Study in Building Layered DHT Applications", Proc. of the ACM SIGCOMM 2005 conference on Applications, technologies, architectures and protocols for computer communications, August 22-26, 2005.
　ところで、情報処理システムを運用するに従い、記憶装置にデータが書き込まれて、管理するデータの量が増加することがある。そこで、データをセグメント単位で管理するとき、データ量が大きくなったセグメントを、更に複数のセグメントに動的に分割することが考えられる。情報処理システムの負荷分散のため、分割によって得られた複数のセグメントの少なくとも１つについて、分割前のセグメントが割り当てられていた記憶装置から他の記憶装置にデータが移動され得る。
　しかし、セグメントが分割されるごとに記憶装置間でデータの移動が発生すると、データ管理のための通信量が増大し、本来のデータアクセスの妨げになるおそれがある、という問題がある。例えば、外部からのデータアクセスの多くがデータを追加するアクセスである場合、情報処理システム内のネットワーク上の通信量の半分が、記憶装置間でデータを移動するためのものになってしまう可能性もある。
　一つの側面では、本発明は、複数の記憶装置を備えた情報処理システムにおけるデータ管理のための通信量を低減できる情報処理装置、データ管理方法およびプログラムを提供することを目的とする。
　一実施態様では、記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムに用いられる、情報処理装置が提供される。情報処理装置は、記憶部と制御部を有する。記憶部は、セグメントとキーとの対応関係を示すセグメント情報を記憶する。制御部は、一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、セグメント情報を更新する。また、制御部は、第１のセグメントから１回または階層的にＮ（Ｎ＞１）回の分割によって複数の第２のセグメントが得られたときに、Ｎが所定の条件を満たす場合には、複数の第２のセグメントの少なくとも１つに属するデータを、第１のセグメントに属するデータを記憶していた第１の記憶装置から第２の記憶装置へ移動することを許容し、Ｎが所定の条件を満たさない場合には、複数の第２のセグメントに属するデータの移動を制限する。
　また、一実施態様では、記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムが行うデータ管理方法が提供される。データ管理方法では、一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、セグメントとキーとの対応関係を示すセグメント情報を更新する。第１のセグメントから１回または階層的にＮ（Ｎ＞１）回の分割によって複数の第２のセグメントが得られたときに、Ｎが所定の条件を満たす場合には、複数の第２のセグメントの少なくとも１つに属するデータを、第１のセグメントに属するデータを記憶していた第１の記憶装置から第２の記憶装置へ移動することを許容する。Ｎが所定の条件を満たさない場合には、複数の第２のセグメントに属するデータの移動を制限する。
　また、一実施態様では、記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムに用いられるコンピュータに実行させるプログラムが提供される。このプログラムは、コンピュータに、以下の処理を実行させる。一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、セグメントとキーとの対応関係を示すセグメント情報を更新する。第１のセグメントから１回または階層的にＮ（Ｎ＞１）回の分割によって複数の第２のセグメントが得られたときに、Ｎが所定の条件を満たす場合には、複数の第２のセグメントの少なくとも１つに属するデータを、第１のセグメントに属するデータを記憶していた第１の記憶装置から第２の記憶装置へ移動することを許容する。Ｎが所定の条件を満たさない場合には、複数の第２のセグメントに属するデータの移動を制限する。
　複数の記憶装置を備えた情報処理システムにおけるデータ管理のための通信量が低減される。
　本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
第１の実施の形態の情報処理装置を示す図である。 第２の実施の形態の情報処理システムを示す図である。 サーバ装置のハードウェア例を示すブロック図である。 リクエスト処理の例を示す図である。 セグメント管理ツリーの例を示す図である。 セグメントに属するデータのサーバ装置への配置方法の例を示す図である。 サーバ装置のソフトウェア例を示すブロック図である。 セグメント分割の一例を示すフローチャートである。 セグメントの閾値の例を示す図である。 データ転送判定処理の一例を示すフローチャートである。 ラベル変換方法１を適用した場合に転送が許容されるセグメントの例を示す図である。 ラベル変換方法２を適用した場合に転送が許容されるセグメントの例を示す図である。 リクエスト処理の一例を示すフローチャートである。 情報処理システムの動作シーケンスの一例を示すシーケンス図である。
　以下、本実施の形態を図面を参照して説明する。
　［第１の実施の形態］
　図１は、第１の実施の形態の情報処理装置を示す図である。情報処理装置１０は、記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で記憶装置２０－１～２０－ｎ（ｎは２以上の自然数）へのデータの配置を管理する情報処理システムに用いられる。記憶装置２０－１～２０－ｎの一部は、情報処理装置１０が備える記憶装置であってもよい。情報処理装置１０は、記憶部１１および制御部１２を有する。
　記憶部１１は、セグメント情報を記憶する。セグメント情報は、キーとセグメントとの関係を示す。セグメントは、図１に示されるように、階層構造で表現される。階層構造としては、例えば、トライ（Trie）木やプレフィックス木などが適用可能である。記憶部１１は、ＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）などの記憶装置であってもよい。
　制御部１２は、セグメントに属するデータの増加（例えば、データ量の増加あるいはデータが存在するキーの数の増加）に応じて、そのセグメントを複数に分割し、セグメント情報を更新する。例えば、制御部１２は、記憶部１１のセグメント情報を参照し、あるセグメントに属するデータの量あるいはデータが存在するキーの数と閾値とに基づいて、セグメントを２以上のセグメントに分割する。データ量あるいはキー数は、例えば、セグメントが配置されている記憶装置にアクセスして確認できる。
　図１では、１つのセグメントを２つのセグメントに階層的に分割していく例が示されている。丸印はセグメントを示し、矢印はそのセグメントに属するデータが、ある記憶装置から他の記憶装置に転送されることを示している。また、ｎは階層を示している。図１の例では、分割により、１つのセグメントから次々に２つのセグメントが生成され、ｎ＝５の階層では、１６個のセグメントが生成されている。
　制御部１２は、あるセグメントを基準として階層的な分割によって複数のセグメントを生成したときに、各分割が所定の分割の深さの条件を満たすか判定する。分割が所定の分割の深さの条件を満たす場合には、制御部１２は、生成した複数のセグメントの少なくとも１つに属するデータを、もとのセグメントに属するデータを記憶している記憶装置から別の記憶装置へ移動（転送）することを許容する。また、分割が所定の分割の深さの条件を満たさない場合には、制御部１２は、生成した複数のセグメントに属するデータの移動を制限する。
　なお、分割の深さの条件は、例えば、元のセグメントが属する階層と生成された複数のセグメントが属する階層との階層間隔が、２以上の所定階層間隔の倍数であるか否かである。階層間隔が所定階層間隔の倍数の場合には分割の深さの条件が満たされ、階層間隔が所定階層間隔の倍数ではない場合には分割の深さの条件が満たされない。所定階層間隔を示す情報は、例えば、予め記憶部１１に記憶されている。
　例えば、所定階層間隔が２である場合、図１に示されるように、ｎ＝１の階層のセグメントｓｇ１を分割していったとき、ｎ＝２の階層では、ｎ＝１の階層との階層間隔が１である。そのため、第２階層のセグメントｓｇ２ａ，ｓｇ２ｂに属するデータの移動は制限される。
　一方、ｎ＝３の階層では、ｎ＝１の階層との階層間隔が２である。そのため、制御部１２は、ｎ＝３の階層の複数のセグメントｓｇ３ａ，ｓｇ３ｂ，ｓｇ３ｃ，ｓｇ３ｄの少なくとも１つに属するデータを、ｎ＝１の階層のセグメントｓｇ１に属するデータを記憶している記憶装置から別の記憶装置へ転送することを許容する。図１に示すように、例えば、ｎ＝３の階層の３つのセグメントｓｇ３ｂ，ｓｇ３ｃ，ｓｇ３ｄに属するデータが、ｎ＝１の階層のセグメントｓｇ１に属するデータを記憶している記憶装置から別の記憶装置へ転送される。
　また、図１において、制御部１２が、例えば、ｎ＝３の階層の一番右側に表記されているセグメントｓｇ３ｄを更に分割していったとき、ｎ＝４の階層では、ｎ＝１の階層との階層間隔が３である。そのため、セグメントｓｇ３ｄの子セグメントであるｎ＝４の階層のセグメントｓｇ４ａ，ｓｇ４ｂに属するデータの移動は制限される。一方、ｎ＝５の階層では、ｎ＝１の階層との階層間隔が４である。そのため、セグメントｓｇ３ｄの孫セグメントである複数のセグメントｓｇ５ａ，ｓｇ５ｂ，ｓｇ５ｃ，ｓｇ５ｄの少なくとも１つに属するデータは、セグメントｓｇ３ｄに属するデータを記憶している記憶装置から別の記憶装置へ転送することが許容される。図１のように、例えば、セグメントｓｇ５ｂ，ｓｇ５ｃ，ｓｇ５ｄに属するデータが、ｎ＝３のセグメントｓｇ３ｄに属するデータを記憶している記憶装置から別の記憶装置へ転送される。
　ところで、図１に示される例では、セグメントｓｇ３ｄの孫セグメントであるセグメントｓｇ５ａに属するデータは転送されないが、これは、セグメントｓｇ３ｄに属するデータを記憶している記憶装置に留まることを示している。このように、あるセグメントに対する分割深さが同じ複数セグメント間で、転送を許容するものと許容しないものを区別する手法については後述する。
　なお、制御部１２は、ＣＰＵ（Central Processing Unit）およびＲＡＭを用いて実行されるプログラムとして実現してもよい。
　以上のように、制御部１２は、セグメントを階層的に分割して、そのセグメントの子孫である複数のセグメントを生成していく際、分割が所定の分割の深さの条件を満たさない場合は、生成されたセグメントに属するデータの他の記憶装置への移動を制限する。
　これにより、セグメントの分割のたびにデータ転送が発生することがなくなるため、情報処理システムにおける負荷分散の際のデータ転送量の増加を抑制できる。このため、負荷分散時の記憶装置間でのデータ移動によって、ユーザによる情報処理システムへのデータアクセスなどの妨げになることを抑制できる。
　［第２の実施の形態］
　図２は、第２の実施の形態の情報処理システムを示す図である。第２の実施の形態の情報処理システムは、サーバ装置１００，１００ａ，１００ｂ，１００ｃ、管理装置２００およびクライアント装置３００を含む。サーバ装置１００，１００ａ，１００ｂ，１００ｃおよび管理装置２００は、ネットワーク４１に接続されている。クライアント装置３００は、ネットワーク４２に接続されている。第２の実施の形態の情報処理システムは、いわゆるクラウドシステムとして実現してもよい。
　サーバ装置１００，１００ａ，１００ｂ，１００ｃは、データを分散管理するサーバコンピュータである。サーバ装置１００，１００ａ，１００ｂ，１００ｃは、データを識別するためのキーとデータとを対応付けて記憶し、また、キーからデータが記憶されているサーバ装置を検索するためのセグメント情報を保持している。何れのサーバ装置も、クライアント装置３００からデータ処理のリクエストを受け付けることができる。キーを含むリクエストを受け付けたサーバ装置は、処理対象のデータが記憶されているサーバ装置をセグメント情報に基づいて検索し、検索されたサーバ装置にデータ処理を依頼する。
　管理装置２００は、ユーザ（例えば、情報処理システムの管理者）が使用するコンピュータである。管理装置２００は、ユーザ操作に基づいて、サーバ装置１００，１００ａ，１００ｂ，１００ｃを管理する。例えば、管理装置２００は、データを記憶するサーバ装置が情報処理システムに追加されるとき、追加されるサーバ装置の情報をサーバ装置１００，１００ａ，１００ｂ，１００ｃに送信する。また、データの分散配置を調整するための設定情報を、サーバ装置１００，１００ａ，１００ｂ，１００ｃに送信する。
　クライアント装置３００は、ユーザ（例えば、クラウドサービスの利用者）が使用するコンピュータである。クライアント装置３００では、例えば、サーバ装置１００，１００ａ，１００ｂ，１００ｃに記憶されるデータを扱うアプリケーションソフトウェアが実行される。クライアント装置３００は、ネットワーク４１，４２を介して、サーバ装置１００，１００ａ，１００ｂ，１００ｃのうちの任意のサーバ装置に、データ処理のリクエストを送信する。リクエストでは、１つのキーまたはキーの範囲が指定される。データ処理には、データの読み出し（リード）や書き込み（ライト）が含まれる。
　何れのサーバ装置がクライアント装置３００からリクエストを受信しても、サーバ装置１００，１００ａ，１００ｂ，１００ｃの間でメッセージを伝送することで、要求されたデータ処理が実行される。このように、第２の実施の形態の情報処理システムは、できる限りデータ処理のボトルネックとなる装置が生じないように設計することが可能であり、可用性や応答性能などを向上させることができる。
　（サーバ装置のハードウェア例）
　図３は、サーバ装置のハードウェア例を示すブロック図である。サーバ装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像信号処理部１０４、入力信号処理部１０５、ディスクドライブ１０６および通信部１０７を有する。上記ユニットは、サーバ装置１００内でバスに接続されている。なお、サーバ装置１００ａ，１００ｂ，１００ｃ、管理装置２００およびクライアント装置３００も、サーバ装置１００と同様のハードウェアによって実現できる。
　ＣＰＵ１０１は、サーバ装置１００における情報処理を制御する演算装置である。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部を読み出してＲＡＭ１０２に展開し、プログラムを実行する。なお、サーバ装置１００は、複数の演算装置を備えて、情報処理を分散して実行してもよい。
　ＲＡＭ１０２は、ＣＰＵ１０１が扱うプログラムやデータを一時的に記憶しておく揮発性メモリである。なお、サーバ装置１００は、ＲＡＭ以外の種類のメモリを備えていてもよく、複数個のメモリを備えてもよい。
　ＨＤＤ１０３は、ＯＳ（Operating System）プログラムやアプリケーションプログラムなどのプログラム、および、情報処理に用いられるデータを記憶する不揮発性の記憶装置である。ＨＤＤ１０３は、ＣＰＵ１０１の命令に従って、内蔵の磁気ディスクに対する読み書きを行う。なお、サーバ装置１００は、ＨＤＤ以外の不揮発性の記憶装置（例えば、ＳＳＤ（Solid State Drive））を備えていてもよく、複数の記憶装置を備えてもよい。
　画像信号処理部１０４は、ＣＰＵ１０１の命令に従って、サーバ装置１００に接続されたディスプレイ３１に画像を出力する。ディスプレイ３１として、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイなどを用いることができる。
　入力信号処理部１０５は、サーバ装置１００に接続された入力デバイス３２から入力信号を取得し、ＣＰＵ１０１に出力する。入力デバイス３２として、例えば、マウスやタッチパネルなどのポインティングデバイスや、キーボードなどを用いることができる。
　ディスクドライブ１０６は、記録媒体３３に記録されたプログラムやデータを読み取る駆動装置である。記録媒体３３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。ディスクドライブ１０６は、例えば、ＣＰＵ１０１の命令に従って、記録媒体３３から読み取ったプログラムやデータをＲＡＭ１０２またはＨＤＤ１０３に格納する。
　通信部１０７は、ネットワーク４１に接続して通信を行う通信インタフェースである。ネットワーク４１への接続方法は、有線でも無線でもよい。すなわち、通信部１０７は、有線通信インタフェースでも無線通信インタフェースでもよい。
　（情報処理システムへのリクエスト例）
　図４は、リクエスト処理の例を示す図である。図４では、リクエストとして、（Ａ）単一のキーを指定したリード要求、（Ｂ）キーの範囲を指定したリード要求、（Ｃ）ライト要求の例を挙げている。サーバ装置１００ａは、キーとデータの組（ｋｅｙ，ｖａｌｕｅ）として、（２，ｄａｔａ２），（３，ｄａｔａ３）を記憶し、サーバ装置１００ｃは、（４，ｄａｔａ４），（５，ｄａｔａ５）を記憶しているとする。
　（Ａ）サーバ装置１００は、キー２を指定したリード要求ｇｅｔ（２）をクライアント装置３００から受信すると、キー２に対応するデータがサーバ装置１００ａに記憶されていると判定する。そして、キー２に対するリード要求を示すメッセージをサーバ装置１００ａに送信する。サーバ装置１００ａは、ｄａｔａ２をサーバ装置１００に送信する。サーバ装置１００は、ｄａｔａ２をクライアント装置３００に送信する。
　（Ｂ）サーバ装置１００は、キーの範囲２～５を指定したリード要求ｒａｎｇｅ＿ｇｅｔ（２，５）をクライアント装置３００から受信すると、キー２，３に対応するデータがサーバ装置１００ａに記憶され、キー４，５に対応するデータがサーバ装置１００ｃに記憶されていると判定する。そして、キー２，３に対するリード要求を示すメッセージをサーバ装置１００ａに送信し、キー４，５に対するリード要求を示すメッセージをサーバ装置１００ｃに送信する。サーバ装置１００ａは、ｄａｔａ２，３をサーバ装置１００に送信する。サーバ装置１００ｃは、ｄａｔａ４，５をサーバ装置１００に送信する。サーバ装置１００は、ｄａｔａ２～５をクライアント装置３００に送信する。
　（Ｃ）サーバ装置１００は、キー１を指定したライト要求ｓｅｔ（１，ｄａｔａ１）をクライアント装置３００から受信すると、キー１に対応するデータはサーバ装置１００ａに記憶されるものであると判定する。そして、キー１に対するライト要求を示すメッセージをサーバ装置１００ａに送信する。サーバ装置１００ａは、ｄａｔａ１を自身の記憶装置に書き込み、サーバ装置１００に書き込み完了を報告する。サーバ装置１００は、書き込み完了をクライアント装置３００に報告する。
　なお、サーバ装置１００において、クライアント装置３００から受信したリクエストに含まれるキーから、そのキーに対応するデータがどのサーバ装置に格納されているかなどを判定する処理については後述する。
　このように、サーバ装置１００，１００ａ，１００ｂ，１００ｃは、キーとデータとを対応付けて保持し、キー単位で記憶装置からのデータの読み出しや記憶装置へのデータの書き込みを行う。処理対象のキーは、例えば、クライアント装置３００で実行されるアプリケーションソフトウェアによって指定される。よって、サーバ装置１００，１００ａ，１００ｂ，１００ｃのデータ処理の複雑性が抑えられ、負荷が軽減される。
　ライト要求で指定されたキーに対応するデータがまだ存在しない場合、当該ライト要求はデータの追加を意味する。一方、ライト要求で指定されたキーに対応するデータが既に存在する場合、当該ライト要求はデータの上書きを意味する。キーに対応するデータが存在するか否かの確認や上書き可否の判断は、例えば、クライアント装置３００で実行されるアプリケーションソフトウェアの責任で行われる。第２の実施の形態の情報処理システムは、例えば、時刻をキーとするデータ（例えば、ログデータ）の管理に利用できる。
　（セグメント管理ツリーの例）
　図５は、セグメント管理ツリーの例を示す図である。サーバ装置１００，１００ａ，１００ｂ，１００ｃは、セグメント管理ツリーを記述したセグメント情報を有する。セグメント管理ツリーとして、トライ木やプレフィックス木と呼ばれる順序付きツリーを用いることができる。前述の非特許文献１（Yatin Chawathe, Sriram Ramabhadran, Sylvia Ratnasamy, Anthony LaMarca, Scott Shenker and Joseph Hellerstein, "A Case Study in Building Layered DHT Applications"）に記載されたＰＨＴを用いてもよい。
　セグメント管理ツリーでは、キー空間が、セグメントと呼ばれる区間に階層的に分割される。セグメント管理ツリーの各ノードがセグメントに相当する。各ノードには、当該ノードの深さに応じた長さのラベルが付与される。例えば、ルートノードの左の子ノードにラベル“０”が付与され、右の子ノードにラベル“１”が付与される。また、あるノードにラベルＬが付与されているとき、左の子ノードにラベルＬ＋０、右の子ノードにラベルをＬ＋１が付与される。キー空間に含まれる各キーは、当該キーのプレフィックスに一致するラベルが付与された何れか１つの葉ノード（子ノードをもたないノード）に対応付けられる。
　一例として、キーが５ビットの２進数で表現できる場合を考える。クライアント装置３００から指定されるキーが２進数で表現されていない場合は、２進数に変換すればよい。また、図５に示したように、ラベル“０００”，“００１”，“０１”，“１０”，“１１”が付与された５つの葉ノードを含むセグメント管理ツリーを考える。この場合、キー０００００～０００１１は、ラベル“０００”のノードに対応付けられる。キー００１００～００１１１は、ラベル“００１”のノードに対応付けられる。キー０１０００～０１１１１は、ラベル“０１”のノードに対応付けられる。キー１００００～１０１１１は、ラベル“１０”のノードに対応付けられる。キー１１０００～１１１１１は、ラベル“１１”のノードに対応付けられる。
　セグメント管理ツリーの葉ノードに相当するセグメントに属するデータは、サーバ装置１００，１００ａ，１００ｂ，１００ｃ内の記憶装置（例えば、図３に示したようなＨＤＤ１０３）に記憶される。セグメントに属するデータを記憶する記憶装置を有するサーバ装置は、例えば、当該セグメントのラベルにハッシュ関数を適用して算出されるハッシュ値に基づいて決定することができる。
　このように、セグメント単位でデータを配置するサーバ装置を決定することで、キーのローカリティを維持することができ、値の近いキーに対応付けられるデータ同士ができる限り同じサーバ装置に配置されるようになる。このため、範囲指定のリード要求など、範囲指定のデータ処理を効率的に実行できるようになる。セグメント管理ツリーの深さ（階層）は、サーバ装置１００，１００ａ，１００ｂ，１００ｃに記憶されたデータの量に応じて動的に調整される。後述するように、データ量の大きくなったセグメントは、更に複数のセグメントに動的に分割される。
　なお、以上の説明では、セグメント管理ツリーの例として２分木を用いたが、任意の分岐数のツリーを用いてもよい。葉ノード以外の各ノードがそれぞれｂ個（ｂは２以上の整数）の子ノードを有する場合、各ノードにはｂ進数のラベルを付与すればよい。例えば、ｂ＝３の場合、ルートノードはラベル“０”，“１”，“２”の子ノードを有する。また、ラベル“０”のノードは、ラベル“００”，“０１”，“０２”の子ノードを有する。キーをセグメントに対応付けるときは、キーをｂ進数に変換して、キーのプレフィックスとラベルを比較すればよい。
　（複数のサーバ装置へのデータの配置方法の例）
　図６は、セグメントに属するデータのサーバ装置への配置方法の例を示す図である。前述の通り、セグメント管理ツリーの葉ノードに対応するセグメントに属するデータは、当該セグメントのラベルに応じてサーバ装置１００，１００ａ，１００ｂ，１００ｃの何れかに配置される。
　ここでは、ハッシュ関数の値域（ハッシュ値が取り得る値）を０～２n－１（ｎは自然数）とし、値域をループ状にしたハッシュ値の空間を考える。サーバ装置１００，１００ａ，１００ｂ，１００ｃは、それぞれの識別情報（例えば、アドレス）にハッシュ関数を適用して、各サーバ装置に対応するハッシュ値を算出する。また、サーバ装置１００，１００ａ，１００ｂ，１００ｃは、セグメントのラベルまたは、そのラベルを後述の変換方法で変換したラベルにハッシュ関数を適用して、当該セグメントに対応するハッシュ値を算出する。そして、サーバ装置１００，１００ａ，１００ｂ，１００ｃは、各サーバ装置のハッシュ値とセグメントのハッシュ値のループ上での位置関係に基づいて、当該セグメントに属するデータを配置するサーバ装置を決定する。例えば、ループ上で、セグメントのハッシュ値より先にある最小のハッシュ値をもつサーバ装置が選択される。
　例えば、サーバ装置１００のハッシュ値がｈ（ｓ１）、サーバ装置１００ａのハッシュ値がｈ（ｓ２）、ラベル“０”のハッシュ値がｈ（０）であるとする。このときｈ（ｓ２）＞ｈ（０）＞ｈ（ｓ１）の関係にある場合、ラベル“０”のセグメントがサーバ装置１００ａに対応付けられる。また、サーバ装置１００ｂのハッシュ値がｈ（ｓ３）、サーバ装置１００ｃのハッシュ値がｈ（ｓ４）、ラベル“００１”のハッシュ値がｈ（００１）であるとする。このときｈ（ｓ４）＞ｈ（００１）＞ｈ（ｓ３）の関係にある場合、ラベル“００１”のセグメントがサーバ装置１００ｃに対応付ける。
　ただし、サーバ装置１００，１００ａ，１００ｂ，１００ｃへのセグメントの配置方法は、上記方法に限定されない。例えば、セグメントのラベルから算出されたハッシュ値をサーバ装置の数で割って余り（剰余）を求め、剰余に応じてセグメントを配置するサーバ装置を選択する方法が考えられる。例えば、ハッシュ値を４で割り、剰余＝０のときはサーバ装置１００、剰余＝１のときはサーバ装置１００ａ、剰余＝２のときはサーバ装置１００ｂ、剰余＝３のときはサーバ装置１００ｃが選択される。
　（サーバ装置のソフトウェア例）
　図７は、サーバ装置のソフトウェア例を示すブロック図である。
　サーバ装置１００は、通信処理部１１０、格納先決定部１２０、イベント処理部１３０およびデータ記憶部１４０を有する。通信処理部１１０、格納先決定部１２０、イベント処理部１３０は、例えば、図３に示したようなＣＰＵ１０１およびＲＡＭ１０２を用いて実行されるプログラムとして実現できる。データ記憶部１４０は、例えば、図３に示したようなＲＡＭ１０２やＨＤＤ１０３上の記憶領域として実現できる。図２に示したサーバ装置１００ａ，１００ｂ，１００ｃも、サーバ装置１００と同様のブロック構成によって実現できる。
　通信処理部１１０は、リクエスト受信部１１１、転送条件記憶部１１２、データ送信部１１３、メッセージ処理部１１４を有する。
　リクエスト受信部１１１は、図２に示したようなクライアント装置３００からリクエストを受信すると、そのリクエストをメッセージ処理部１１４に通知する。また、リクエスト受信部１１１は、データ記憶部１４０から読み出されたデータまたはデータ記憶部１４０への書き込み結果をメッセージ処理部１１４から取得し、レスポンスとしてクライアント装置３００に送信する。
　転送条件記憶部１１２は、後述するセグメントの分割処理の際に、分割したセグメントに属するデータを、そのデータを記憶しているサーバ装置から他のサーバ装置に転送するか否かを決める転送条件の情報を記憶する。転送条件には、例えば、図５に示したようなセグメント管理ツリーにおいて、あるセグメントから階層的に分割されて生成されるセグメントに属するデータに対して、何階層間隔ごとに転送を許容するかが規定されている。転送条件は、あるノード（セグメント）の子孫ノードに属するデータを、何世代間隔ごとに転送を許容するか規定する条件である、ということもできる。なお、転送条件記憶部１１２は、例えば、図３に示したような、ＲＡＭ１０２またはＨＤＤ１０３上の記憶領域として実現できる。
　データ送信部１１３は、セグメントの分割処理の際に、転送条件記憶部１１２に記憶されている転送条件を参照する。そして、データ送信部１１３は、分割後のセグメントに属するデータがデータ記憶部１４０にある場合、転送条件に基づいて、分割後の少なくとも１つのセグメントに属するデータを他のサーバ装置に転送すべきか判定する。さらにデータ送信部１１３は、転送すべきと判定したとき、格納先決定部１２０に分割後の各セグメントに属するデータの格納先となるサーバ装置を問い合わせる。格納先決定部１２０で指定されたサーバ装置が自身のサーバ装置１００ではない場合には、データ送信部１１３は、送信すべきデータをデータ処理部１３１に要求して、そのデータを受信する。そして、データ送信部１１３は、そのデータを格納先決定部１２０で決定されたサーバ装置に送信する。
　メッセージ処理部１１４は、他のサーバ装置（サーバ装置１００ａ，１００ｂ，１００ｃ）との間でメッセージを送受信する。メッセージ処理部１１４は、他のサーバ装置からリード要求やライト要求のメッセージを受信すると、イベント処理部１３０にデータ処理を依頼する。また、メッセージ処理部１１４は、例えば、セグメントの分割処理が発生した際に、セグメント管理部１２２からの依頼に応じて、他のサーバ装置にセグメント更新のメッセージを送信する。また、他のサーバ装置からセグメント更新のメッセージを受信すると、セグメント管理部１２２にセグメント情報の更新を依頼する。
　また、メッセージ処理部１１４は、リクエスト受信部１１１で受信されたクライアント装置３００からのリクエストを受け取る。リクエストがライト要求の場合、メッセージ処理部１１４は、リクエストに含まれるキーを格納先決定部１２０に渡し、データを書き込むサーバ装置を問い合わせる。格納先のサーバ装置がサーバ装置１００である場合には、メッセージ処理部１１４は、データを、イベント処理部１３０を介してデータ記憶部１４０に格納する。格納先が他のサーバ装置である場合には、メッセージ処理部１１４は、そのサーバ装置にリクエストを転送する。リクエストがリード要求の場合、メッセージ処理部１１４は、リクエストに含まれるキーを格納先決定部１２０に渡し、データが存在するサーバ装置を問い合わせる。格納先のサーバ装置がサーバ装置１００である場合には、メッセージ処理部１１４は、イベント処理部１３０を介してデータ記憶部１４０からデータを取り出す。格納先が他のサーバ装置である場合には、メッセージ処理部１１４は、そのサーバ装置にリクエストを転送する。
　格納先決定部１２０は、セグメント情報記憶部１２１とセグメント管理部１２２を有する。
　セグメント情報記憶部１２１は、図５のようなセグメント管理ツリーを記載したセグメント情報を記憶する。セグメント情報は、セグメントの分割に伴って更新される。セグメント情報記憶部１２１は、ハッシュ関数を示す情報を記憶してもよい。なお、セグメント情報記憶部１２１は、ＲＡＭ１０２またはＨＤＤ１０３上の記憶領域として実現できる。
　セグメント管理部１２２は、セグメント情報記憶部１２１に記憶されたセグメント情報に基づいて、リクエストで指定されたキーまたはキーの範囲に対応する１またはそれ以上のセグメントを検索する。そして、セグメント管理部１２２は、セグメントのラベルまたは後述の方法で変換したラベルとハッシュ関数から、検索されたセグメントに属するデータが配置されている１またはそれ以上のサーバ装置を判定する。また、セグメント管理部１２２は、検索されたセグメントに属するデータが自サーバ装置にある場合、イベント処理部１３０にデータ処理を依頼する。検索されたセグメントに属するデータが他のサーバ装置にある場合、メッセージ処理部１１４に当該他のサーバ装置へのメッセージの送信を依頼する。
　さらに、セグメント管理部１２２は、イベント処理部１３０からセグメントを分割した旨の報告があると、セグメント情報記憶部１２１に記憶されたセグメント情報を更新する。そして、セグメントの更新を示すメッセージを他のサーバ装置に送信するよう、メッセージ処理部１１４に依頼する。また、セグメント管理部１２２は、メッセージ処理部１１４からの依頼に応じて、セグメント情報記憶部１２１に記憶されたセグメント情報を更新する。なお、セグメント管理部１２２は、セグメントが配置され得るサーバ装置の識別情報を、設定情報として管理装置２００から受信して保持している。
　イベント処理部１３０は、データ処理部１３１、算出式記憶部１３２、閾値算出部１３３および分割判定部１３４を有する。
　データ処理部１３１は、セグメント管理部１２２またはメッセージ処理部１１４からの依頼に応じて、データ処理を行う。キーまたはキーの範囲を指定したリード要求である場合、データ処理部１３１は、キーに対応するデータまたはキーの範囲に対応するデータ群をデータ記憶部１４０から読み出す。キーを指定したライト要求である場合、データ処理部１３１は、キーに対応付けてデータをデータ記憶部１４０に書き込む。
　また、データ処理部１３１は、データをデータ記憶部１４０に書き込んだ場合、セグメントの分割の要否を分割判定部１３４に問い合わせる。分割判定部１３４で分割を要すると判定された場合、データ処理部１３１は、セグメントの分割処理を行い、セグメントを分割した旨をセグメント管理部１２２に報告する。さらに、データ処理部１３１は、データ送信部１１３の要求に応じて、分割されたセグメントの１つまたは複数に属するデータを、データ送信部１１３に送る。
　算出式記憶部１３２は、セグメントを分割するか判定するための閾値を算出する算出式を記憶する。閾値は、後述するように、分割の要否を判定するセグメントのラベルに基づいて算出される。閾値の算出式は、例えば、管理装置２００のユーザが記述し、管理装置２００が算出式記憶部１３２に設定する。なお、算出式記憶部１３２は、例えば、図３に示したような、ＲＡＭ１０２またはＨＤＤ１０３上の記憶領域として実現できる。
　閾値算出部１３３は、分割判定部１３４から指定されたセグメントのラベルと、算出式記憶部１３２に記憶された閾値の算出式から、指定されたセグメントの閾値を算出する。そして、算出した閾値を分割判定部１３４に回答する。
　分割判定部１３４は、データ処理部１３１からの問い合わせに応じて、データの書き込みが行われたセグメントの分割の要否を判定する。分割判定部１３４は、書き込みが行われたセグメントのラベルを指定して、閾値算出部１３３に閾値の算出を依頼する。セグメントのラベルは、例えば、セグメント情報を参照して、ライト要求で指定されたキーから求める。また、分割判定部１３４は、データ記憶部１４０を参照して、書き込みが行われたセグメントのデータ量あるいはデータ数（例えば、当該セグメントに属するキーに対応付けられたデータの総量または総数）を求める。そして、分割判定部１３４は、データ量あるいはデータ数が閾値を超える場合、分割を要すると判定し、データ量あるいはデータ数が閾値以下の場合、分割を要しないと判定する。
　なお、分割判定部１３４は、定期的に、各セグメントに属するデータ量あるいはデータ数をチェックし、データ量あるいはデータ数が閾値を超えているセグメントに対して、分割を要すると判定するようにしてもよい。
　データ記憶部１４０は、キーとデータを対応付けて記憶する。データ記憶部１４０は、記憶領域をセグメント毎に分割して、キーとデータを記憶してもよい。
　（セグメント分割処理）
　図８は、セグメント分割の一例を示すフローチャートである。ここでは、サーバ装置１００が処理を行う場合を考える。サーバ装置１００ａ，１００ｂ，１００ｃも、サーバ装置１００と同様の処理を行う。以下、図８に示す処理をステップ番号に沿って説明する。
　（ステップＳ１１）分割判定部１３４は、データ処理部１３１がデータ記憶部１４０に書き込んだデータのキーを特定する。そして、セグメント情報記憶部１２１に記憶されたセグメント情報に基づいて、キーに対応するセグメントを検索する。
　（ステップＳ１２）閾値算出部１３３は、算出式記憶部１３２に記憶された算出式に、ステップＳ１１の処理で検索されたセグメントのラベルを代入し、当該セグメントの閾値を算出する。閾値の算出式は、例えば、以下のように表せる。
　閾値ｔｈ（Ｌ）＝Ｒ×２((f×N)ノ小数部)　　　　　（１）
　ｆ＝ｖａｌｕｅ（Ｌ）／ｂlength(L)　　　　　（２）
　式（１）において、ｔｈ（Ｌ）は、あるラベルＬのセグメントに適用する閾値を示している。また、Ｒは所定のルート閾値、Ｎは前述した転送を許容する階層間隔を示している。式（２）において、ｂはセグメント管理ツリーの分岐数を示す。また、ｌｅｎｇｔｈ（Ｌ）はラベルのビット数を示し、ｖａｌｕｅ（Ｌ）はラベルＬが表す１０進数表現の値を示す。
　（ステップＳ１３）分割判定部１３４は、データ記憶部１４０を参照して、ステップＳ１１の処理で検索したセグメントのデータ量（例えば、当該セグメントに属するキーに対応付けられているデータの総量）あるいはデータ数を算出する。そして、分割判定部１３４は、データ量あるいはデータ数がステップＳ１２の処理で算出された閾値を超えているか判断する。データ量あるいはデータ数が閾値を超える場合、ステップＳ１４の処理が行われる。データ量あるいはデータ数が閾値以下の場合、処理が終了する。
　（ステップＳ１４）セグメント管理部１２２は、ステップＳ１１の処理で検索されたセグメントを分割して得られるｂ個の子セグメントを定義する。例えば、セグメントのラベルがＬでありｂ＝２の場合、セグメント管理部１２２は、ラベルＬ＋０，Ｌ＋１の子セグメントを定義する。
　（ステップＳ１５）データ処理部１３１は、データ記憶部１４０から、ステップＳ１１の処理で検索されたセグメントに属するキーを１つ選択する。
　（ステップＳ１６）データ処理部１３１は、ステップＳ１４の処理で定義された子セグメントの中から、ステップＳ１５の処理で選択したキーのプレフィックスと一致するラベルをもつ子セグメントを特定する。そして、データ処理部１３１は、ステップＳ１５の処理で選択したキーを、特定した子セグメントに割り当てる。
　（ステップＳ１７）データ処理部１３１は、ステップＳ１５の処理で全てのキーを選択したか判断する。全てのキーが選択された場合、ステップＳ１８の処理が行われる。未選択のキーが存在する場合、ステップＳ１５からの処理が繰り返される。
　（ステップＳ１８）データ送信部１１３は、複数の子セグメントの何れかに属するデータを他のサーバ装置に転送することを許可するか判定する処理（データ転送判定処理）を行う。データ転送判定処理の一例については後述する。データ送信部１１３が、データ転送を許可すると判定した場合にはステップＳ１９の処理が行われ、データ転送を許可しないと判定した場合にはステップＳ２０の処理が行われる。
　（ステップＳ１９）データ送信部１１３は、他のサーバ装置に配置される子セグメントに属するデータ（当該子セグメントに属するキーと対応付けられているデータ）を、データ処理部１３１を介してデータ記憶部１４０から読み出し、他のサーバ装置に送信する。データの送信が完了すると、データ送信部１１３は、データ処理部１３１に対してデータの送信が完了した旨を通知する。データ処理部１３１は、データ送信部１１３からデータの送信が完了したことを通知されると、他のサーバ装置に配置される子セグメントのデータをデータ記憶部１４０から削除する。
　（ステップＳ２０）セグメント管理部１２２は、ステップＳ１４の処理で実施されたセグメント分割が反映されるように、セグメント情報記憶部１２１に記憶されているセグメント情報を更新する。メッセージ処理部１１４は、セグメントの更新を他の全てのサーバ装置に通知する。
　なお、上記の分割処理では、ライト対象のセグメントを分割する例を示したが、定期的に現在のセグメント管理ツリーの最下層の各セグメントに属するデータ量またはデータ数と閾値との比較結果に応じて分割処理を実施するようにしてもよい。
　また、上記の分割処理では、検索されたライト対象のセグメントのラベルから閾値を算出し、算出した閾値をステップＳ１３の処理で使用していたが、これに限定されない。例えば、各セグメントが生成された段階で、閾値算出部１３３が閾値を算出し、記憶部（例えば、セグメント情報記憶部１２１）に記憶しておくようにしてもよい。その場合、分割判定部１３４は、ステップＳ１１の処理で検索されたセグメントに対応する閾値を記憶部から取り出して、ステップＳ１３の処理で使用する。また、閾値は、全セグメントで同一の値としてもよい。
　図９は、セグメントの閾値の例を示す図である。図９の閾値の例は、図５に示した２分木で表現されたセグメント管理ツリーに式（１）を適用して算出したものである。
　ただし、図９の例では、ルート閾値Ｒ＝１２８［ＭＢ］、転送を許容する階層間隔Ｎ＝４としている。
　各階層レベル（ｎ＝１～５）の左端ノード（ルートノード（ラベル“Φ”）およびラベル“０”，“００”，“０００”，“００００”のノード）に対応するセグメントには、ルート閾値Ｒ＝１２８が設定される。左端ノード以外のノードに対応するセグメントには、１２８を２((f×N)ノ小数部)倍した閾値が設定される。
　例えば、ラベル“１”のセグメントでは、前述した式（２）からｆ＝０．５となる。式（１）では、ｆ×Ｎ＝０．５×４＝２．０であり、小数部は０であるから、閾値ｔｈ（“１”）＝１２８×２0＝１２８［ＭＢ］となる。
　また、ラベル“１１１”のセグメントでは、前述した式（２）からｆ＝７／２3＝０．８７５となる。式（１）では、ｆ×Ｎ＝０．８７５×４＝３．５であり、小数部は０．５であるから、閾値ｔｈ（“１１１”）＝１２８×２0.5≒１８１［ＭＢ］となる。
　図９には、他のセグメントについても式（１），（２）に基づいて算出された閾値とｆの値が表記されている。
　式（１）に基づいて閾値を算出することで、分割したときに転送が生じる可能性がある階層に属するセグメントにおいて、分割されるタイミングをずらすことができる。図９に示したようなセグメント管理ツリーにおいて、転送を許容する階層間隔Ｎ＝４としているので、例えば、ｎ＝４の階層のラベル“０００”，“００１”のセグメントは、分割されたときに転送が生じる可能性がある（詳細は後述する）。ラベル“０００”のセグメントに対応づけられた閾値が１２８［ＭＢ］で、ラベル“００１”のセグメントに対応づけられた閾値が１８１である。このような閾値を適用することで、キー空間全体に対して均等に一定の速度でデータが追加される場合を考えると、ラベル“０００”のセグメントに対して、ラベル“００１”のセグメントの分割されるタイミングを遅らせることができる。
　また、式（１）に従って各セグメントの閾値を算出すると、データがキー空間に対して均等に追加される場合には、上位の階層のセグメントの分割が完了した後に、下位の階層のセグメントの分割が行われる。例えば、ラベル“１”のセグメントが分割された後に、ラベル“００”のセグメントが分割される。ラベル“１１”のセグメントが分割された後に、ラベル“０００”のセグメントが分割される。ラベル“１１１”のセグメントが分割された後に、ラベル“００００”のセグメントが分割される。
　（データ転送判定処理）
　図８のフローチャートにおけるステップＳ１８の処理（データ転送判定処理）の例を説明する。
　図１０は、データ転送判定処理の一例を示すフローチャートである。ここでも、サーバ装置１００が処理を行う場合を考える。サーバ装置１００ａ，１００ｂ，１００ｃも、サーバ装置１００と同様の処理を行う。以下、図１０に示す処理をステップ番号に沿って説明する。
　（ステップＳ２１）データ送信部１１３は、図８に示したフローチャートのステップＳ１４の処理で定義された子セグメントのラベルを、例えば、以下のようにして変換する。変換手法としては、例えば、以下の２通りがある。
　（ラベル変換方法１）
　データ送信部１１３は、転送条件記憶部１１２に格納されている転送を許容する階層間隔Ｎを参照する。そして、データ送信部１１３は、例えば、２進数で表されるセグメントのラベルの先頭から、Ｎの倍数のビットだけ残し、端数のビットを削除する。
　例えば、Ｎ＝４とした場合、上記変換方法によれば、図９に示したようなセグメント管理ツリーでは、ｎ＝１～４の階層のセグメントにおけるラベルの値は削除され、ｎ＝５の階層のセグメントのラベルは全てのビットが残る。
　さらに、データ送信部１１３は、ラベルのＬＳＢ（Least Significant Bit）からＭＳＢ（Most Significant Bit）に向かってＮの倍数分のビットが連続して０の場合、Ｎの倍数分の連続する０を削除する。
　例えば、Ｎ＝４とした場合、ラベル“１１１１００００”はラベル“１１１１”に変換され、ラベル“１０１００００００００”はラベル“１０１”に変換される。
　（ラベル変換方法２）
　データ送信部１１３は、例えば、２進数で表されるセグメントのラベルに対して、式（２）を適用してｆの値を求める。なお、ｆの値は、閾値を算出する処理（図８のステップＳ１２の処理）で求められたものを、データ送信部１１３が取得して用いるようにしてもよい。
　データ送信部１１３は、ラベルのビット数をＮで割った余り（Ａ）がｆ×Ｎの整数部に一致する場合は、ラベルの値をそのまま維持する。Ａがｆ×Ｎの整数部に一致しない場合には、そのラベルのＬＳＢからＭＳＢに向かってＡビットを削除する。
　また、ラベル変換方法１と同様に、データ送信部１１３は、ラベルのＬＳＢからＭＳＢに向かってＮの倍数分のビットが連続して０の場合、Ｎの倍数分の連続する０を削除する。
　（ステップＳ２２）データ送信部１１３は、上記の２つのラベル変換方法の何れかを実行した後、セグメント管理部１２２に対して、子セグメントのラベルまたは変換されたラベルを通知し、子セグメントに属するデータを配置するサーバ装置を問い合わせる。
　（ステップＳ２３）セグメント管理部１２２は、子セグメントのラベルまたは変換されたラベルにハッシュ関数を適用して、その子セグメントに対応するハッシュ値を算出する。そして、セグメント管理部１２２は、図６に示したように、各サーバ装置のハッシュ値とセグメントのハッシュ値のループ上での位置関係に基づいて、その子セグメントに属するデータを配置するサーバ装置を決定する。また、セグメント管理部１２２は、決定したサーバ装置をデータ送信部１１３に通知する。
　（ステップＳ２４）データ送信部１１３は、決定されたサーバ装置が、予め、ステップＳ２１，Ｓ２２と同様の処理により決定されている親セグメントに属するデータを配置するサーバ装置と異なっているか判定する。複数の子セグメントのそれぞれについて決定されたサーバ装置の中に、親セグメントに属するデータを配置するサーバ装置と異なっているものがある場合には、ステップＳ２５の処理が行われる。複数の子セグメントのそれぞれについて決定されたサーバ装置が全て、親セグメントに属するデータを配置するサーバ装置と同じであれば、ステップＳ２６の処理が行われる。
　（ステップＳ２５）データ送信部１１３は、親セグメントに対応付けられたサーバ装置と異なるサーバ装置が指定された子セグメントに対して、その子セグメントに属するデータを親セグメントに対応付けられたサーバ装置から、指定されたサーバ装置に転送することを許可する。
　（ステップＳ２６）データ送信部１１３は、子セグメントに属するデータを、親セグメントに対応付けられたサーバ装置から他のサーバ装置へ転送することを許可しない。
　（ラベル変換方法１の適用例）
　図１１は、ラベル変換方法１を適用した場合に転送が許容されるセグメントの例を示す図である。図１１では、図９に示したセグメント管理ツリーと同様のものが示されている。
　なお、以下では、ｎ＝１のセグメントに属するデータがサーバ装置１００のデータ記憶部１５０に格納されるものとして説明する。矢印が付加されているセグメントは、そのセグメントに属するデータが、サーバ装置１００から、他のサーバ装置へ転送が許容されるセグメントであることを示している。
　転送を許容する階層間隔Ｎ＝４として、上記のラベル変換方法１を適用した場合、前述のようにｎ＝１～ｎ＝４の階層のセグメントのラベルを一部削除した値でハッシュ値を算出するため、ハッシュ値は同じ値となる。そのため、セグメント管理部１２２は、転送先として同じサーバ装置１００をデータ送信部１１３に指定する。そのため、ｎ＝１～ｎ＝４の階層のセグメントに属するデータの移動は発生しない。
　ｎ＝５の階層では、ラベル“００００”のセグメントについては、上記のラベル変換方法１により全ての“０”が削除されるため、同じサーバ装置１００が指定される。ｎ＝５の階層のその他のセグメントについては、各セグメントのラベルの値に応じてセグメント管理部１２２で転送先のサーバ装置が指定される。ただし、サーバ装置の数などによっては、セグメント管理部１２２で同じサーバ装置１００が指定されるセグメントが生じる場合もある。その場合には、データ送信部１１３は、そのセグメントに属するデータを、サーバ装置１００から他のサーバ装置に転送しない。
　図１１に示すようなセグメント管理ツリーにおいて、更にセグメントの分割を進めていったとき、Ｎ＝４として、ラベル変換方法１を適用すると、４階層間隔ごとに、転送が許可されるセグメントが現れる。
　このように、ラベル変換方法１を適用すると、所定の分割深さ（階層間隔）が満たされない場合は、生成されたセグメントに属するデータの他の記憶装置への移動が制限される。これにより、情報処理システムにおける負荷分散の際の平均データ転送量の増加を抑制できる。このため、負荷分散時の記憶装置間でのデータ移動によって、ユーザによる情報処理システムへのデータアクセスなどの妨げになることを抑制できる。
　（ラベル変換方法２の適用例）
　図１２は、ラベル変換方法２を適用した場合に転送が許容されるセグメントの例を示す図である。図１２では、図９に示したセグメント管理ツリーと同様のものが示されている。
　なお、以下でも、ｎ＝１のセグメントに属するデータがサーバ装置１００のデータ記憶部１５０に格納されるものとして説明する。また、矢印が付加されているセグメントは、そのセグメントに属するデータが、サーバ装置１００から、他のサーバ装置へ転送が許容されるセグメントであることを示している。
　転送を許容する階層間隔Ｎ＝４として、上記のラベル変換方法２を適用した場合、ｎ＝２の階層のラベル“０”のセグメントは、ラベルのビット数が１であり、Ｎ＝４で割った余り（Ａ）が１であり、ｆ×Ｎ＝０．０である。この場合、Ａ＝１がｆ×Ｎ＝０．０の整数部に一致しないため、ラベルのＬＳＢからＭＳＢに向かって１ビット削除される。その結果、ラベルのビットは全て削除される。従って、ハッシュ値は、ｎ＝１の階層のセグメントと同じとなり、セグメント管理部１２２は、転送先としてサーバ装置１００をデータ送信部１１３に指定する。そのため、ラベル“０”のセグメントに属するデータの移動は発生しない。ラベル“１”のセグメントについても同様に、ハッシュ値は、ｎ＝１の階層のセグメントと同じとなり、セグメント管理部１２２は、転送先としてサーバ装置１００をデータ送信部１１３に指定する。そのため、ラベル“１”のセグメントに属するデータの移動は発生しない。
　ｎ＝３の階層では、各セグメントのラベルのビット数が２であり、Ｎ＝４で割った余り（Ａ）が２である。ｆ×４の整数部が２に一致するのは、ラベル“１０”のセグメントである。そのため、データ送信部１１３は、ラベル“１０”をセグメント管理部１２２に通知する。セグメント管理部１２２は、ラベル“１０”に対応したハッシュ値を求め、そのハッシュ値をもとに、ラベル“１０”のセグメントに属するデータの転送先となるサーバ装置を決定し、データ送信部１１３に通知する。データ送信部１１３は、通知されたサーバ装置がサーバ装置１００と異なる場合には、ラベル“１０”のセグメントに属するデータを通知されたサーバ装置に転送する。
　ｎ＝３の階層のその他のセグメントは、ラベル変換方法２によってビット数分のデータが削除されるため、ハッシュ値は、ｎ＝１の階層のセグメントと同じとなる。そのため、セグメント管理部１２２は、転送先としてサーバ装置１００をデータ送信部１１３に指定する。そのため、それらのセグメントに属するデータの移動は発生しない。
　ｎ＝４の階層では、各セグメントのラベルのビット数が３であり、Ｎ＝４で割った余り（Ａ）が３である。ｆ×４の整数部が３に一致するのは、ラベル“１１０”，“１１１”のセグメントである。そのため、データ送信部１１３は、ラベル“１１０”，“１１１”をセグメント管理部１２２に通知する。セグメント管理部１２２は、ラベル“１１０”，“１１１”に対応したハッシュ値を求め、そのハッシュ値をもとに、ラベル“１１０”，“１１１”のセグメントに属するデータの転送先となるサーバ装置を決定し、データ送信部１１３に通知する。データ送信部１１３は、通知されたサーバ装置がサーバ装置１００と異なる場合には、ラベル“１１０”，“１１１”のセグメントに属するデータを通知されたサーバ装置に転送する。
　ｎ＝４の階層のその他のセグメントは、ラベル変換方法２によってビット数分のデータが削除されるため、ハッシュ値は、ｎ＝１の階層のセグメントと同じとなる。そのため、セグメント管理部１２２は、転送先としてサーバ装置１００をデータ送信部１１３に指定する。そのため、それらのセグメントに属するデータの移動は発生しない。
　ｎ＝５の階層では、各セグメントのラベルのビット数が４であり、Ｎ＝４で割った余り（Ａ）が０である。ｆ×４の整数部が０に一致するのは、ラベル“００００”～“００１１”のセグメントある。ただし、ラベル“００００”は、ＬＳＢからＭＳＢに向かってＮの倍数（１倍）だけ０が連続しているため、削除される。ラベル“０１００”～“０１１１”については、Ａ＝０であるため、削除されない。そのため、データ送信部１１３は、ラベル“（空）”～“０１１１”をセグメント管理部１２２に通知する。セグメント管理部１２２は、ラベル“（空）”～“０１１１”に対応したハッシュ値を求め、そのハッシュ値をもとに、ラベル“（空）”～“０１１１”のセグメントに属するデータの転送先となるサーバ装置を決定し、データ送信部１１３に通知する。ラベル“（空）”については、ハッシュ値はｎ＝１の階層のセグメントと同じになるので、サーバ装置１００が指定される。ラベル“０００１”～“０１１１”のセグメントに関しては、データ送信部１１３は、通知されたサーバ装置がサーバ装置１００と異なる場合には、それらのセグメントに属するデータを通知されたサーバ装置に転送する。
　なお、ラベル“１０００”～“１１１１”についても、Ａ＝０であるためラベルの値は削除されない。しかし、ラベル“１０”またはラベル“１１０”，“１１１”のセグメントで転送が発生した場合、ラベル“１０００”～“１１１１”のセグメントは、分割の深さの条件を満たさない。すなわち、ラベル“１０”またはラベル“１１０”，“１１１”のセグメントが属する階層と、ラベル“１０００”～“１１１１”のセグメントが属する階層との階層間隔はＮ＝４未満である。そのため、データ送信部１１３は、それらのセグメントに属するデータの移動を許容しない。なお、更にセグメントの分割が進むと、ラベル“１０”のセグメントや、ラベル“１１０”，“１１１”の子孫では、４階層間隔ごとにデータの移動が許容されるセグメントが現れることになる。ラベル“０００１”～“０１１１”のセグメントの子孫についても同様である。
　このように、図１２の例では、セグメント管理ツリーにおいて、データの転送が許容されるセグメントが１つの階層に集中せず、複数階層にわたって配置されている。
　以上のようにラベル変換方法２を適用すると、ラベル変換方法１を適用した場合と同様の効果が得られるとともに、複数のセグメントの間でデータ転送が発生するタイミングをずらすことができ、データ転送の発生が同時期に集中することを抑制することができる。このため、情報処理システムの負荷を軽減できる。
　上記のようなデータ転送判定処理は、図２に示したような他のサーバ装置１００ａ，１００ｂ，１００ｃについても、各サーバ装置が有しているセグメントの情報を用いて同様に行うことが可能である。
　（リクエスト処理）
　図１３は、リクエスト処理の一例を示すフローチャートである。ここでは、サーバ装置１００が処理を行う場合を考える。サーバ装置１００ａ，１００ｂ，１００ｃも、サーバ装置１００と同様の処理を行う。以下、図１３に示す処理をステップ番号に沿って説明する。
　（ステップＳ３１）リクエスト受信部１１１は、クライアント装置３００からリクエストを受信する。リクエストの種類には、１つのキーを指定したリード要求、キーの範囲を指定したリード要求、および、１つのキーを指定したライト要求が含まれる。
　（ステップＳ３２）セグメント管理部１２２は、ステップＳ３１の処理で受信されたリクエストがキーの範囲を指定したものか判断する。範囲指定のリクエストである場合、ステップＳ３４の処理が行われる。それ以外の場合、ステップＳ３３が行われる。
　（ステップＳ３３）セグメント管理部１２２は、セグメント情報記憶部１２１に記憶されたセグメント情報を参照して、リクエストで指定されたキーの属するセグメントを検索する。セグメントの検索では、例えば、ｂ進数（ｂは２以上の整数）で表現したキーのプレフィックスとラベルを、セグメント管理ツリーのルートノードから葉ノードに向かって比較していき、プレフィックスと一致するラベルをもつ葉ノードが特定される。特定した葉ノードに相当するセグメントが、検索されるセグメントである。
　（ステップＳ３４）セグメント管理部１２２は、セグメント情報を参照して、リクエストで指定された範囲内のキーを少なくとも１つ含むセグメントを全て検索する。複数のセグメントの検索では、例えば、範囲内のキーの最大値と最小値とに共通する最長のプレフィックスを求め、当該プレフィックスをラベルとしてもつノードが特定される。そして、セグメント管理部１２２は、特定したノード以下の複数の葉ノードを特定する。特定した複数の葉ノードに相当する複数のセグメントが、検索されるセグメントである。
　例えば、キーの範囲が０００１０～００１０１の場合、キーの最小値０００１０と最大値００１０１とに共通する最長のプレフィックスは、００である。よって、ラベル“００”のノードより下位にある、ラベル“０００”，“００１”の葉ノードが特定される。そして、ラベル“０００”に相当するセグメントとラベル“００１”に相当するセグメントとが検索される。
　（ステップＳ３５）セグメント管理部１２２は、ステップＳ３３またはステップＳ３４の処理で検索されたセグメントのラベルを、上記のデータ転送判定処理で適用されたラベル変換方法１，２の何れかを用いて変換する。そしてセグメント管理部１２２は、ラベルまたは変換されたラベルに対してハッシュ関数を適用し、ハッシュ値を算出する。そして、セグメント管理部１２２は、ハッシュ値からセグメントが配置されているサーバ装置を特定する。サーバ装置は、例えば、図６に示した方法で特定される。ステップＳ３４の処理で複数のセグメントが検索された場合、複数のサーバ装置が特定されることがある。以下のステップＳ３６～Ｓ３８の処理が、特定されたサーバ装置毎またはセグメント毎に実行される。
　（ステップＳ３６）セグメント管理部１２２は、データ処理の対象のセグメントが配置されたサーバ装置として、他のサーバ装置がステップＳ３５の処理で特定されたか判断する。他のサーバ装置が特定された場合、ステップＳ３７の処理が行われる。自装置（サーバ装置１００）が特定された場合、ステップＳ３８の処理が行われる。
　（ステップＳ３７）メッセージ処理部１１４は、ステップＳ３５の処理で特定された他のサーバ装置に対して、リード要求またはライト要求を示すメッセージを送信する。メッセージには、クライアント装置３００からのリクエストで指定されたキーまたはキーの範囲のうち、宛先のサーバ装置に記憶されているキーまたはキーの範囲が含まれる。その後、メッセージ処理部１１４は、応答のメッセージを他のサーバ装置から受信する。応答のメッセージには、キーに対応するデータまたは書き込み完了の報告が含まれる。
　（ステップＳ３８）データ処理部１３１は、クライアント装置３００からのリクエストに応じたデータ処理を行う。リード要求の場合、リクエストで指定されたキーまたはキーの範囲のうち、自装置に記憶されているキーまたはキーの範囲に対応するデータをデータ記憶部１４０から読み出す。ライト要求の場合、リクエストに含まれるキーとデータとを対応付けて、データ記憶部１４０に書き込む。
　（ステップＳ３９）リクエスト受信部１１１は、ステップＳ３１で受信したリクエストに対するレスポンスをクライアント装置３００に送信する。リクエストがリード要求である場合、レスポンスとして、ステップＳ３７，Ｓ３８で自装置または他のサーバ装置から読み出されたデータを送信する。リクエストがライト要求である場合、レスポンスとして、ステップＳ３７，Ｓ３８で確認された書き込み完了の報告を送信する。
　（情報処理システムの動作シーケンス例）
　図１４は、情報処理システムの動作シーケンスの一例を示すシーケンス図である。クライアント装置３００がサーバ装置１００に対して、データの書き込みのリクエストを送信し、データの書き込みによってセグメント分割が発生する場合を考える。
　（ステップＳ４１）クライアント装置３００は、データの書き込みを示すリクエストをサーバ装置１００に送信する。リクエストには、キーとデータが含まれる。
　（ステップＳ４２）サーバ装置１００は、自装置が有するセグメント情報からキーの属するセグメントを検索し、ラベルを、適用されたラベル変換方法１または２を用いて変換する。そして、サーバ装置１００は、変換されたラベルとハッシュ関数を用いて当該セグメントに属するデータが配置されているサーバ装置（ここでは、サーバ装置１００ａ）を特定する。そして、ライト要求のメッセージをサーバ装置１００ａに送信する。メッセージには、キーとデータが含まれる。
　（ステップＳ４３）サーバ装置１００ａは、サーバ装置１００から受信したメッセージに含まれるキーとデータとを対応付けて、自装置が有する記憶装置に書き込む。そして、書き込み完了を示すレスポンスをサーバ装置１００に送信する。
　（ステップＳ４４）サーバ装置１００は、サーバ装置１００ａで書き込みが完了したことを確認すると、クライアント装置３００にレスポンスを送信する。
　（ステップＳ４５）サーバ装置１００ａは、データの書き込みによって、セグメントのデータの量またはデータ数が閾値を超えたことを検出する。すると、サーバ装置１００ａは、当該セグメントをｂ個（例えば、２個）のセグメントに更に分割する。
　（ステップＳ４６）サーバ装置１００ａは、図１０に示したようなデータ転送判定処理を行う。以下では、分割後の２つのセグメントに属するデータが、サーバ装置１００ａ，１００ｂに分散して記憶されるものとする。
　（ステップＳ４７）サーバ装置１００ａは、サーバ装置１００ｂに記憶されるキーとデータをサーバ装置１００ｂに送信する。
　（ステップＳ４８）サーバ装置１００ｂは、サーバ装置１００ａから受信したキーとデータを対応付けて、自装置が有する記憶装置に書き込む。そして、書き込み完了を示すレスポンスをサーバ装置１００ａに送信する。
　（ステップＳ４９）サーバ装置１００ａは、サーバ装置１００ｂへの複製が完了したセグメントのデータを、自装置が有する記憶装置から削除する。また、サーバ装置１００ａは、セグメントの分割が反映されるように、自装置が有するセグメント情報を更新する。そして、サーバ装置１００ａは、セグメントの更新を示す通知を、他の全てのサーバ装置（サーバ装置１００，１００ｂ，１００ｃ）に送信する。
　（ステップＳ５０）サーバ装置１００，１００ｂ，１００ｃは、サーバ装置１００ａからの通知に基づいて、自装置が有するセグメント情報を更新する。そして、セグメント情報の更新完了を示すレスポンスを、サーバ装置１００ａに送信する。これにより、サーバ装置１００ａによるセグメント情報の更新が、サーバ装置１００，１００ｂ，１００ｃが有するセグメント情報に反映される。
　第２の実施の形態によれば、サーバ装置１００，１００ａ，１００ｂ，１００ｃはキーとデータを対応付けて記憶し、クライアント装置３００から指定されたキーについてデータ処理を行うので、データ処理の複雑性を低減でき負荷が低くなる。また、データが複数のサーバ装置に分散して記憶されると共に、何れのサーバ装置もクライアント装置３００からリクエストを受け付けることができるので、ボトルネックとなる装置が生じないように設計可能であり、情報処理システムの可用性が向上する。
　また、キー空間を複数のセグメントに分割し、セグメント単位でデータがサーバ装置に配置されるので、値の近いキーに対応するデータ同士が同一のサーバ装置に記憶される確率が高くなり、キーの範囲を指定したデータ処理を効率的に実行できる。また、セグメント分割やデータ転送の要否は、セグメントのラベルに基づいてセグメント毎に独立に判定できるので、各サーバ装置が他のサーバ装置とネゴシエーションを行わずに判定でき、スケーラビリティを向上できる。
　また、所定の分割深さ（階層間隔）を満たさない場合は、生成されたセグメントに属するデータの他の記憶装置への移動が制限される。これにより、情報処理システムにおける負荷分散の際の平均データ転送量の増加を抑制できる。このため、負荷分散時の記憶装置間でのデータ移動によって、ユーザによる情報処理システムへのデータアクセスなどの妨げになることを抑制できる。
　また、データ転送判定処理において、ラベル変換方法２を適用すると、複数のセグメントの間で、データ転送が発生するタイミングをずらすことができ、データ転送の発生が同時期に集中することを抑制することができる。このため、情報処理システムの負荷を軽減できる。
　なお、前述のように、第２の実施の形態のデータ管理は、コンピュータとしてのサーバ装置１００，１００ａ，１００ｂ，１００ｃに、それぞれデータ管理プログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体（例えば、記録媒体３３）に記録しておくことができる。記録媒体として、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを使用できる。磁気ディスクには、ＦＤおよびＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ－Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤおよびＤＶＤ－Ｒ／ＲＷが含まれる。
　プログラムを流通させる場合、例えば、当該プログラムを記録した可搬記録媒体が提供される。また、プログラムを他のコンピュータの記憶装置に格納しておき、ネットワーク４１経由でプログラムを配布することもできる。コンピュータは、例えば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを記憶装置（例えば、ＨＤＤ１０３）に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよく、他のコンピュータからネットワーク４１を介して受信したプログラムを直接実行してもよい。
　上記については単に本発明の原理を示すものである。更に、多数の変形や変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応する全ての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
　１０　情報処理装置
　１１　記憶部
　１２　制御部
　２０－１～２０－ｎ　記憶装置
　ｓｇ１，ｓｇ２ａ，ｓｇ２ｂ，ｓｇ３ａ，ｓｇ３ｂ，ｓｇ３ｃ，ｓｇ３ｄ，ｓｇ４ａ，ｓｇ４ｂ，ｓｇ５ａ，ｓｇ５ｂ，ｓｇ５ｃ，ｓｇ５ｄ　セグメント

Claims (7)

  1. 　記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムに用いられる、情報処理装置であって、
    　セグメントとキーとの対応関係を示すセグメント情報を記憶する記憶部と、
    　一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、前記セグメント情報を更新する制御部と、を有し、
    　前記制御部は、第１のセグメントから１回または階層的にＮ（Ｎ＞１）回の分割によって複数の第２のセグメントが得られたときに、前記Ｎが所定の条件を満たす場合には、前記複数の第２のセグメントの少なくとも１つに属するデータを、前記第１のセグメントに属するデータを記憶していた第１の記憶装置から第２の記憶装置へ移動することを許容し、前記Ｎが前記所定の条件を満たさない場合には、前記複数の第２のセグメントに属するデータの移動を制限する、情報処理装置。
  2. 　前記所定の条件は、前記第１のセグメントの階層と前記複数の第２のセグメントの階層との間の間隔が、２以上の所定の階層間隔の倍数であるという条件である、請求の範囲第１項記載の情報処理装置。
  3. 　各セグメントには、分割の深さに応じた長さのラベルが付与されており、前記制御部は、前記複数の第２のセグメントに付与されたラベルに基づいて、前記所定の条件を満たすか否か判定する、請求の範囲第１項または第２項記載の情報処理装置。
  4. 　前記所定の条件を満たすか否かは、同じ階層のセグメント間では判定結果が同じになる方法を用いて判定する、請求の範囲第１項乃至第３項の何れか一項に記載の情報処理装置。
  5. 　前記所定の条件を満たすか否かは、同じ階層のセグメント間でもセグメントによって判定結果が異なる方法を用いて判定する、請求の範囲第１項乃至第３項の何れか一項に記載の情報処理装置。
  6. 　記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムが行うデータ管理方法であって、
    　一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、セグメントとキーとの対応関係を示すセグメント情報を更新し、
    　第１のセグメントから１回または階層的にＮ（Ｎ＞１）回の分割によって複数の第２のセグメントが得られたときに、前記Ｎが所定の条件を満たす場合には、前記複数の第２のセグメントの少なくとも１つに属するデータを、前記第１のセグメントに属するデータを記憶していた第１の記憶装置から第２の記憶装置へ移動することを許容し、
    　前記Ｎが前記所定の条件を満たさない場合には、前記複数の第２のセグメントに属するデータの移動を制限する、データ管理方法。
  7. 　記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムに用いられるコンピュータに実行させるプログラムであって、前記コンピュータに、
    　一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、セグメントとキーとの対応関係を示すセグメント情報を更新し、
    　第１のセグメントから１回または階層的にＮ（Ｎ＞１）回の分割によって複数の第２のセグメントが得られたときに、前記Ｎが所定の条件を満たす場合には、前記複数の第２のセグメントの少なくとも１つに属するデータを、前記第１のセグメントに属するデータを記憶していた第１の記憶装置から第２の記憶装置へ移動することを許容し、
    　前記Ｎが前記所定の条件を満たさない場合には、前記複数の第２のセグメントに属するデータの移動を制限する、処理を実行させるプログラム。
PCT/JP2012/050158 2012-01-06 2012-01-06 情報処理装置、データ管理方法およびプログラム WO2013103012A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2012/050158 WO2013103012A1 (ja) 2012-01-06 2012-01-06 情報処理装置、データ管理方法およびプログラム
JP2013552374A JP5765441B2 (ja) 2012-01-06 2012-01-06 情報処理装置、データ管理方法およびプログラム
EP12864659.3A EP2801911A4 (en) 2012-01-06 2012-01-06 INFORMATION PROCESSING DEVICE, DATA MANAGEMENT METHOD, AND PROGRAM
US14/315,377 US20140310321A1 (en) 2012-01-06 2014-06-26 Information processing apparatus, data management method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/050158 WO2013103012A1 (ja) 2012-01-06 2012-01-06 情報処理装置、データ管理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/315,377 Continuation US20140310321A1 (en) 2012-01-06 2014-06-26 Information processing apparatus, data management method, and program

Publications (1)

Publication Number Publication Date
WO2013103012A1 true WO2013103012A1 (ja) 2013-07-11

Family

ID=48745082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050158 WO2013103012A1 (ja) 2012-01-06 2012-01-06 情報処理装置、データ管理方法およびプログラム

Country Status (4)

Country Link
US (1) US20140310321A1 (ja)
EP (1) EP2801911A4 (ja)
JP (1) JP5765441B2 (ja)
WO (1) WO2013103012A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211356A (ja) * 2014-04-25 2015-11-24 Kddi株式会社 構成情報管理サーバ、ネットワーク構成情報管理システムおよび構成情報管理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327084B (zh) * 2013-06-08 2017-01-04 北京古盘创世科技发展有限公司 一种公私混合分布式的云存储系统及云存储方法
US10572509B2 (en) * 2015-07-27 2020-02-25 Cisco Technology, Inc. Scalable spine nodes with partial replication of routing information in a network environment
US11256696B2 (en) * 2018-10-15 2022-02-22 Ocient Holdings LLC Data set compression within a database system
CN110430042B (zh) * 2019-06-28 2022-11-22 中国人民解放军战略支援部队信息工程大学 一种在异构冗余系统中存储秘钥的装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060862A1 (ja) * 2005-11-24 2007-05-31 Brother Kogyo Kabushiki Kaisha 情報配信システム、情報配信方法、ノード装置、及び記録媒体
WO2007083531A1 (ja) * 2006-01-20 2007-07-26 Brother Kogyo Kabushiki Kaisha コンテンツ配信システム、ノード装置及びその情報処理方法並びにそのプログラムを記録した記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050193425A1 (en) * 2000-07-24 2005-09-01 Sanghoon Sull Delivery and presentation of content-relevant information associated with frames of audio-visual programs
GB2366014B (en) * 2000-08-19 2004-10-13 Ibm Free space collection in information storage systems
US7546319B1 (en) * 2003-04-28 2009-06-09 Ibrix, Inc. File system consistency checking in a distributed segmented file system
CN101505262B (zh) * 2008-02-05 2011-07-20 华为技术有限公司 一种构造节点Id的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060862A1 (ja) * 2005-11-24 2007-05-31 Brother Kogyo Kabushiki Kaisha 情報配信システム、情報配信方法、ノード装置、及び記録媒体
WO2007083531A1 (ja) * 2006-01-20 2007-07-26 Brother Kogyo Kabushiki Kaisha コンテンツ配信システム、ノード装置及びその情報処理方法並びにそのプログラムを記録した記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAISUKE TAKEMOTO: "Load Balancing Schemes for Dynamic System Configuration in Content- Addressable Network", IEICE TECHNICAL REPORT, vol. 103, no. 248, 29 July 2003 (2003-07-29), pages 13 - 18, XP008171517 *
See also references of EP2801911A4
SRIRAM RAMABHADRAN ET AL.: "Prefix Hash Tree: An Indexing Data Structure over Distributed Hash Tables", 2004, XP003031517 *
YATIN CHAWATHE; SRIRAM RAMABHADRAN; SILVIA RATNASAMY; ANTHONY LAMARCA; SCOTT SHENKER; JOSEPH HELLERSTEIN: "A Case Study in Building Layered DHT Applications", PROCEEDING OF THE ACM SIGCOMM 2005 CONFERENCE ON APPLICATIONS, TECHNOLOGIES, ARCHITECTURES AND PROTOCOLS FOR COMPUTER COMMUNICATIONS, 22 August 2005 (2005-08-22)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211356A (ja) * 2014-04-25 2015-11-24 Kddi株式会社 構成情報管理サーバ、ネットワーク構成情報管理システムおよび構成情報管理方法

Also Published As

Publication number Publication date
JPWO2013103012A1 (ja) 2015-05-11
JP5765441B2 (ja) 2015-08-19
EP2801911A1 (en) 2014-11-12
EP2801911A4 (en) 2014-12-10
US20140310321A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
US10209893B2 (en) Massively scalable object storage for storing object replicas
US8832113B2 (en) Data management apparatus and system
JP5411250B2 (ja) 冗長データ記憶システムへの指示に従ってのデータ配置
CN103150394B (zh) 面向高性能计算的分布式文件系统元数据管理方法
US7934211B2 (en) Multi-level patching operation
CN103067433B (zh) 一种分布式存储系统的数据迁移方法、设备和系统
US20130061084A1 (en) Massively Scalable Object Storage
JP6222227B2 (ja) ストレージノード、ストレージノード管理装置、ストレージノード論理容量設定方法、プログラム、記録媒体および分散データストレージシステム
JP5765441B2 (ja) 情報処理装置、データ管理方法およびプログラム
JP2013045379A (ja) ストレージ制御方法、情報処理装置およびプログラム
JP2013045378A (ja) ストレージ制御方法、情報処理装置およびプログラム
US20170220586A1 (en) Assign placement policy to segment set
US20140244794A1 (en) Information System, Method and Program for Managing the Same, Method and Program for Processing Data, and Data Structure
US20210318994A1 (en) Extensible streams for operations on external systems
JPWO2013172405A1 (ja) ストレージシステムおよびデータアクセス方法
JP5633646B2 (ja) 情報処理装置、データ管理方法およびデータ管理プログラム
JP6011786B2 (ja) 分散ストレージシステム、分散ストレージデータ配置制御方法及び分散ストレージデータ配置制御用プログラム
US9942324B2 (en) Rebalancing and elastic storage scheme with elastic named distributed circular buffers
JP5463899B2 (ja) ファイル管理情報記憶装置、ファイル管理情報記憶装置の制御方法、およびファイル管理情報記憶装置の制御プログラム
US10762050B2 (en) Distribution of global namespace to achieve performance and capacity linear scaling in cluster filesystems
JP2017107300A (ja) データ管理プログラム及びデータ管理方法
JP2021124952A (ja) 情報処理装置、情報処理システムおよびアクセス制御方法
US12026177B2 (en) Dynamic adaptive partition splitting
CN117194439B (zh) 一种资源存储系统的创建方法、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12864659

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013552374

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012864659

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012864659

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE