WO2012124178A1 - 分散記憶システムおよび分散記憶方法 - Google Patents

分散記憶システムおよび分散記憶方法 Download PDF

Info

Publication number
WO2012124178A1
WO2012124178A1 PCT/JP2011/063842 JP2011063842W WO2012124178A1 WO 2012124178 A1 WO2012124178 A1 WO 2012124178A1 JP 2011063842 W JP2011063842 W JP 2011063842W WO 2012124178 A1 WO2012124178 A1 WO 2012124178A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
node
data storage
coordinates
storage nodes
Prior art date
Application number
PCT/JP2011/063842
Other languages
English (en)
French (fr)
Inventor
健一郎 石川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2013504500A priority Critical patent/JP5943430B2/ja
Priority to US14/005,435 priority patent/US9317221B2/en
Publication of WO2012124178A1 publication Critical patent/WO2012124178A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827—Management specifically adapted to NAS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Definitions

  • the present invention is based on the priority claim of Japanese Patent Application: Japanese Patent Application No. 2011-058340 (filed on March 16, 2011), the entire contents of which are incorporated herein by reference. Shall.
  • the present invention relates to a distributed storage system and a distributed storage method, and more particularly to a distributed storage system and a distributed storage method for storing a large number of data to be processed using a large number of nodes.
  • the storage node refers to a device such as a storage that stores object data.
  • a problem is a method of managing the correspondence between the storage node and the object data stored in the storage node. So far, a method for managing the correspondence between a storage node and object data stored in the storage node by a small number of fixed management nodes has been proposed. However, according to such a method, the management node tends to be a bottleneck, and there are problems such as poor scalability. In order to overcome these problems, a system in which correspondence is managed by a large number of management nodes has been proposed. According to such a system, the processing for controlling the storage node that stores the object data is not concentrated on one or a few fixed management nodes, so that the data is more efficiently distributed to a large number of storage nodes. Can be remembered.
  • Patent Document 1 Japanese Patent Application No. 2010-184109
  • Non-Patent Document 1 Non-Patent Document 1
  • Non-Patent Document 2 Non-Patent Document 2
  • a method for storing object data in a large number of storage nodes using an algorithm has been proposed.
  • FIG. 8 is a diagram illustrating a system configuration of a distributed storage system related to the present invention.
  • a distributed storage system 100 illustrated in FIG. 8 illustrates a distributed storage system that does not use the above-described fixed management node.
  • the distributed storage system 100 includes a plurality of storage nodes 101 and client nodes 110.
  • the storage node 101 receives a read command from the client node 110, executes a command to read the object data stored in the storage node 101, returns the object data to the client node 110 that issued the command, and at the same time, the client node 110.
  • the object data write command sent from the client node 110 is executed to store the object data.
  • FIG. 8 shows a case in the distributed storage system 100 shown in FIG. 8 where processing for reading object data having a data identifier 000001 is executed.
  • a unique number is assigned to each storage node 101 in advance.
  • all the client nodes 110 have a storage table 111 that stores information of all the storage nodes 101 and numbers assigned to the storage nodes 101.
  • FIG. 9 shows the storage table 111 as an example.
  • the client node 110 uses the data identifier 000001 as a seed (random number seed), and generates a pseudo-random number that is generated with equal probability for all the numbers assigned to the storage node 101 stored in the storage table 111. Is generated.
  • an algorithm for generating a pseudo random number an algorithm for generating the same random number sequence is used for the same seed.
  • the generation of the pseudo random number is repeated until the same pseudo random number as the number assigned to the storage node 101 is generated.
  • an access command is sent to the storage node 101 to which the number corresponding to the pseudo random number is assigned.
  • the storage node 101 to which the number corresponding to the pseudo random number is assigned executes the received access command to obtain object data.
  • the storage node 101 sends the object data to the client node 110, and the reading process is completed.
  • the object data is distributed almost evenly across the storage nodes 101.
  • a substantially uniform distribution is maintained by moving the minimum object data. be able to.
  • object data can be stored in a large number of storage nodes 101 by an algorithm without using a fixed specific node for centrally controlling the entire system. That is, according to the system configuration described above, object data can be stored evenly distributed among a large number of storage nodes 101. Moreover, according to the system configuration described above, even when the number of storage nodes 101 changes, it is possible to flexibly cope with it.
  • Non-Patent Document 1 In the methods described in Patent Document 1, Non-Patent Document 1, and Non-Patent Document 2, individual object data is stored in a storage node without being classified. At this time, when processing object data having a specific property on a storage node, it is necessary to collect object data from a large number of storage nodes to the storage node. As the number of storage nodes increases, the amount of processing for collecting object data to a specific node increases.
  • the object data having the same or similar property is stored biased to a small number of storage nodes, and a plurality of storages are realized.
  • object data that is processed when processing object data with specific properties while distributing objects almost evenly to each storage node It is desirable to be able to limit the storage nodes possessed.
  • the object data is uniformly distributed and stored in a plurality of data storage nodes, and the object data is unevenly distributed in some data storage nodes according to the characteristics of the object data.
  • An object of the present invention is to provide a distributed storage system and a distributed storage method that solve such problems.
  • the distributed storage system is: A plurality of data storage nodes for distributing and storing a plurality of object data are provided, Each of the plurality of object data is characterized by data coordinates and uniquely identified by a data identifier; Each of the plurality of data storage nodes is assigned node coordinates in the same space as the data coordinates, For the plurality of object data, a plurality of data storage nodes to which node coordinates having a relatively short distance from the data coordinates characterizing the object data are assigned are selected as a first data storage node from the plurality of data storage nodes. Thereafter, the data is stored in the data storage nodes determined based on the data identifier for identifying the object data among the plurality of first data storage nodes.
  • the distributed storage method is: A distributed storage method for distributing and storing a plurality of object data characterized by data coordinates and uniquely identified by a data identifier, Assigning node coordinates in the same space as the data coordinates to each of a plurality of data storage nodes; Selecting a plurality of data storage nodes assigned with node coordinates having a relatively short distance from the data coordinates characterizing each of the plurality of object data as a first data storage node from the plurality of data storage nodes When, Storing the object data in a data storage node determined based on a data identifier that identifies each of the plurality of object data from among the plurality of first data storage nodes.
  • object data is uniformly distributed and stored in a plurality of data storage nodes, and the object data is stored in some data storage nodes according to the characteristics of the object data. It can be unevenly distributed.
  • FIG. 1 is a block diagram schematically showing a configuration of a distributed storage system according to the present invention.
  • 1 is a block diagram schematically showing the configuration of a distributed storage system according to a first embodiment.
  • FIG. 1 is a block diagram showing a configuration of a distributed storage system according to a first embodiment.
  • 1 is a block diagram showing a configuration of a distributed storage system according to a first embodiment.
  • 4 is a flowchart illustrating processing in which a metadata storage node determines a data storage node in the distributed storage system according to the first embodiment. It is a figure which illustrates notionally the whole structure of the distributed storage system which concerns on 2nd Embodiment.
  • FIG. 1 is a diagram illustratively explaining a hardware configuration capable of executing a distributed storage system according to an embodiment and an example thereof, or a node constituting the distributed storage system.
  • FIG. It is a figure which illustrates the system configuration
  • the distributed storage system (70) includes a plurality of data storage nodes (71a to 71c) that store a plurality of object data in a distributed manner.
  • a plurality of data storage nodes (71a to 71c) that store a plurality of object data in a distributed manner.
  • three data storage nodes (71a to 71c) are shown as an example, but the number of data storage nodes is not limited to the illustrated mode.
  • Each object data is characterized by data coordinates and uniquely identified by a data identifier.
  • Each of the data storage nodes (71a to 71c) is assigned node coordinates in the same space as the data coordinates.
  • the object data is a data storage node assigned a node coordinate having a relatively short distance from the data coordinates characterizing the object data as a first data storage node among the plurality of data storage nodes (71a to 71c).
  • the data is stored in a data storage node (for example, 71a) determined based on a data identifier for identifying object data from among the plurality of first data storage nodes (71a, 71b). Is done.
  • the data coordinates characterizing each of the plurality of object data and the node coordinates assigned to each of the plurality of data storage nodes (71a to 71c) are a plurality of evaluation axes for quantitatively evaluating the plurality of object data. It is good also as a coordinate in the Euclidean space which makes a coordinate axis.
  • a plurality of data storage nodes to which node coordinates within a predetermined distance from the object data are assigned may be selected as a first data storage node from among the plurality of data storage nodes (71a to 71c). Good. Furthermore, a predetermined number of data storage nodes to which node coordinates having a short distance from the object data are assigned are used as a first data storage node among a plurality of data storage nodes (71a to 71c) in order from the shortest distance. You may make it select.
  • a plurality of pseudo-random numbers generated using a data identifier for identifying object data as a seed is assigned to each of a plurality of first data storage nodes (for example, 71a and 71b), and the data coordinates of the object data and a plurality of first data
  • a plurality of data storage nodes having a maximum value obtained by multiplying the weight calculated according to the distance from the node coordinates assigned to each of the data storage nodes (71a, 71b) by the assigned pseudo-random number are assigned to a plurality of data storage nodes.
  • One data storage node (71a, 71b) may be extracted, and the extracted data storage node (for example, 71a) may be determined as a data storage node to store the object data.
  • the weight is preferably increased as the distance between the data coordinates characterizing each of the plurality of object data and the node coordinates assigned to each of the plurality of data storage nodes (71a to 71c) becomes shorter.
  • node coordinates are assigned to the plurality of data storage nodes (71a to 71c) in accordance with the distribution of data coordinates characterizing the plurality of object data.
  • node coordinates may be assigned with high probability to an area where the distribution density of data coordinates is high.
  • the distributed storage system (70) is a client that writes object data to a plurality of data storage nodes (71a to 71c) and reads object data stored in the plurality of data storage nodes (71a to 71c).
  • a node (72) may further be provided.
  • the client node (72) selects a data storage node to which a node coordinate having a relatively short distance from the data coordinate characterizing the object data is assigned as the first data storage node from the plurality of data storage nodes (71a to 71c).
  • the client node (72) assigns the data storage node to which the node coordinates having a relatively short distance from the data coordinates characterizing the object data are assigned as the first data from the plurality of data storage nodes (71a to 71c).
  • a plurality of storage nodes are selected (for example, 71a and 71b), and a read command of the object data is sent to the selected plurality of first data storage nodes (71a and 72b), or the object data is characterized
  • a plurality of data storage nodes to which node coordinates having a relatively short distance from the data coordinates are assigned are selected as a first data storage node from the plurality of data storage nodes (71a to 71c) (for example, 71a and 71b).
  • a plurality of first data storage nodes (71a, 71b)
  • Data storage node (e.g., 71a) which is determined on the basis of the data identifier for identifying the object data from being respect, it is preferred to deliver a read instruction of the object data.
  • the object data is distributed based on the respective properties and distributed almost evenly to each node.
  • the node storing the object data can be specified from the data identifier of the object data and a plurality of numerical indexes (data coordinates) representing the property of the data of the object data.
  • the node storing the object data can be limited to a part of the nodes from a plurality of numerical indexes (data coordinates) representing the data characteristics of the object data.
  • the distributed storage system according to the first aspect is as described above.
  • the data coordinates characterizing each of the plurality of object data and the node coordinates assigned to each of the plurality of data storage nodes are Euclideans having a plurality of evaluation axes that quantitatively evaluate the plurality of object data as coordinate axes. It may be a coordinate in space.
  • a plurality of data storage nodes to which node coordinates within a predetermined distance from the object data are assigned may be selected as the first data storage node from the plurality of data storage nodes.
  • a predetermined number of data storage nodes to which node coordinates having a short distance from the object data are assigned are selected as a first data storage node from the plurality of data storage nodes in order from the shortest distance. Good.
  • a plurality of pseudo-random numbers generated using a data identifier for identifying object data as a seed are assigned to each of the plurality of first data storage nodes, and the data coordinates of the object data and each of the plurality of first data storage nodes
  • a data storage node having a maximum value obtained by multiplying the weight calculated in accordance with the distance to the node coordinates assigned to the assigned pseudo-random number is extracted from the plurality of first data storage nodes; You may make it determine the extracted data storage node as a data storage node which should store this object data.
  • the weight may increase as the distance between the data coordinates characterizing each of the plurality of object data and the node coordinates assigned to each of the plurality of data storage nodes decreases.
  • Each of the plurality of data storage nodes may be assigned node coordinates according to a distribution of data coordinates characterizing the plurality of object data.
  • the distributed storage system may further include a client node that writes the object data to the plurality of data storage nodes and reads the object data stored in the plurality of data storage nodes.
  • the client node selects a plurality of data storage nodes to which node coordinates having a relatively short distance from the data coordinates characterizing the object data are assigned as a first data storage node from the plurality of data storage nodes, and The object data may be written to a data storage node determined based on the data identifier of the object data from the plurality of first data storage nodes.
  • the client node selects a plurality of data storage nodes to which node coordinates having a relatively short distance from the data coordinates characterizing the object data are assigned as a first data storage node from the plurality of data storage nodes, and A read command for the object data may be sent to a plurality of selected first data storage nodes.
  • the client node selects a plurality of data storage nodes to which node coordinates having a relatively short distance from the data coordinates characterizing the object data are assigned as a first data storage node from the plurality of data storage nodes, and A read instruction for the object data may be sent to a data storage node determined based on a data identifier for identifying the object data among the plurality of first data storage nodes.
  • This is as the distributed storage method according to the second aspect.
  • the data coordinates characterizing each of the plurality of object data and the node coordinates assigned to each of the plurality of data storage nodes are Euclideans having a plurality of evaluation axes that quantitatively evaluate the plurality of object data as coordinate axes. It may be a coordinate in space.
  • the distributed storage method includes a step of selecting a plurality of data storage nodes to which node coordinates within a predetermined distance from the object data are assigned as first data storage nodes from the plurality of data storage nodes. Also good.
  • the distributed storage method includes assigning a plurality of pseudo-random numbers generated using a data identifier of object data as a seed to each of the plurality of first data storage nodes; Data having a maximum value obtained by multiplying the weight calculated according to the distance between the data coordinates of the object data and the node coordinates assigned to each of the plurality of first data storage nodes by the assigned pseudo-random number Extracting a storage node from among the plurality of first data storage nodes; Determining the extracted data storage node as a data storage node in which the object data is to be stored.
  • the distributed storage method may include a step of assigning node coordinates to each of the plurality of data storage nodes in accordance with a distribution of data coordinates characterizing the plurality of object data.
  • FIG. 2 is a block diagram schematically showing the configuration of the distributed storage system 40 according to the present embodiment.
  • FIG. 2 includes two views (a) and (b).
  • FIG. 3 is a block diagram showing an internal configuration of each node in the distributed storage system 40 according to the present embodiment.
  • FIG. 4 is a block diagram showing details of each node in the distributed storage system 40 according to the present embodiment.
  • the distributed storage system 40 shown in FIG. 2 to FIG. 4 is a system that stores a plurality of data in a distributed manner.
  • the distributed storage system 40 stores data in the data storage nodes 30 in a substantially uniform manner, and stores the data in the data storage nodes 30 in a biased manner according to a plurality of numerical indexes indicating the properties of the data.
  • the data to be processed is referred to as “object data” as in the background art described above.
  • the object data may be, for example, numerical data, a software program (computer program) in which predetermined processing (process, function, algorithm) is described.
  • the distributed storage system 40 includes a plurality of client nodes 10, a plurality of metadata storage nodes 20, and a plurality of data storage nodes 30.
  • the client node 10, the metadata storage node 20, and the data storage node 30 according to the present embodiment are connected to be communicable with each other.
  • the client node 10 the metadata storage node 20, and the data storage node 30 will be described.
  • the client node 10 determines the metadata storage node 20 that stores metadata corresponding to the data identifier from the data identifier of the object data to be accessed. Then, a data identifier and an access command are sent to the metadata storage node 20.
  • the metadata storage node 20 receives the data identifier and access command sent from the client node 10. Next, the metadata storage node 20 selects a data storage node 30 having object data based on a predetermined rule (described later) based on the data identifier and metadata corresponding to the data identifier. Next, the metadata storage node 20 sends a data identifier and an access command to the selected data storage node 30.
  • “Metadata” includes data obtained by evaluating the characteristics of object data with a plurality of indices and digitizing them. That is, in the present embodiment, the data identifier and the metadata do not necessarily match.
  • the data storage node 30 receives the data identifier and access command sent from the metadata storage node 20. Next, the data storage node 30 returns the object data, data identifier, and metadata corresponding to the data identifier to the client node 10.
  • the following access method may be used.
  • the client node 10 selects a data storage node 30 that may have object data corresponding to the metadata based on the rule, and sends the metadata to the selected data storage node 30. And send an access command. At this time, a plurality of data storage nodes 30 can be selected.
  • the data storage node 30 receives the metadata and the access command sent from the client node 10, and returns object data, a data identifier, and metadata corresponding to the metadata to the client node 10. At this time, the data storage node 30 may not hold object data corresponding to the metadata, or may hold a plurality of object data corresponding to the metadata.
  • the distributed storage system 40 includes three types of nodes as shown in FIG.
  • the present invention is not limited to the configuration illustrated in FIGS. 2 to 4.
  • all or some of the functions of these nodes may be realized in a virtual machine environment.
  • a specific example of the hardware configuration for realizing the distributed storage system 40 will be described later with reference to FIG.
  • the client node 10 includes a metadata storage node determination unit 11, a data identifier transmission unit 12, a node information storage unit 13, a data storage node determination unit 14, a metadata transmission unit 15, and a data reception unit 16. It has.
  • the metadata storage node determination unit 11 determines a combination of the data identifier and metadata corresponding to the data identifier from the data identifier of the object data and the node number of the metadata storage node 20 stored in the node information storage unit 13.
  • the stored metadata storage node 20 is determined.
  • the data identifier transmission unit 12 transmits a data identifier and an access command to the metadata storage node 20.
  • Various methods can be adopted as a method by which the metadata storage node determination unit 11 determines the metadata storage node 20 that stores a combination of a data identifier and metadata corresponding to the data identifier. For example, the method described in Patent Document 1, Non-Patent Document 1, or Non-Patent Document 2 can be employed.
  • the data storage node determination unit 14 may store object data using the algorithm B described later from the data coordinates included in the metadata and the node coordinates stored in the node information storage unit 13.
  • the data storage node 30 is determined.
  • the metadata sending unit 15 sends metadata and an access command to the data storage node 30.
  • the coordinate axes of the node coordinates the same coordinate axes as the data coordinates are used. A method for specifying the coordinate data of the node coordinates will be described later.
  • the data receiving unit 16 receives object data, a data identifier, and metadata sent from the data storage node 30.
  • the metadata storage node 20 includes a data identifier reception unit 21, a metadata storage unit 22, a metadata determination unit 23, a node information storage unit 24, a node determination unit 25, and a data identifier transmission unit 26. I have.
  • the data identifier receiving unit 21 receives the data identifier and access command sent from the client node 10.
  • the metadata storage unit 22 stores metadata corresponding to the data identifier.
  • the metadata determination unit 23 receives metadata corresponding to the data identifier from the metadata storage unit 22 and sends it to the node determination unit 25.
  • the metadata includes data coordinates obtained by quantifying the result of evaluating the object data corresponding to the metadata with various evaluation axes.
  • Various evaluation axes are used as evaluation axes for evaluating object data depending on individual systems.
  • the evaluation axis to be used is not particularly limited.
  • the node determination unit 25 uses the metadata corresponding to the received data identifier and the node information stored in the node information storage unit 24 to convert the data storage node 30 that is the destination of the received data identifier to the algorithm A described later. Select based on.
  • the node information includes the node coordinates of the data storage node 30, the node number, and node access information.
  • the node number is a number unique to each data storage node.
  • the data identifier transmission unit 26 sends a data identifier and an access command to the selected data storage node 30.
  • Data storage node 30 Referring to FIG. 4, the data storage node 30 includes a data identifier receiving unit 31, a data storage unit 32, a data determining unit 33, a data transmitting unit 34, a metadata receiving unit 35, and a metadata determining unit 36. .
  • the data identifier receiving unit 31 receives a data identifier and an access command from the metadata storage node 20.
  • the data storage unit 32 stores object data, a data identifier, and metadata corresponding to the received data identifier.
  • the data determination unit 33 acquires object data and metadata corresponding to the received data identifier from the data storage unit 32.
  • the data transmission unit 34 sends the object data, data identifier, and metadata to the client node 10.
  • the metadata receiving unit 35 receives metadata from the client node 10.
  • the metadata determination unit 36 acquires object data and a data identifier corresponding to the received metadata from the data storage unit 32.
  • the data storage unit 32 may not store object data and data identifiers corresponding to the received metadata, or may store a plurality of data.
  • the data transmission unit 34 sends the object data, the data identifier, and the metadata to the client node 10.
  • the object data, the data identifier, and the metadata are transmitted to the client node 10, but the information to be returned to the client node 10 is not limited thereto.
  • FIG. 5 is a flowchart of algorithm A.
  • the data storage node 30 is selected (step S1).
  • a “space” for example, a multidimensional Euclidean space having an evaluation axis orthogonal to the evaluation axis can be used.
  • Various rules such as a rule for limiting the number of data storage nodes 30 to be selected, a rule for limiting the distance, a rule for limiting both the number and distance of the data storage nodes 30 to be selected as “predetermined rules” Can be adopted. Further, when selecting the data storage node 30 that matches the rule, a method of limiting the data storage nodes 30 for calculating the distance can be used instead of calculating the distances between the object data and all the data storage nodes 30.
  • the weight is calculated from the distance (step S2).
  • a method for calculating the weight from the distance for example, a method using the inverse of the distance as the weight can be used.
  • a random number is generated using the data identifier of the object data as a seed, and assigned to the data storage node 30 selected in step S1 (step S3).
  • a pseudo-random number generating method for generating the same random numbers if the seeds are the same is used.
  • the Nth generated random number is assigned to the data storage node 30 having the node number N.
  • step S4 the random number assigned to the data storage node 30 is multiplied by the weight of each data storage node 30 to obtain a weight-adjusted random number.
  • the largest weight adjusted random number is searched for among the weight adjusted random numbers, and the data storage node 30 having the largest weight adjusted random number is selected (step S5).
  • Algorithm A it is possible to select a data storage node 30 that stores object data with a bias according to weight.
  • object data having close data coordinates is stored in a limited data storage node 30 having the same or close node coordinates.
  • the same data storage node 30 is always selected. Furthermore, when the data storage node 30 is added or deleted, the number of object data whose selection of the data storage node 30 is changed can be minimized.
  • Algorithm B Algorithm B is the same as step S1 of algorithm A.
  • the distance between the metadata and the data storage node 30 when the data coordinates included in the metadata and the node coordinates of the data storage node 30 are expanded to “space” is calculated, and the “predetermined rule” is calculated in order from the metadata.
  • a data storage node 30 is selected.
  • a “space” for example, a multidimensional Euclidean space having an evaluation axis orthogonal to the evaluation axis can be used.
  • Various rules such as a rule for limiting the number of data storage nodes 30 to be selected, a rule for limiting the distance, a rule for limiting both the number and distance of the data storage nodes 30 to be selected as “predetermined rules” Can be adopted. Further, when selecting the data storage node 30 that meets the rule, a method of limiting the data storage nodes 30 that need to be calculated can be used instead of calculating the distance between the metadata and all the data storage nodes 30.
  • the node coordinates of the data storage node 30 can be arbitrarily set. However, when the data coordinates of the object data and the node coordinates of the data storage node 30 are expanded in a space, each data is stored when there are more data storage nodes 30 near the space where more object data exists. The number of object data stored in the storage node 30 becomes more uniform.
  • the node coordinates may be adjusted so that many data storage nodes 30 are arranged in the vicinity of a space where object data is likely to exist in advance. Further, in order to move the position of the data storage node 30 having a small number of stored object data in the space to a position in the space where more object data exists, the node coordinates of the data storage node 30 are changed. It may be changed. Furthermore, when adding the data storage node 30, the data storage node 30 may be added near a position in a space where a lot of object data exists.
  • the metadata storage node determination unit 11 determines the node number of the metadata storage node 20 stored in the data identifier and the node information storage unit 13. From this, the metadata storage node 20 that stores the metadata corresponding to the data identifier is determined. Next, the data identifier transmission unit 12 sends object data, a data identifier, metadata, and an access command to the metadata storage node 20.
  • the data identifier receiving unit 21 receives object data, a data identifier, metadata, and an access command from the client node 10. Next, the data identifier and metadata are stored in the metadata storage unit 22. In addition, the data identifier and metadata are sent to the node determination unit 25. The node determination unit 25 selects the data storage node 30 that is the transmission destination of the data identifier, metadata, and access command based on the algorithm A from the node information stored in the data identifier, metadata, and the node information storage unit 24 To do. Next, the data identifier transmission unit 26 sends object data, a data identifier, metadata, and an access command to the selected data storage node 30.
  • Data storage node 30 The data identifier receiving unit 31 receives object data, a data identifier, metadata, and an access command. Next, the data storage unit 32 stores object data, a data identifier, and metadata.
  • the distributed storage system 40 it is possible to store object data that is close to evaluation by an arbitrarily set evaluation axis in the same or limited data storage node 30. That is, the data storage node 30 that stores the object data can be limited from the data coordinates of the object data and the node coordinates of the data storage node 30. Further, the metadata storage node 20 that stores the metadata of the object data can be specified from the data identifier and the node number of the data storage node 30. Furthermore, the data storage node 30 storing the object data can be specified from the data identifier, the data coordinates of the object data, the node coordinates of the data storage node 30, and the node number. That is, the data storage node 30 that stores object data can be identified efficiently from the data identifier of the object data.
  • the object data can be distributed almost evenly in the data storage nodes 30. Therefore, according to this embodiment, in a distributed processing environment that does not use a specific node that centrally manages and controls a plurality of nodes, both direct access to data based on an identifier and range access by range specification by data evaluation are performed. This can be realized efficiently, and data can be distributed almost evenly to all nodes while biasing the data to some nodes according to the nature of the data.
  • one node is selected in each case for selection of the metadata storage node 20 by the client node 10 and selection of the data storage node 30 by the selected metadata storage node 20.
  • the number of nodes to be selected is not limited to one.
  • the metadata storage node 20 or the data storage node 30 adopts a mirror configuration
  • a plurality of nodes adopting the mirror configuration may be selected in the distributed storage system 40 described above.
  • information for determining which node of the plurality of nodes having the selected mirror configuration is the primary node at the time of the current operation may be shared among the nodes. .
  • FIG. 6 is a block diagram showing the configuration of the distributed storage system 60 according to this embodiment.
  • the distributed storage system 60 includes a plurality of data storage nodes 50.
  • the data storage node 50 includes a data identifier receiver 51, a data determination unit 52, a data storage unit 53, a data transmission unit 54, a metadata reception unit 55, and a metadata determination unit 56.
  • the data storage node 50 When the data storage node 50 receives an access command having a data identifier from a client node (not shown) or the data storage node 50 via the data identifier receiver 51, the data storage node 50 performs the following operation.
  • the data determination unit 52 reads the object data and metadata corresponding to the data identifier from the data storage unit 53, and sends the object data via the data transmission unit 54.
  • the data identifier and metadata are returned to the client node (not shown) that issued the access command.
  • the data determination unit 52 If the data determination unit 52 has metadata corresponding to the data identifier, the data determination unit 52 reads the metadata corresponding to the data identifier from the data storage unit 53 and stores the data identifier and object data corresponding to the metadata. The node 50 is determined, and the data identifier and the access command are transferred to the data storage node 50 via the data transmission unit 54. When determining the data storage node 50 having the object data corresponding to the data identifier and the metadata, the data determination unit 52 uses the algorithm A used by the node determination unit 25 in the first embodiment.
  • the data determination unit 52 determines the data storage node 50 having the metadata corresponding to the data identifier, and the data identifier via the data transmission unit 54 And the access instruction is transferred to the data storage node 50.
  • the data determination unit 52 performs various processes in the same manner as the process used in the metadata storage node determination unit 11 in the first embodiment. Can be adopted.
  • the data storage node 50 When the data storage node 50 receives an access command having only metadata from a client node (not shown) via the metadata receiver 55, the data storage node 50 performs the following operation.
  • the metadata determination unit 56 selects a data storage node 50 that may have object data corresponding to metadata received from a client node (not shown), and sends metadata and an access command to the selected data storage node 50. Send it out.
  • the metadata determination unit 56 uses the algorithm B when selecting a data storage node 50 that may have object data. At this time, a plurality of data storage nodes 50 can be selected.
  • the data storage node 50 When the data storage node 50 receives an access command having only metadata from another data storage node 50 via the metadata receiving unit 55, the data storage node 50 performs the following operation.
  • the metadata determination unit 56 reads the object data and the data identifier corresponding to the metadata received from the data storage unit 53, and sends the access command for the object data, the data identifier, and the metadata via the data transmission unit 54. Return to client node (not shown). Further, when the data storage node 50 does not store the object data corresponding to the metadata, the data storage node 50 may return to the client node (not shown) that it does not have the object data. Information may not be returned. Further, when the data storage node 50 stores a plurality of object data corresponding to the metadata, the plurality of object data is returned to the client node (not shown).
  • the distributed storage system 60 it is possible to store object data that is close to evaluation by an arbitrarily set evaluation axis in the same or limited data storage node 50. That is, the data storage node 50 that stores the object data can be limited from the data coordinates of the object data and the node coordinates of the data storage node 50. Further, the data storage node 50 that stores the metadata of the object data can be specified from the data identifier. Further, the data storage node 50 storing the object data can be identified from the data identifier and data coordinates of the object data, and the node coordinates and node number of the data storage node 50. That is, the data storage node 50 that efficiently stores object data can be identified from the data identifier of the object data.
  • the distribution of the object data to the data storage nodes 50 can be made closer to each other. Therefore, according to this embodiment, in a distributed processing environment that does not use a specific node that centrally manages and controls a plurality of nodes, direct access to data based on data identifiers and range access by range specification by data evaluation are possible. Both can be realized efficiently, and data can be distributed almost evenly to all nodes while biasing the data to some nodes according to the nature of the data.
  • the distributed storage system 40 according to the first embodiment will be described based on a specific example.
  • the distributed storage system 40 is applied to a case where a large number of names are distributed and stored based on height and weight information.
  • the distributed storage system 40 is a distributed storage system accessed from the client node 10. For a large number of people, names are stored as object data. In addition, a human management number is used as a data identifier, and numerical values obtained by evaluating height and weight are used as metadata data coordinates.
  • the metadata storage node 20 stores the data identifier and metadata in a distributed manner based on the data identifier. In addition, the data storage node 30 stores object data, data identifiers, and metadata in a distributed manner while biasing based on the metadata.
  • the metadata storage node determination unit 11 of the client node 10 determines the metadata storage node 20 that stores a combination of numerical values that respectively evaluate the height and weight corresponding to the management number of the accessing person.
  • the data identifier transmission unit 12 sends a person management number and an access command to the metadata storage node 20.
  • the data identifier receiving unit 21 of the metadata storage node 20 receives a person management number and an access command.
  • the metadata determination unit 23 calculates the height and weight corresponding to the management number of the person received from the combination of the management number of the person recorded in the metadata storage unit 22, the height and the weight, respectively. Get the combination of numerical values that evaluate each.
  • the node determination unit 25 stores a person's name from a combination of numerical values obtained by evaluating a person's management number, height and weight, respectively, and node coordinates and node numbers recorded in the node information storage unit 24.
  • the data storage node 30 is determined.
  • the data identifier transmission unit 26 sends a management number and an access command to the data storage node 30 determined to store the personal name.
  • the data identifier receiving unit 31 of the data storage node 30 receives the management number.
  • the data determination unit 33 acquires the management number stored in the data storage unit 32 corresponding to the received management number, the combination of the height and weight, and the person name.
  • the data transmission unit 34 transmits a management number, a combination of numerical values for evaluating height and weight, and a person name to the client.
  • the data storage node determination unit 14 of the client node 10 includes a combination of numerical values for evaluating the height and weight, and a combination of numerical values for evaluating the height and weight from the node coordinates stored in the node information storage unit 13.
  • the candidate of the data storage node 30 storing the person name corresponding to is acquired.
  • the metadata transmission unit 15 sends a combination of numerical values for evaluating the height and weight, respectively, and an access command to the data storage node 30.
  • the metadata receiving unit 35 of the data storage node 30 receives a combination of numerical values and an access command that evaluate the height and weight, respectively.
  • the metadata determination unit 36 has a management number recorded in the data storage unit 32, a combination of numerical values for evaluating height and weight, respectively, corresponding to a combination of numerical values for evaluating received height and weight, and Get a person's name.
  • the data transmission unit 34 transmits a management number, a combination of numerical values for evaluating height and weight, and a person name to the client.
  • the client node 10 directly uses the management number of the person who wants to access to the metadata storage node 20 that stores a combination of numerical values that respectively evaluate the height and weight corresponding to the management number. Can be accessed. Further, the metadata storage node 20 stores a person name corresponding to the management number by using a combination of a management number of the person who wants to access and a numerical value obtained by evaluating the height and weight corresponding to the management number. The data storage node 30 can be accessed directly. Further, the client node 10 may store a management number and a person name corresponding to the combination of numerical values for evaluating the height and weight by using a combination of numerical values for evaluating the height and weight to be accessed. A data storage node 30 can be limited, and the data storage node 30 can be directly accessed.
  • Each unit of the distributed storage system 40 according to the first embodiment and the distributed storage system 60 according to the second embodiment can be realized as a module of a software program. With reference to FIG. 7, the hardware configuration in this case will be described.
  • FIG. 7 is a block diagram illustrating, as an example, the configuration of hardware that realizes the distributed storage systems 40 and 60 or the nodes constituting the distributed storage system. That is, FIG. 7 shows the configuration of a computer that implements all or some of the nodes of the distributed storage system 40 shown in FIGS. 2, 3, and 4 or the distributed storage system 60 shown in FIG. With the hardware configuration shown in FIG. 7, the functions of the respective units of the distributed storage system 40 and the distributed storage system 60 can be realized.
  • the hardware includes a CPU (Central Processing Unit) 91, a ROM (Read Only Memory) 92, a RAM (Random Access Memory) 93, a hard disk drive (HDD: Hard Disk Drive) 94, and an external device.
  • Communication interface (I / F: Interface) 95 which are connected via a bus (communication line) 96.
  • the HDD 94 itself may function as the data storage node 30 in the above-described embodiments and examples.
  • a computer program capable of realizing the functions of the block diagrams (FIGS. 2 to 4) or the flowchart (FIG. 5) is supplied to the hardware of FIG. You may make it achieve by reading to CPU91 of hardware and performing it. At this time, the supplied computer program may be stored in a storage device such as the readable / writable RAM 93 or HDD 94.
  • the present invention can be provided as the computer program code itself or a storage medium on which the computer program code is recorded.
  • the present invention is applied to the distributed arrangement of object data.
  • the present invention can be applied not only to object data but also to distributed execution of algorithms such as programs, or distributed arrangement of objects having physical entities.
  • the distributed storage system includes a plurality of data storage nodes.
  • the data storage node is a specific data storage node among the plurality of data storage nodes based on connection information of the plurality of connected data storage nodes, an identifier of object data, and metadata.
  • the object data is stored in the selected specific data storage node.
  • data storage nodes that can store the object data from the plurality of data storage nodes can be limited.
  • the distributed storage system is a distributed storage system including a client node and a plurality of data storage nodes connected to the client node.
  • the client node has means for transmitting to the data storage node an access command having an identifier of object data or a plurality of numerical indexes (metadata) representing the nature of the data of the object data
  • the data storage node includes an identifier of object data possessed by the access instruction, a plurality of numerical indexes indicating the nature of the data of the object data, and connection information of the plurality of data storage nodes connected to each other.
  • a specific data storage node is selected from the plurality of data storage nodes on the basis of the identifier of the object data possessed by the access instruction and connection information of the plurality of data storage nodes connected, and the data storage Means for transferring the access instruction to a node;
  • a plurality of numerical indexes indicating the nature of the data of the object data possessed by the access instruction, connection information of the plurality of data storage nodes connected, and the plurality of numerical values set in the data storage node Means for selecting a limited data storage node from among the plurality of data storage nodes based on the index, and transferring the access instruction to the data storage node; Means for reading object data stored in the data storage node and transmitting it to the client node; The object data stored by the data storage node can be changed, You may make it
  • the client node is configured to determine the plurality of data based on an identifier of object data, connection information of the plurality of connected data storage nodes, and the plurality of numerical indexes set in the data storage nodes.
  • the data storage node has an identifier of object data included in the access instruction, a plurality of numerical indexes indicating the properties of the corresponding data, connection information of the plurality of data storage nodes connected, Means for selecting a specific data storage node
  • the effects of the present invention can also be achieved by a distributed processing method corresponding to the distributed storage system having the above-described configurations. Further, the distributed storage system having each of the above-described configurations and the corresponding device are also realized by a computer program that implements the computer and a computer-readable storage medium that stores the computer program. be able to.
  • a distributed storage system comprising a plurality of data storage nodes, There is object data characterized by multiple indicators, When there is an algorithm for determining the data storage node for storing the object data uniquely from the identifier of the object data and an identifier such as a unique number of the plurality of data storage nodes and weighting information, Calculate the weight of the data storage node from the value of each index of the object data and the information of the data storage node, A distributed storage system, wherein the data storage node of the object data is uniquely determined by using the algorithm from the identifier of the object data, the identifier of the data storage node, and the weight of the data storage node.
  • Supplementary note 2 The distributed storage according to Supplementary note 1, wherein the algorithm limits the data storage nodes that may be selected from the value of each index of the object data and the information of the data storage node. system.
  • the weight of the data storage node is determined based on the index of the object data on the space having the coordinate of the index of the data storage node corresponding to each index of the object data and the index of the object data.
  • the space which uses the coordinate of each index of the object data and the information of the data storage node corresponding to each index of the object data on a one-to-one basis is a Euclidean space in which the coordinate axes are orthogonal to each other.
  • the distributed storage system according to appendix 5 is a Euclidean space in which the coordinate axes are orthogonal to each other.
  • the algorithm is as follows: When there is a data storage node having a weight and a unique number and object data having an identifier, A pseudo random number is generated by a pseudo random number generation function using the identifier of the object data as a seed, The random number generated in the same order as the unique number of the data storage node is a random number of the data storage node, A value obtained by multiplying the random number of the data storage node by the weight is a weighted random number of the data storage node, The distributed storage system according to any one of appendices 1 to 6, wherein the data storage node having the largest weighted random number of the data storage node is a node that stores the object data.
  • a distributed execution system including a plurality of algorithm execution means, There are algorithms characterized by multiple indicators, When there is an execution means determination algorithm for determining the algorithm execution means for executing the algorithm uniquely from the identifier of the algorithm and an identifier such as a unique number of the plurality of algorithm execution means and weighting information, Calculate the weight of the algorithm execution means from the value of each index of the algorithm and the information of the algorithm execution means, Determination of algorithm execution means for uniquely executing the algorithm using the execution means determination algorithm from the identifier of the algorithm, the identifier of the algorithm execution means, and the weight of the algorithm execution means Method.
  • a distributed storage system including a data storage node having a plurality of physical entities, There are objects with physical entities characterized by multiple indicators, The physical that stores the object having the physical entity uniquely from the identifier of the object having the physical entity, an identifier such as a unique number of a data storage node having a plurality of physical entities, and weighting information
  • an algorithm to determine the data storage node with an entity Calculating the weight of the data storage node having the physical entity from the value of each index of the object having the physical entity and the information of the data storage node having the physical entity; Uniquely having the physical entity using the algorithm from the identifier of the object having the physical entity, the identifier of the data storage node having the physical entity, and the weight of the data storage node having the physical entity
  • a method for determining a data storage node having a physical entity comprising determining a data storage node having the physical entity of an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　複数のデータ記憶ノードにオブジェクトデータを均一に分散して格納するとともに、オブジェクトデータの特徴に応じてオブジェクトデータを一部のデータ記憶ノードに偏在させることを課題とする。複数のオブジェクトデータは、それぞれ、データ座標によって特徴付けられるとともにデータ識別子によって一意に識別され、複数のデータ記憶ノードは、それぞれ、データ座標と同一の空間におけるノード座標を割り当てられ、複数のオブジェクトデータは、オブジェクトデータのデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択した後、複数の第１のデータ記憶ノードの中からオブジェクトデータのデータ識別子に基づいて決定したデータ記憶ノードに、それぞれ記憶される。

Description

分散記憶システムおよび分散記憶方法
［関連出願についての記載］
　本発明は、日本国特許出願：特願２０１１－０５８３４０号（２０１１年３月１６日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、分散記憶システムおよび分散記憶方法に関し、特に、処理対象である多数のデータを多数のノードを用いて記憶する分散記憶システムおよび分散記憶方法に関する。
　分散記憶システムにおいては、処理対象であるデータ（以下、「オブジェクトデータ」という。）を、複数の記憶ノードに分散した状態で大量に記憶する。ここで、記憶ノードとは、オブジェクトデータを記憶するストレージ等の装置をいう。
　分散記憶システムにおいては、多数の記憶ノードがオブジェクトデータを記憶する。この際、記憶ノードとその記憶ノードが記憶しているオブジェクトデータの対応を管理する方法が問題となる。これまでに、少数の固定された管理ノードによって、記憶ノードとその記憶ノードが記憶しているオブジェクトデータの対応を管理する手法が提案されている。しかし、このような手法によると、管理ノードがボトルネックとなりやすく、スケーラビリティに乏しい等の問題がある。これらの問題を克服するために、多数の管理ノードで対応を管理するシステムが提案されている。かかるシステムによると、オブジェクトデータを記憶する記憶ノードを制御するための処理が１台もしくは少数台の固定的な管理ノードに集中することはないため、より効率的に多数の記憶ノードにデータを分散記憶することができる。
　集中的に制御を行う固定的な管理ノードを持たないシステムの場合、オブジェクトデータを記憶した記憶ノードをテーブルに記録して管理することは困難となる。オブジェクトデータを記憶した記憶ノードを記録したテーブルは、オブジェクトデータの数が増えるに従って非常に大きなテーブルとなり、大きなテーブルを多数の管理ノードで同期して管理することは困難となるからである。
　そこで、オブジェクトデータを記憶する記憶ノードをアルゴリズムによって判断する手法が提案されている。オブジェクトデータの識別子などのデータの情報を元に、アルゴリズムによってオブジェクトデータを記憶する記憶ノードを決定することにより、大きなテーブルを多数の管理ノードで同期する必要がなくなり、多数のオブジェクトデータを取り扱うことができる。
　特願２０１０－１８４１０９号（以下「特許文献１」という。）、非特許文献１および非特許文献２は、上述のとおり、システム全体を集中的に制御する固定的な管理ノードを用いることなく、アルゴリズムによって、オブジェクトデータを多数の記憶ノードに記憶する手法を提案している。
　図８は、本発明に関連する分散記憶システムのシステム構成を例示する図である。図８に示す分散記憶システム１００は、上述した固定的な管理ノードを用いない分散記憶システムを例示している。
　分散記憶システム１００は、複数の記憶ノード１０１とクライアントノード１１０を備えている。記憶ノード１０１は、クライアントノード１１０の読み込み命令を受けて、その記憶ノード１０１が記憶しているオブジェクトデータを読み出す命令を実行し、命令を出したクライアントノード１１０へオブジェクトデータを返すとともに、クライアントノード１１０の書き込み命令を受けて、クライアントノード１１０から送出されたオブジェクトデータの書き込み命令を実行し、オブジェクトデータを記憶する。
　ここで、図８に示した分散記憶システム１００において、一例として、データ識別子０００００１を持つオブジェクトデータを読み込む処理を実行する場合について説明する。この処理では、予め各記憶ノード１０１にユニークな番号を割り振っておく。ここで、すべてのクライアントノード１１０は、すべての記憶ノード１０１の情報と記憶ノード１０１に振られた番号を記憶する記憶テーブル１１１を持つものとする。図９は、記憶テーブル１１１を一例として示す。
　処理が始まると、まず、クライアントノード１１０は、データ識別子０００００１をシード（乱数の種）として、記憶テーブル１１１に記憶している記憶ノード１０１に振られたすべての番号を等しい確率で発生する疑似乱数を生成する。疑似乱数を生成するアルゴリズムとして、同一のシードであれば同一の乱数列を生成するようなアルゴリズムを使用する。記憶ノード１０１に振られた番号と同一の疑似乱数が生成されるまで、疑似乱数の生成を繰り返す。記憶ノード１０１に振られた番号と同一の疑似乱数が生成された場合には、その疑似乱数に対応する番号を割り振られた記憶ノード１０１にアクセス命令を送出する。次に、疑似乱数に対応する番号を割り振られた記憶ノード１０１は、受け付けたアクセス命令を実行し、オブジェクトデータを得る。最後に、記憶ノード１０１は、オブジェクトデータをクライアントノード１１０へ送り、読み込み処理が完了する。
　分散記憶システム１００では、オブジェクトデータは記憶ノード１０１にほぼ均等に分散する。また、分散記憶システム１００に対して記憶ノード１０１を追加した場合、または、分散記憶システム１００から記憶ノード１０１を削減した場合には、最小限のオブジェクトデータの移動により、ほぼ均等な分散を維持することができる。
　このように、上述した手法によると、システム全体を集中的に制御する固定的な特定ノードを用いることなく、アルゴリズムによって、オブジェクトデータを多数の記憶ノード１０１に記憶することができる。すなわち、上述したシステム構成によれば、多数の記憶ノード１０１で均等に分散してオブジェクトデータを記憶することができる。また、上述したシステム構成によれば、記憶ノード１０１の台数が変化した場合においても、柔軟に対処することができる。
Ｄａｖｉｄ　Ｋａｒｇｅｒ，Ｅｒｉｃ　Ｌｅｈｍａｎ，Ｔｏｍ　Ｌｅｉｇｈｔｏｎ，Ｍａｔｔｈｅｗ　Ｌｅｖｉｎｅ，Ｄａｎｉｅｌ　Ｌｅｗｉｎ，Ｒｉｎａ　Ｐａｎｉｇｒａｈｙ，"Ｃｏｎｓｉｓｔｅｎｔ　ｈａｓｈｉｎｇ　ａｎｄ　ｒａｎｄｏｍ　ｔｒｅｅｓ：　ｄｉｓｔｒｉｂｕｔｅｄ　ｃａｃｈｉｎｇ　ｐｒｏｔｏｃｏｌｓ　ｆｏｒ　ｒｅｌｉｅｖｉｎｇ　ｈｏｔ　ｓｐｏｔｓ　ｏｎ　ｔｈｅ　Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ，"１９９７． Ｓａｇｅ　Ａ．　Ｗｅｉｌ，Ｓｃｏｔｔ　Ａ．　Ｂｒａｎｄｔ，Ｅｔｈａｎ　Ｌ．　Ｍｉｌｌｅｒ，Ｃａｒｌｏｓ　Ｍａｌｔｚａｈｎ，"ＣＲＵＳＨ：Ｃｏｎｔｏｒｏｌｌｅｄ，Ｓｃａｌａｂｌｅ，Ｄｅｃｅｎｔｒａｌｉｚｅｄ　Ｐｌａｃｅｍｅｎｔ　ｏｆ　Ｒｅｐｌｉｃａｔｅｄ　Ｄａｔａ，"２００６．
　上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者によってなされたものである。
　特許文献１、非特許文献１および非特許文献２に記載された手法では、個々のオブジェクトデータを分類することなく記憶ノードに記憶している。このとき、記憶ノード上で特定の性質を持つオブジェクトデータを処理する場合には、多数の記憶ノードからその記憶ノードへオブジェクトデータを集める必要がある。記憶ノードの台数が多くなるに従って、特定のノードへオブジェクトデータを収集するための処理が膨大となる。
　したがって、オブジェクトデータの性質に基づいてオブジェクトデータを記憶する記憶ノードを決定することにより、同一または類似の性質を有するオブジェクトデータを少数の記憶ノードに偏らせて記憶することを実現し、複数の記憶ノードを集中的に管理および制御する特定ノードを用いない分散処理環境において、各記憶ノードにほぼ均等にオブジェクトを分散させつつ、特定の性質を持つオブジェクトデータを処理する際に処理をするオブジェクトデータを持つ記憶ノードを限定できるようにすることが望まれる。
　特に、複数のデータ記憶ノードにオブジェクトデータを均一に分散して格納するとともに、オブジェクトデータの特徴に応じてオブジェクトデータを一部のデータ記憶ノードに偏在させることが課題となる。本発明の目的は、かかる課題を解決する分散記憶システムおよび分散記憶方法を提供することにある。
　本発明の第１の視点に係る分散記憶システムは、
　複数のオブジェクトデータを分散して記憶する複数のデータ記憶ノードを備え、
　前記複数のオブジェクトデータは、それぞれ、データ座標によって特徴付けられるとともにデータ識別子によって一意に識別され、
　前記複数のデータ記憶ノードは、それぞれ、前記データ座標と同一の空間におけるノード座標を割り当てられ、
　前記複数のオブジェクトデータは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択した後、該複数の第１のデータ記憶ノードの中から該オブジェクトデータを識別するデータ識別子に基づいて決定したデータ記憶ノードに、それぞれ記憶される。
　本発明の第２の視点に係る分散記憶方法は、
　データ座標によって特徴付けられるとともにデータ識別子によって一意に識別される複数のオブジェクトデータを分散して記憶する分散記憶方法であって、
　前記データ座標と同一の空間におけるノード座標を複数のデータ記憶ノードのそれぞれに割り当てる工程と、
　前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを、前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択する工程と、
　前記複数の第１のデータ記憶ノードの中から前記複数のオブジェクトデータのそれぞれを識別するデータ識別子に基づいて決定したデータ記憶ノードに、該オブジェクトデータを記憶させる工程と、を含む。
　本発明に係る分散記憶システムおよび分散記憶方法によると、複数のデータ記憶ノードにオブジェクトデータを均一に分散して格納するとともに、オブジェクトデータの特徴に応じて、オブジェクトデータを一部のデータ記憶ノードに偏在させることができる。
本発明に係る分散記憶システムの構成を概略的に示すブロック図である。 第１の実施形態に係る分散記憶システムの構成を概略的に示すブロック図である。 第１の実施形態に係る分散記憶システムの構成を示すブロック図である。 第１の実施形態に係る分散記憶システムの構成を示すブロック図である。 第１の実施形態に係る分散記憶システムにおいて、メタデータ記憶ノードがデータ記憶ノードを判定する処理を示すフローチャートである。 第２の実施形態に係る分散記憶システムの全体構成を概念的に説明する図である。 実施形態およびその実施例に係る分散記憶システム、或いはその分散記憶システムを構成するノードを実行可能なハードウェア構成を例示的に説明する図である。 本発明に関連する分散記憶システムのシステム構成を例示する図である。 図８の記憶テーブル１１１の記憶内容を一例として示す図である。
　はじめに、本発明の概要について説明する。なお、この概要に付記する図面参照符号は、専ら理解を助けるための例示であり、本発明を図示の態様に限定することを意図するものではない。
　図１を参照すると、分散記憶システム（７０）は、複数のオブジェクトデータを分散して記憶する複数のデータ記憶ノード（７１ａ～７１ｃ）を備えている。なお、図１には、一例として３つのデータ記憶ノード（７１ａ～７１ｃ）を示したが、データ記憶ノードの個数は図示の態様に限定されない。
　複数のオブジェクトデータは、それぞれ、データ座標によって特徴付けられるとともにデータ識別子によって一意に識別される。また、複数のデータ記憶ノード（７１ａ～７１ｃ）は、それぞれ、データ座標と同一の空間におけるノード座標を割り当てられている。さらに、オブジェクトデータは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを複数のデータ記憶ノード（７１ａ～７１ｃ）の中から第１のデータ記憶ノードとして複数選択した後（例えば、７１ａ、７１ｂ）、複数の第１のデータ記憶ノード（７１ａ、７１ｂ）の中からオブジェクトデータを識別するデータ識別子に基づいて決定したデータ記憶ノード（例えば、７１ａ）に記憶される。
　ここで、複数のオブジェクトデータのそれぞれを特徴付けるデータ座標、および、複数のデータ記憶ノード（７１ａ～７１ｃ）のそれぞれに割り当てられたノード座標は、複数のオブジェクトデータを定量的に評価する複数の評価軸を座標軸とするユークリッド空間における座標としてもよい。
　また、オブジェクトデータからの距離が所定の距離以内のノード座標を割り当てられたデータ記憶ノードを複数のデータ記憶ノード（７１ａ～７１ｃ）の中から第１のデータ記憶ノードとして複数選択するようにしてもよい。さらに、オブジェクトデータからの距離が短いノード座標を割り当てられたデータ記憶ノードを該距離の短いものから順に所定の数だけ複数のデータ記憶ノード（７１ａ～７１ｃ）の中から第１のデータ記憶ノードとして選択するようにしてもよい。
　また、オブジェクトデータを識別するデータ識別子をシードとして生成した複数の擬似乱数を複数の第１のデータ記憶ノード（例えば、７１ａ、７１ｂ）のそれぞれに割り当てるとともに、該オブジェクトデータのデータ座標と複数の第１のデータ記憶ノード（７１ａ、７１ｂ）のそれぞれに割り当てられたノード座標との距離に応じて算出されたウェイトに、割り当てられた擬似乱数を掛け合わせた値が最大のデータ記憶ノードを複数の第１のデータ記憶ノード（７１ａ、７１ｂ）の中から抽出し、抽出したデータ記憶ノード（例えば、７１ａ）を該オブジェクトデータを格納すべきデータ記憶ノードとして決定するようにしてもよい。ここで、ウェイトは、複数のオブジェクトデータのそれぞれを特徴付けるデータ座標と、複数のデータ記憶ノード（７１ａ～７１ｃ）のそれぞれに割り当てられたノード座標との距離が短くなるに従って増大することが好ましい。
　また、複数のデータ記憶ノード（７１ａ～７１ｃ）は、それぞれ、複数のオブジェクトデータを特徴付けるデータ座標の分布に応じてノード座標が割り当てられていることが好ましい。例えば、データ座標の分布密度が高い領域に対して、高い確率でノード座標を割り当てるようにしてもよい。
　図１を参照すると、分散記憶システム（７０）は、複数のデータ記憶ノード（７１ａ～７１ｃ）にオブジェクトデータを書き込むとともに、複数のデータ記憶ノード（７１ａ～７１ｃ）に記憶されたオブジェクトデータを読み出すクライアントノード（７２）をさらに備えていてもよい。クライアントノード（７２）は、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを複数のデータ記憶ノード（７１ａ～７１ｃ）の中から第１のデータ記憶ノードとして複数選択するとともに（例えば、７１ａ、７１ｂ）、複数の第１のデータ記憶ノード（７１ａ、７１ｂ）の中から該オブジェクトデータのデータ識別子に基づいて決定したデータ記憶ノード（例えば、７１ａ）に、該オブジェクトデータを書き込むことが好ましい。
　また、クライアントノード（７２）は、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを複数のデータ記憶ノード（７１ａ～７１ｃ）の中から第１のデータ記憶ノードとして複数選択するとともに（例えば、７１ａ、７１ｂ）、選択した複数の第１のデータ記憶ノード（７１ａ、７２ｂ）に対して該オブジェクトデータの読み出し命令を送出するか、または、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを複数のデータ記憶ノード（７１ａ～７１ｃ）の中から第１のデータ記憶ノードとして複数選択するとともに（例えば、７１ａ、７１ｂ）、複数の第１のデータ記憶ノード（７１ａ、７１ｂ）の中から該オブジェクトデータを識別するデータ識別子に基づいて決定したデータ記憶ノード（例えば、７１ａ）に対して、該オブジェクトデータの読み出し命令を送出することが好ましい。
　本発明に係る分散記憶システムによると、複数ノードを集中的に管理および制御する特定ノードを用いない分散処理環境において、オブジェクトデータをそれぞれの性質に基づいて分散しつつ、各ノードにほぼ均等に分散して記憶することができ、また、オブジェクトデータのデータ識別子と該オブジェクトデータのデータの性質を表す複数の数値化された指標（データ座標）から該オブジェクトデータを記憶するノードを特定することができ、さらに、オブジェクトデータのデータの性質を表す複数の数値化された指標（データ座標）から該オブジェクトデータを記憶するノードを一部のノードに限定することができる。
　なお、本発明において、下記の形態が可能である。
［形態１］
　上記第１の視点に係る分散記憶システムのとおりである。
［形態２］
　前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標、および、前記複数のデータ記憶ノードのそれぞれに割り当てられたノード座標は、前記複数のオブジェクトデータを定量的に評価する複数の評価軸を座標軸とするユークリッド空間における座標であってもよい。
［形態３］
　オブジェクトデータからの距離が所定の距離以内のノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択するようにしてもよい。
［形態４］
　オブジェクトデータからの距離が短いノード座標を割り当てられたデータ記憶ノードを該距離の短いものから順に所定の数だけ前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして選択するようにしてもよい。
［形態５］
　オブジェクトデータを識別するデータ識別子をシードとして生成した複数の擬似乱数を前記複数の第１のデータ記憶ノードのそれぞれに割り当てるとともに、該オブジェクトデータのデータ座標と前記複数の第１のデータ記憶ノードのそれぞれに割り当てられたノード座標との距離に応じて算出されたウェイトに、割り当てられた擬似乱数を掛け合わせた値が最大のデータ記憶ノードを前記複数の第１のデータ記憶ノードの中から抽出し、抽出したデータ記憶ノードを該オブジェクトデータを格納すべきデータ記憶ノードとして決定するようにしてもよい。
［形態６］
　前記ウェイトは、前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標と、前記複数のデータ記憶ノードのそれぞれに割り当てられたノード座標との距離が短くなるに従って増大するようにしてもよい。
［形態７］
　前記複数のデータ記憶ノードは、それぞれ、前記複数のオブジェクトデータを特徴付けるデータ座標の分布に応じてノード座標が割り当てられていてもよい。
［形態８］
　分散記憶システムは、前記複数のデータ記憶ノードにオブジェクトデータを書き込むとともに、前記複数のデータ記憶ノードに記憶されたオブジェクトデータを読み出すクライアントノードをさらに備えていてもよい。
［形態９］
　前記クライアントノードは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択するとともに、該複数の第１のデータ記憶ノードの中から該オブジェクトデータのデータ識別子に基づいて決定したデータ記憶ノードに、該オブジェクトデータを書き込むようにしてもよい。
［形態１０］
　前記クライアントノードは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択するとともに、選択した複数の第１のデータ記憶ノードに対して該オブジェクトデータの読み出し命令を送出するようにしてもよい。
［形態１１］
　前記クライアントノードは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択するとともに、該複数の第１のデータ記憶ノードの中から該オブジェクトデータを識別するデータ識別子に基づいて決定したデータ記憶ノードに対して、該オブジェクトデータの読み出し命令を送出するようにしてもよい。
［形態１２］
　上記第２の視点に係る分散記憶方法のとおりである。
［形態１３］
　前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標、および、前記複数のデータ記憶ノードのそれぞれに割り当てられたノード座標は、前記複数のオブジェクトデータを定量的に評価する複数の評価軸を座標軸とするユークリッド空間における座標であってもよい。
［形態１４］
　分散記憶方法は、オブジェクトデータからの距離が所定の距離以内のノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択する工程を含んでいてもよい。
［形態１５］
　分散記憶方法は、オブジェクトデータからの距離が短いノード座標を割り当てられたデータ記憶ノードを該距離の短いものから順に所定の数だけ前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして選択する工程を含んでいてもよい。
［形態１６］
　分散記憶方法は、オブジェクトデータのデータ識別子をシードとして生成した複数の擬似乱数を前記複数の第１のデータ記憶ノードのそれぞれに割り当てる工程と、
　前記オブジェクトデータのデータ座標と前記複数の第１のデータ記憶ノードのそれぞれに割り当てられたノード座標との距離に応じて算出されたウェイトに、割り当てられた擬似乱数を掛け合わせた値が最大のデータ記憶ノードを前記複数の第１のデータ記憶ノードの中から抽出する工程と、
　抽出したデータ記憶ノードを、前記オブジェクトデータを格納すべきデータ記憶ノードとして決定する工程と、を含んでいてもよい。
［形態１７］
　分散記憶方法は、前記複数のオブジェクトデータを特徴付けるデータ座標の分布に応じて、前記複数のデータ記憶ノードのそれぞれにノード座標を割り当てる工程を含んでいてもよい。
　＜実施形態１＞
　第１の実施形態に係る分散記憶システムについて、図面を参照して説明する。図２は、本実施形態に係る分散記憶システム４０の構成を概略的に示すブロック図である。図２は（ａ）、（ｂ）の２つの図を含む。図３は、本実施形態に係る分散記憶システム４０のうち、各ノードの内部構成を示すブロック図である。図４は、本実施形態に係る分散記憶システム４０のうち各ノードの詳細を示すブロック図である。
　図２ないし図４に示す分散記憶システム４０は、複数のデータを分散記憶するシステムである。分散記憶システム４０は、データ記憶ノード３０にほぼ均等にデータを記憶するとともに、データの性質を表す複数の数値化された指標に応じて偏らせて、データ記憶ノード３０にデータを記憶する。
　本実施形態においても、上述の背景技術と同様に、処理対象であるデータを、「オブジェクトデータ」と呼ぶ。オブジェクトデータは、例えば、数値データ、所定の処理（プロセス、機能、アルゴリズム）が記述されたソフトウェアプログラム（コンピュータプログラム）等であってもよい。
　図２（ａ）を参照すると、分散記憶システム４０は、複数のクライアントノード１０、複数のメタデータ記憶ノード２０、および、複数のデータ記憶ノード３０を備えている。本実施形態に係るクライアントノード１０、メタデータ記憶ノード２０およびデータ記憶ノード３０は、互いに通信可能に接続されている。
　次に、クライアントノード１０、メタデータ記憶ノード２０およびデータ記憶ノード３０について説明する。
　図２（ａ）を参照すると、クライアントノード１０は、アクセスするオブジェクトデータのデータ識別子から、該データ識別子に対応するメタデータを記憶するメタデータ記憶ノード２０を判定する。そして、該メタデータ記憶ノード２０へデータ識別子とアクセス命令を送出する。
　メタデータ記憶ノード２０は、クライアントノード１０から送出されたデータ識別子とアクセス命令を受信する。次に、メタデータ記憶ノード２０は、該データ識別子と該データ識別子に対応するメタデータを元に、所定のルール（後述）に基づいてオブジェクトデータを持っているデータ記憶ノード３０を選択する。次に、メタデータ記憶ノード２０は、選択したデータ記憶ノード３０へデータ識別子とアクセス命令を送出する。「メタデータ」は、オブジェクトデータの特徴を複数の指標で評価して数値化したデータを含む。すなわち、本実施形態において、データ識別子とメタデータとは必ずしも一致しない。
　データ記憶ノード３０は、メタデータ記憶ノード２０から送出されたデータ識別子とアクセス命令を受信する。次に、データ記憶ノード３０は、該データ識別子に対応するオブジェクトデータ、データ識別子とメタデータをクライアントノード１０に返す。
　また、別のアクセス方法として、以下のアクセス方法を用いてもよい。
　図２（ｂ）を参照すると、クライアントノード１０は、メタデータと対応するオブジェクトデータを持っている可能性があるデータ記憶ノード３０をルールに基づいて選択し、選択したデータ記憶ノード３０へメタデータとアクセス命令を送出する。このとき、複数のデータ記憶ノード３０が選択され得る。
　データ記憶ノード３０は、クライアントノード１０から送出されたメタデータとアクセス命令を受信し、該メタデータに対応するオブジェクトデータ、データ識別子およびメタデータをクライアントノード１０に返す。このとき、データ記憶ノード３０は、メタデータに対応するオブジェクトデータを保持していない場合、または、メタデータに対応するオブジェクトデータを複数保持している場合があり得る。
　本実施形態では、説明の便宜上、分散記憶システム４０が、図２（ａ）のように３種類のノードを備えている場合について説明する。ただし、本発明は図２ないし図４に例示する構成に限定されるものではなく、例えば、仮想マシン環境において、これらのノードの全部または一部の機能を実現してもよい。なお、分散記憶システム４０を実現するためのハードウェア構成の具体例については、図７を参照して後述する。
　Ｉ．データを読み込む場合
　分散記憶システム４０において、データを読み込む場合の動作の詳細について、図面を参照して説明する。
　「クライアントノード１０」
　図４を参照すると、クライアントノード１０は、メタデータ記憶ノード判定部１１、データ識別子送信部１２、ノード情報記憶部１３、データ記憶ノード判定部１４、メタデータ送信部１５、および、データ受信部１６を備えている。
　まず、図２（ａ）に示すように、クライアントノード１０がデータ識別子を用いてオブジェクトデータを得る場合について説明する。メタデータ記憶ノード判定部１１は、オブジェクトデータのデータ識別子と、ノード情報記憶部１３が記憶しているメタデータ記憶ノード２０のノード番号から、データ識別子に対応するデータ識別子とメタデータとの組み合わせを記憶しているメタデータ記憶ノード２０を判定する。次に、データ識別子送信部１２は、該メタデータ記憶ノード２０へデータ識別子とアクセス命令を送信する。該データ識別子に対応するデータ識別子とメタデータとの組み合わせを記憶するメタデータ記憶ノード２０を、メタデータ記憶ノード判定部１１が判定する方法として、さまざまな方法を採用することができる。例えば、特許文献１、非特許文献１または非特許文献２に記載された方法を採用することができる。
　次に、クライアントノード１０がメタデータからオブジェクトデータを得る場合について説明する。データ記憶ノード判定部１４は、メタデータに含まれるデータ座標と、ノード情報記憶部１３が記憶しているノード座標から、後述のアルゴリズムＢを用いて、オブジェクトデータを記憶している可能性があるデータ記憶ノード３０を判定する。次に、メタデータ送信部１５は、該データ記憶ノード３０へメタデータとアクセス命令を送出する。ノード座標の座標軸として、データ座標の座標軸と同一のものが用いられる。ノード座標が持つ座標データの指定方法については、後述する。
　データ受信部１６は、データ記憶ノード３０から送出されたオブジェクトデータ、データ識別子、メタデータを受信する。
　「メタデータ記憶ノード２０」
　図４を参照すると、メタデータ記憶ノード２０は、データ識別子受信部２１、メタデータ記憶部２２、メタデータ判定部２３、ノード情報記憶部２４、ノード判定部２５、および、データ識別子送信部２６を備えている。
　データ識別子受信部２１は、クライアントノード１０から送出されたデータ識別子とアクセス命令を受信する。メタデータ記憶部２２は、該データ識別子に対応するメタデータを記憶している。
　メタデータ判定部２３は、データ識別子に対応するメタデータをメタデータ記憶部２２から受信して、ノード判定部２５へ送出する。メタデータは、メタデータに対応するオブジェクトデータを様々な評価軸で評価した結果を数値化したデータ座標を含む。オブジェクトデータを評価する評価軸として、個々のシステムに依存して、様々な評価軸が用いられる。ここでは、用いるべき評価軸を特に限定しない。
　ノード判定部２５は、受信したデータ識別子に対応するメタデータと、ノード情報記憶部２４が記憶しているノード情報から、受信したデータ識別子の送信先のデータ記憶ノード３０を、後述のアルゴリズムＡに基づいて選択する。ノード情報は、データ記憶ノード３０のノード座標、ノード番号およびノードアクセス情報を含む。ノード番号は、各データ記憶ノードに固有の番号である。
　次に、データ識別子送信部２６は、選択したデータ記憶ノード３０へデータ識別子とアクセス命令を送出する。
　「データ記憶ノード３０」
　図４を参照すると、データ記憶ノード３０は、データ識別子受信部３１、データ記憶部３２、データ判定部３３、データ送信部３４、メタデータ受信部３５、および、メタデータ判定部３６を備えている。
　データ識別子受信部３１は、メタデータ記憶ノード２０からデータ識別子とアクセス命令を受信する。データ記憶部３２は、受信したデータ識別子に対応するオブジェクトデータ、データ識別子およびメタデータを記憶している。
　データ判定部３３は、受信したデータ識別子に対応するオブジェクトデータおよびメタデータを、データ記憶部３２から取得する。
　次に、データ送信部３４は、オブジェクトデータ、データ識別子およびメタデータをクライアントノード１０へ送出する。
　また、メタデータ受信部３５は、クライアントノード１０からメタデータを受信する。この場合、メタデータ判定部３６は、受信したメタデータに対応するオブジェクトデータおよびデータ識別子をデータ記憶部３２から取得する。このとき、データ記憶部３２は、受信したメタデータに対応するオブジェクトデータおよびデータ識別子を記憶していない場合、または、複数記憶している場合がある。次に、データ送信部３４は、オブジェクトデータ、データ識別子およびメタデータをクライアントノード１０へ送出する。ここでは、クライアントノード１０へオブジェクトデータ、データ識別子およびメタデータを送出するものとしたが、クライアントノード１０へ返す情報としては、これらに制限されない。
　「アルゴリズムＡ」
　図５は、アルゴリズムＡのフローチャートである。
　オブジェクトデータのデータ座標とデータ記憶ノード３０のノード座標を「空間」に展開した場合のオブジェクトデータとデータ記憶ノード３０の距離を計算し、オブジェクトデータから距離が近い順に「予め決められたルール」でデータ記憶ノード３０を選択する（ステップＳ１）。
　「空間」として、一例として、評価軸を直交する軸とする多次元ユークリッド空間を用いることができる。また、「予め決められたルール」として、選択するデータ記憶ノード３０の数を限定するルール、距離を限定するルール、選択するデータ記憶ノード３０の数と距離両方を限定するルール等の様々なルールを採用することができる。また、ルールに合ったデータ記憶ノード３０を選択する際、オブジェクトデータとすべてのデータ記憶ノード３０の距離を計算する代わりに、距離を計算するデータ記憶ノード３０を限定する方法を用いることもできる。
　次に、距離からウェイトを計算する（ステップＳ２）。距離が近いほど、ウェイトは大きくなる。距離からウェイトを計算する方法として、一例として、距離の逆数をウェイトとする方法を用いることができる。
　次に、オブジェクトデータのデータ識別子をシードとして乱数を生成し、ステップＳ１で選択したデータ記憶ノード３０へ割り当てる（ステップＳ３）。乱数を生成する方法として、シードが同一であれば同一の乱数を発生する疑似乱数生成方法を用いる。ここでは、Ｎ番目に発生した乱数を、Ｎのノード番号を持つデータ記憶ノード３０に割り当てる。
　次に、データ記憶ノード３０に割り当てた乱数に、各データ記憶ノード３０のウェイトを掛けて、ウェイト調整後乱数を求める（ステップＳ４）。
　次に、ウェイト調整後乱数の中で最も大きなウェイト調整後乱数を探し、最も大きなウェイト調整後乱数を持つデータ記憶ノード３０を選択する（ステップＳ５）。
　アルゴリズムＡによると、ウェイトに応じた偏りを持たせた上で、オブジェクトデータを記憶するデータ記憶ノード３０を選択できる。すなわち、データ座標が近いオブジェクトデータは、ノード座標が同一または近い限られたデータ記憶ノード３０に記憶される。また、同一のオブジェクトデータのデータ識別子およびデータ座標と、データ記憶ノード３０のノード座標およびノード番号とが与えられた場合には、つねに、同一のデータ記憶ノード３０が選択される。さらに、データ記憶ノード３０を追加または削除した場合に、データ記憶ノード３０の選択が変更されるオブジェクトデータの数を最小限に抑えることができる。
　「アルゴリズムＢ」
　アルゴリズムＢは、アルゴリズムＡのステップＳ１と同様である。メタデータに含まれるデータ座標とデータ記憶ノード３０のノード座標を「空間」に展開したときのメタデータとデータ記憶ノード３０の距離を計算し、メタデータから近い順に「予め決められたルール」でデータ記憶ノード３０を選択する。
　「空間」として、一例として、評価軸を直交する軸とする多次元ユークリッド空間を用いることができる。また、「予め決められたルール」として、選択するデータ記憶ノード３０の数を限定するルール、距離を限定するルール、選択するデータ記憶ノード３０の数と距離両方を限定するルール等の様々なルールを採用することができる。また、ルールにあったデータ記憶ノード３０を選択する際、メタデータとすべてのデータ記憶ノード３０の距離を計算する代わりに、計算が必要なデータ記憶ノード３０を限定する方法を用いることもできる。
　「データ記憶ノード３０のノード座標の決定方法」
　データ記憶ノード３０のノード座標は、任意に設定し得る。しかし、オブジェクトデータのデータ座標と、データ記憶ノード３０のノード座標を空間に展開した場合に、より多くのオブジェクトデータが存在する空間の近くにより多くのデータ記憶ノード３０が存在するときに、各データ記憶ノード３０が記憶するオブジェクトデータの数がより均等になる。
　より多くのオブジェクトデータが存在する空間の近くにより多くのデータ記憶ノード３０を配置する方法として、様々な方法を採用することができる。例えば、予めオブジェクトデータが存在するようになる可能性が高い空間の近くに多くのデータ記憶ノード３０を配置するようにノード座標を調整するようにしてもよい。また、記憶しているオブジェクトデータの数が少ないデータ記憶ノード３０の空間上の位置をより多くのオブジェクトデータが存在する空間上の位置の近くに移動するために、データ記憶ノード３０のノード座標を変更するようにしてもよい。さらに、データ記憶ノード３０を追加する際、オブジェクトデータが多く存在する空間上の位置の近くにデータ記憶ノード３０を追加するようにしてもよい。
　ＩＩ．データを書き込む場合
　分散記憶システム４０において、データを書き込む場合の動作の詳細について、図面を参照して説明する。
　「クライアントノード１０」
　クライアントノード１０がデータ識別子およびメタデータを用いてオブジェクトデータを書き込む場合には、メタデータ記憶ノード判定部１１は、データ識別子とノード情報記憶部１３が記憶しているメタデータ記憶ノード２０のノード番号から、該データ識別子に対応するメタデータを記憶することになるメタデータ記憶ノード２０を判定する。次に、データ識別子送信部１２は、該メタデータ記憶ノード２０へオブジェクトデータ、データ識別子、メタデータ、および、アクセス命令を送出する。
　「メタデータ記憶ノード２０」
　データ識別子受信部２１は、クライアントノード１０からオブジェクトデータ、データ識別子、メタデータ、および、アクセス命令を受信する。次に、データ識別子とメタデータをメタデータ記憶部２２に記憶する。また、データ識別子とメタデータをノード判定部２５へ送出する。ノード判定部２５は、データ識別子、メタデータとノード情報記憶部２４により記憶しているノード情報から、アルゴリズムＡに基づいて、データ識別子、メタデータおよびアクセス命令の送信先のデータ記憶ノード３０を選択する。次に、データ識別子送信部２６は、選択したデータ記憶ノード３０へ、オブジェクトデータ、データ識別子、メタデータおよびアクセス命令を送出する。
　「データ記憶ノード３０」
　データ識別子受信部３１は、オブジェクトデータ、データ識別子、メタデータ、および、アクセス命令を受信する。次に、データ記憶部３２は、オブジェクトデータ、データ識別子およびメタデータを記憶する。
　本実施形態に係る分散記憶システム４０によると、任意に設定した評価軸による評価が近いオブジェクトデータを同一または限定したデータ記憶ノード３０に記憶することができる。すなわち、オブジェクトデータのデータ座標、データ記憶ノード３０のノード座標から、オブジェクトデータを記憶するデータ記憶ノード３０を限定することができる。また、オブジェクトデータのメタデータを記憶するメタデータ記憶ノード２０を、データ識別子とデータ記憶ノード３０のノード番号から特定することができる。さらに、オブジェクトデータを記憶しているデータ記憶ノード３０を、データ識別子、オブジェクトデータのデータ座標、データ記憶ノード３０のノード座標およびノード番号から特定することができる。すなわち、オブジェクトデータのデータ識別子から、効率よくオブジェクトデータを記憶するデータ記憶ノード３０を特定することができる。
　また、ノード座標を調整することにより、オブジェクトデータをデータ記憶ノード３０にほぼ均等に分布させることもできる。したがって、本実施形態によると、複数ノードを集中的に管理および制御する特定ノードを用いない分散処理環境において、識別子を元にしたデータへの直接アクセスおよびデータの評価による範囲指定による範囲アクセスのいずれも効率よく実現することができ、データの性質に応じてデータを一部のノードに偏らせつつ、すべてのノードにほぼ均等にデータを分散させることができる。
　なお、本実施形態では、説明の便宜上、クライアントノード１０によるメタデータ記憶ノード２０の選択、および、選択されたメタデータ記憶ノード２０によるデータ記憶ノード３０の選択において、いずれの場合にも１つのノードを選択するものとした。しかし、選択するノードの数は１つに制限されない。例えば、メタデータ記憶ノード２０またはデータ記憶ノード３０がミラー構成を採用する場合には、上述の分散記憶システム４０において、ミラー構成を採る複数のノードを選択するようにしてもよい。この場合には、選択されたミラー構成を採る複数のノードのうちのいずれのノードが今回の動作時点におけるプライマリーノードであるかを判断するための情報を、ノード間において共有するようにすればよい。
　＜実施形態２＞
　第１の実施形態の変形例として、第２の実施形態に係る分散記憶システムについて、図面を参照して説明する。
　図６は、本実施形態に係る分散記憶システム６０の構成を示すブロック図である。図６を参照すると、分散記憶システム６０は、複数のデータ記憶ノード５０を備えている。データ記憶ノード５０は、データ識別子受信部５１、データ判定部５２、データ記憶部５３、データ送信部５４、メタデータ受信部５５、および、メタデータ判定部５６を備えている。
　データ記憶ノード５０は、データ識別子受信部５１を介して、クライアントノード（非図示）またはデータ記憶ノード５０からデータ識別子を持ったアクセス命令を受け取ると、以下の動作を行う。
　データ識別子に対応するオブジェクトデータとメタデータを持つ場合には、データ判定部５２は、データ識別子に対応するオブジェクトデータとメタデータをデータ記憶部５３から読み込み、データ送信部５４を介して、オブジェクトデータ、データ識別子およびメタデータを、アクセス命令を出したクライアントノード（非図示）へ返す。
　データ識別子に対応するメタデータを持つ場合には、データ判定部５２は、データ識別子に対応するメタデータをデータ記憶部５３から読み込み、該データ識別子と該メタデータに対応するオブジェクトデータを持つデータ記憶ノード５０を判定し、データ送信部５４を介して、データ識別子およびアクセス命令を該データ記憶ノード５０へ転送する。データ判定部５２は、該データ識別子と該メタデータに対応するオブジェクトデータを持つデータ記憶ノード５０を判定する際、第１の実施形態におけるノード判定部２５が用いるアルゴリズムＡを使用する。
　一方、データ識別子に対応するメタデータを持っていない場合には、データ判定部５２は、データ識別子に対応するメタデータを持つデータ記憶ノード５０を判定し、データ送信部５４を介して、データ識別子およびアクセス命令を該データ記憶ノード５０へ転送する。データ判定部５２は、該データ識別子に対応するメタデータを持つデータ記憶ノード５０を判定する際、第１の実施形態におけるメタデータ記憶ノード判定部１１で用いた処理と同様に、多様な処理を採用することができる。
　データ記憶ノード５０は、メタデータ受信部５５を介して、クライアントノード（非図示）からメタデータのみを持ったアクセス命令を受け取ると、以下の動作を行う。
　メタデータ判定部５６は、クライアントノード（非図示）から受信したメタデータに対応するオブジェクトデータを持つ可能性があるデータ記憶ノード５０を選択し、選択したデータ記憶ノード５０へメタデータおよびアクセス命令を送出する。メタデータ判定部５６は、オブジェクトデータを持つ可能性があるデータ記憶ノード５０を選択する際、アルゴリズムＢを用いる。このとき、複数のデータ記憶ノード５０が選択され得る。
　データ記憶ノード５０は、メタデータ受信部５５を介して、他のデータ記憶ノード５０からメタデータのみを持ったアクセス命令を受け取ると、以下の動作を行う。
　メタデータ判定部５６は、データ記憶部５３から受信したメタデータに対応するオブジェクトデータとデータ識別子を読み込み、データ送信部５４を介して、オブジェクトデータ、データ識別子およびメタデータを、アクセス命令を送ったクライアントノード（非図示）へ返す。また、データ記憶ノード５０は、メタデータに対応するオブジェクトデータを記憶していない場合には、クライアントノード（非図示）へ、オブジェクトデータを持っていないことを返すようにしてもよいし、何らの情報も返さないようにしてもよい。さらに、データ記憶ノード５０がメタデータに対応するオブジェクトデータを複数記憶している場合には、クライアントノード（非図示）へ複数のオブジェクトデータを返す。
　本実施形態に係る分散記憶システム６０によると、任意に設定した評価軸による評価が近いオブジェクトデータを同一または限定したデータ記憶ノード５０に記憶することができる。すなわち、オブジェクトデータのデータ座標、データ記憶ノード５０のノード座標から、オブジェクトデータを記憶するデータ記憶ノード５０を限定することができる。また、オブジェクトデータのメタデータを記憶するデータ記憶ノード５０を、データ識別子から特定することができる。さらに、オブジェクトデータを記憶しているデータ記憶ノード５０を、オブジェクトデータのデータ識別子およびデータ座標、ならびに、データ記憶ノード５０のノード座標およびノード番号から特定することができる。すなわち、オブジェクトデータのデータ識別子から、効率よくオブジェクトデータを記憶するデータ記憶ノード５０を特定することができる。
　また、ノード座標を調整することにより、オブジェクトデータのデータ記憶ノード５０への分布を均等に近づけることができる。したがって、本実施形態によると、複数ノードを集中的に管理および制御する特定ノードを用いない分散処理環境において、データの識別子を元にしたデータへの直接アクセスおよびデータの評価による範囲指定による範囲アクセスのいずれも効率よく実現することができ、データの性質に応じてデータを一部のノードに偏らせつつ、すべてのノードにほぼ均等にデータを分散させることができる。
　第１の実施形態に係る分散記憶システム４０を、具体的な実施例に即して説明する。本実施例では、分散記憶システム４０を、多数の人名を身長および体重情報を元に分散して記憶する場合に適用する。
　本実施例に係る分散記憶システム４０は、クライアントノード１０からアクセスする分散記憶システムである。多数の人を対象として、人名をオブジェクトデータとして記憶する。また、データ識別子として人の管理番号を使用し、メタデータのデータ座標として、身長および体重をそれぞれ評価した数値を使用する。メタデータ記憶ノード２０は、データ識別子を元に分散してデータ識別子およびメタデータを記憶する。また、データ記憶ノード３０は、メタデータを元に偏よらせつつ、オブジェクトデータ、データ識別子およびメタデータを分散記憶する。
　まず、人の管理番号を元に、人名を得る方法について説明する。
　クライアントノード１０のメタデータ記憶ノード判定部１１は、アクセスする人の管理番号に対応する身長および体重をそれぞれ評価した数値の組み合わせを記憶しているメタデータ記憶ノード２０を判定する。次に、データ識別子送信部１２は、該メタデータ記憶ノード２０へ人の管理番号とアクセス命令を送出する。
　メタデータ記憶ノード２０のデータ識別子受信部２１は、人の管理番号およびアクセス命令を受信する。次に、メタデータ判定部２３は、メタデータ記憶部２２に記録されている人の管理番号と身長および体重をそれぞれ評価した数値の組み合わせから、受信した人の管理番号に対応する、身長および体重をそれぞれ評価した数値の組み合わせを取得する。次に、ノード判定部２５は、人の管理番号、身長および体重をそれぞれ評価した数値の組み合わせ、ならびに、ノード情報記憶部２４に記録されているノード座標およびノード番号から、人名を記憶しているデータ記憶ノード３０を判定する。次に、データ識別子送信部２６は、人名を記憶していると判定されたデータ記憶ノード３０へ管理番号およびアクセス命令を送出する。
　データ記憶ノード３０のデータ識別子受信部３１は、管理番号を受信する。次に、データ判定部３３は、受信した管理番号に対応する、データ記憶部３２で記憶している管理番号、身長および体重をそれぞれ評価した数値との組み合わせ、ならびに、人名を取得する。次に、データ送信部３４は、管理番号、身長および体重をそれぞれ評価した数値の組み合わせ、ならびに、人名をクライアントへ送信する。
　次に、身長および体重をそれぞれ評価した数値の組み合わせを元に、人名を取得する方法について説明する。
　クライアントノード１０のデータ記憶ノード判定部１４は、身長および体重をそれぞれ評価した数値の組み合わせ、ならびに、ノード情報記憶部１３が記憶しているノード座標から、該身長および体重をそれぞれ評価した数値の組み合わせに対応する人名を保存しているデータ記憶ノード３０の候補を取得する。次に、メタデータ送信部１５は、身長および体重をそれぞれ評価した数値の組み合わせ、ならびに、アクセス命令を該データ記憶ノード３０へ送出する。
　データ記憶ノード３０のメタデータ受信部３５は、身長および体重をそれぞれ評価した数値の組み合わせとアクセス命令を受信する。次に、メタデータ判定部３６は、受信した身長および体重をそれぞれ評価した数値の組み合わせに対応する、データ記憶部３２に記録された管理番号、身長および体重をそれぞれ評価した数値の組み合わせ、ならびに、人名を取得する。次に、データ送信部３４は、管理番号、身長および体重をそれぞれ評価した数値の組み合わせ、ならびに、人名をクライアントへ送信する。
　本実施例において、クライアントノード１０は、アクセスしたい人の管理番号を用いることにより、該管理番号に対応する身長および体重をそれぞれ評価した数値の組み合わせを記憶していているメタデータ記憶ノード２０へダイレクトにアクセスすることができる。また、メタデータ記憶ノード２０は、アクセスしたい人の管理番号、ならびに、該管理番号に対応する身長および体重をそれぞれ評価した数値の組み合わせを用いることにより該管理番号に対応する人名を記憶しているデータ記憶ノード３０へダイレクトにアクセスすることができる。さらに、クライアントノード１０は、アクセスしたい身長および体重をそれぞれ評価した数値の組み合わせを用いることにより、該身長および体重をそれぞれ評価した数値の組み合わせに対応する管理番号と人名を記憶している可能性があるデータ記憶ノード３０を限定することができ、該データ記憶ノード３０へダイレクトにアクセスすることができる。
　また、ノード座標を適切に調整することにより、各データ記憶ノード３０が記憶する管理番号、身長および体重をそれぞれ評価した数値の組み合わせ、ならびに、人名の個数の分布を均等に近づけることができる。
　（ハードウェア構成例）
　第１の実施形態に係る分散記憶システム４０、および、第２の実施形態に係る分散記憶システム６０の各部は、ソフトウェアプログラムのモジュールとして実現し得る。図７を参照して、この場合におけるハードウェア構成について説明する。
　図７は、分散記憶システム４０、６０、または、分散記憶システムを構成するノードを実現するハードウェアの構成を一例として示すブロック図である。すなわち、図７は、図２、図３および図４に示した分散記憶システム４０、または、図６に示した分散記憶システム６０の全部または一部のノードを実現するコンピュータの構成を示す。図７に示すハードウェア構成により、分散記憶システム４０および分散記憶システム６０の各部の機能を実現し得る。
　図７を参照すると、ハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９３、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）９４、および、外部装置との通信インタフェース（Ｉ／Ｆ：Ｉｎｔｅｒｆａｃｅ）９５を備え、これらはバス（通信線）９６を介して接続されている。ここで、図７に示したハードウェアがデータ記憶ノード（ストレージ）３０の場合には、ＨＤＤ９４自体が上述の実施形態および実施例におけるデータ記憶ノード３０として機能するようにしてもよい。
　また、上述の実施形態および実施例は、ブロック図（図２ないし図４）またはフローチャート（図５）の機能を実現可能なコンピュータプログラムを図７のハードウェアに供給した後、そのコンピュータプログラムを当該ハードウェアのＣＰＵ９１に読み出して実行することによって達成するようにしてもよい。このとき、供給されたコンピュータプログラムは、読み書き可能なＲＡＭ９３またはＨＤＤ９４等の記憶デバイスに格納するようにしてもよい。
　また、上記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法として、ＣＤ－ＲＯＭ等の各種記録媒体を介して当該装置内にインストールする方法を採用してもよい。また、インターネット等の通信回線を介して外部よりダウンロードする方法を採用してもよい。さらに、このような場合には、本発明は、コンピュータプログラムのコード自体、または、これを記録した記憶媒体として提供することもできる。
　また、上述の実施形態および実施例では、オブジェクトデータの分散配置に関して、本発明を適応する場合について説明した。しかし、オブジェクトデータのみならず、プログラム等のアルゴリズムの分散実行、または、物理的な実体を持つオブジェクトの分散配置などにも、本発明を適用することができる。
　本発明によると、複数ノードを集中的に管理および制御する特定ノードを用いない分散記憶環境において、分散記憶を効率よく実現することができる。本発明に係る分散記憶システムは、複数のデータ記憶ノードを備える。このシステムにおいて、前記データ記憶ノードは、接続されている前記複数のデータ記憶ノードの接続情報と、オブジェクトデータの識別子とメタデータに基づいて、前記複数のデータ記憶ノードの中から特定のデータ記憶ノードを選択し、選択した特定のデータ記憶ノードに該オブジェクトデータを記憶する。このとき、該オブジェクトデータのメタデータを元に、前記複数のデータ記憶ノードの中から該オブジェクトデータを記憶する可能性があるデータ記憶ノードを限定することができる。
　また、本発明に係る分散記憶システムは、クライアントノードと、該クライアントノードに接続された複数のデータ記憶ノードとを備えた分散記憶システムである。
　ここで、前記クライアントノードは、データ記憶ノードに、オブジェクトデータの識別子または該オブジェクトデータのデータの性質を表す複数の数値化された指標（メタデータ）を持つアクセス命令を送信する手段を有し、
　前記データ記憶ノードは、該アクセス命令が持つ、オブジェクトデータの識別子と、該オブジェクトデータのデータの性質を表す複数の数値化された指標と、接続されている前記複数のデータ記憶ノードの接続情報と、該データ記憶ノードに設定された複数の数値化された指標に基づいて、前記複数のデータ記憶ノードの中から特定のデータ記憶ノードを選択し、該データ記憶ノードに前記アクセス命令を転送する手段と、
　該アクセス命令が持つ、オブジェクトデータの識別子と、接続されている前記複数のデータ記憶ノードの接続情報に基づいて、前記複数のデータ記憶ノードの中から特定のデータ記憶ノードを選択し、該データ記憶ノードに前記アクセス命令を転送する手段と、
　該アクセス命令が持つ、オブジェクトデータのデータの性質を表す複数の数値化された指標と、接続されている前記複数のデータ記憶ノードの接続情報と、該データ記憶ノードに設定された前記複数の数値化された指標に基づいて、前記複数のデータ記憶ノードの中から限定したデータ記憶ノードを選択し、該データ記憶ノードに前記アクセス命令を転送する手段と、
　前記データ記憶ノードが記憶するオブジェクトデータを読み込み、前記クライアントノードに送信する手段と、を有し、
　前記データ記憶ノードが記憶するオブジェクトデータを変更することができ、
　前記データ記憶ノードに設定された前記複数の数値化された指標を予め調整するもしくは変更することにより、前記データ記憶ノードが記憶するオブジェクトデータを変更するようにしてもよい。
　また、前記クライアントノードは、オブジェクトデータの識別子と、接続されている前記複数のデータ記憶ノードの接続情報と、該データ記憶ノードに設定された前記複数の数値化された指標に基づいて、前記複数のデータ記憶ノードの中から特定のデータ記憶ノードを選択する手段と、
　該データ記憶ノードに、オブジェクトデータの識別子を持つアクセス命令を送信する手段と、
　オブジェクトデータのデータの性質を表す複数の数値化された指標と、接続されている前記複数のデータ記憶ノードの接続情報と、該データ記憶ノードに設定された前記複数の数値化された指標に基づいて、前記複数のデータ記憶ノードの中から限定したデータ記憶ノードを選択する手段と、
　該データ記憶ノードに、オブジェクトデータの識別子を持つアクセス命令を送信する手段と、を有し、
　前記データ記憶ノードは、該アクセス命令が持つ、オブジェクトデータの識別子と、それに対応するデータの性質を表す複数の数値化された指標と、接続されている前記複数のデータ記憶ノードの接続情報と、該データ記憶ノードに設定された前記複数の数値化された指標に基づいて、前記複数のデータ記憶ノードの中から特定のデータ記憶ノードを選択し、該データ記憶ノードに前記アクセス命令を転送する手段と、
　前記データ記憶ノードが記憶するオブジェクトデータを読み込み、前記クライアントノードに送信する手段と、を有し、
　データ記憶ノードが記憶するオブジェクトデータを変更することができ、
　前記データ記憶ノードに設定された前記複数の数値化された指標を予め調整または変更することにより、前記データ記憶ノードが記憶するオブジェクトデータを変更するようにしてもよい。
　また、上記の各構成の分散記憶システムに対応する分散処理方法によっても、本発明の効果を奏することができる。さらに、上記の各構成を有する分散記憶システム、並びに対応する装置を、コンピュータによって実現するコンピュータプログラム、および、そのコンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体によっても、本発明の効果を奏することができる。
　本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
　なお、上記実施形態の一部又は全部は、以下の付記として記載することができるものであるが、これらに限定されるものではない。
　（付記１）複数のデータ記憶ノードを備える分散記憶システムであって、
　複数の指標によって特徴付けられるオブジェクトデータがあり、
　前記オブジェクトデータの識別子と複数の前記データ記憶ノードの固有の番号などの識別子と重み付け情報から一意に前記オブジェクトデータを記憶する前記データ記憶ノードを決定するアルゴリズムがあるとき、
　前記オブジェクトデータの各指標の値と前記データ記憶ノードの情報から前記データ記憶ノードの重み付けを算出し、
　前記オブジェクトデータの識別子と前記データ記憶ノードの識別子と前記データ記憶ノードの重み付けから、前記アルゴリズムを用いて一意に前記オブジェクトデータの前記データ記憶ノードを決定することを特徴とする分散記憶システム。
　（付記２）前記アルゴリズムは、前記オブジェクトデータの各指標の値と前記データ記憶ノードの情報から選択する可能性がある前記データ記憶ノードを限定することを特徴とする、付記１に記載の分散記憶システム。
　（付記３）前記データ記憶ノードの情報は、前記オブジェクトデータの各指標と１対１で対応する数値であることを特徴とする、付記１または２に記載の分散記憶システム。
　（付記４）前記データ記憶ノードの情報は、前記オブジェクトデータの各指標の数値の分布に応じて変化することを特徴とする、付記３に記載の分散記憶システム。
　（付記５）前記データ記憶ノードの重み付けは、前記オブジェクトデータの各指標および前記オブジェクトデータの各指標と１対１で対応する前記データ記憶ノードの情報を座標軸とする空間上に、前記オブジェクトデータの各指標の値および前記データ記憶ノードのオブジェクトデータの各指標と１対１で対応する値を空間上の位置として、前記オブジェクトデータおよび前記データ記憶ノードを配置したときの、前記オブジェクトデータと前記データ記憶ノードとの空間的な距離であることを特徴とする、付記３または４に記載の分散記憶システム。
　（付記６）前記オブジェクトデータの各指標および前記オブジェクトデータの各指標と１対１で対応するデータ記憶ノードの情報を座標軸とする空間は、座標軸が直交するユークリッド空間であることを特徴とする、付記５に記載の分散記憶システム。
　（付記７）前記アルゴリズムは、
　重み付けと固有の番号を有するデータ記憶ノードと、識別子を有するオブジェクトデータとがある場合に、
　前記オブジェクトデータの識別子をシードとする疑似乱数発生関数によって疑似乱数を発生し、
　前記データ記憶ノードの固有の番号と同じ順番に発生した前記乱数を前記データ記憶ノードの乱数とし、
　前記データ記憶ノードの乱数に前記重み付けを掛けた値を前記データ記憶ノードの重み付き乱数とし、
　前記データ記憶ノードの重み付き乱数が最も大きい前記データ記憶ノードを、前記オブジェクトデータを記憶するノードとすることを特徴とする、付記１ないし６のいずれか１に記載の分散記憶システム。
　（付記８）複数のアルゴリズム実行手段を備える分散実行システムであって、
　複数の指標によって特徴付けられるアルゴリズムがあり、
　前記アルゴリズムの識別子と複数の前記アルゴリズム実行手段の固有の番号などの識別子と重み付け情報から一意に前記アルゴリズムを実行する前記アルゴリズム実行手段を決定する実行手段決定アルゴリズムがあるとき、
　前記アルゴリズムの各指標の値と前記アルゴリズム実行手段の情報から前記アルゴリズム実行手段の重み付けを算出し、
　前記アルゴリズムの識別子と前記アルゴリズム実行手段の識別子と前記アルゴリズム実行手段の重み付けから前記実行手段決定アルゴリズムを用い一意に前記アルゴリズムを実行する前記アルゴリズム実行手段を決定する、ことを特徴とするアルゴリズム実行手段決定方法。
　（付記９）複数の物理的な実体を持つデータ記憶ノードを備える分散保管システムであって、
　複数の指標によって特徴付けられる物理的な実体を持つオブジェクトがあり、
　前記物理的な実体を持つオブジェクトの識別子と複数の物理的な実体を持つデータ記憶ノードの固有の番号などの識別子と重み付け情報から一意に前記物理的な実体を持つオブジェクトを保管する前記物理的な実体を持つデータ記憶ノードを決定するアルゴリズムがあるとき、
　前記物理的な実体を持つオブジェクトの各指標の値と前記物理的な実体を持つデータ記憶ノードの情報から前記物理的な実体を持つデータ記憶ノードの重み付けを算出し、
　前記物理的な実体を持つオブジェクトの識別子と前記物理的な実体を持つデータ記憶ノードの識別子と前記物理的な実体を持つデータ記憶ノードの重み付けから前記アルゴリズムを用い一意に前記物理的な実体を持つオブジェクトの前記物理的な実体を持つデータ記憶ノードを決定することを特徴とする、物理的な実体を持つデータ記憶ノード決定方法。
１０　　クライアントノード
１１　　メタデータ記憶ノード判定部
１２　　データ識別子送信部
１３　　ノード情報記憶部
１４　　データ記憶ノード判定部
１５　　メタデータ送信部
１６　　データ受信部
２０　　メタデータ記憶ノード
２１　　データ識別子受信部
２２　　メタデータ記憶部
２３　　メタデータ判定部
２４　　ノード情報記憶部
２５　　ノード判定部
２６　　データ識別子送信部
３０　　データ記憶ノード
３１　　データ識別子受信部
３２　　データ記憶部
３３　　データ判定部
３４　　データ送信部
３５　　メタデータ受信部
３６　　メタデータ判定部
４０　　分散記憶システム
５０　　データ記憶ノード
５１　　データ識別子受信部
５２　　データ判定部
５３　　データ記憶部
５４　　データ送信部
５５　　メタデータ受信部
５６　　メタデータ判定部
６０　　分散記憶システム
７０　　分散記憶システム
７１ａ～７１ｃ　　データ記憶ノード
７２　　クライアントノード
９０　　ノード
９１　　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）
９２　　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）
９３　　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）
９４　　ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）
９５　　通信インタフェース（Ｉ／Ｆ：Ｉｎｔｅｒｆａｃｅ）
９６　　バス
１００　　分散記憶システム
１０１　　記憶ノード
１１０　　クライアントノード
１１１　　記憶テーブル

Claims (17)

  1. 　複数のオブジェクトデータを分散して記憶する複数のデータ記憶ノードを備え、
    　前記複数のオブジェクトデータは、それぞれ、データ座標によって特徴付けられるとともにデータ識別子によって一意に識別され、
    　前記複数のデータ記憶ノードは、それぞれ、前記データ座標と同一の空間におけるノード座標を割り当てられ、
    　前記複数のオブジェクトデータは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択した後、該複数の第１のデータ記憶ノードの中から該オブジェクトデータを識別するデータ識別子に基づいて決定したデータ記憶ノードに、それぞれ記憶されることを特徴とする分散記憶システム。
  2. 　前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標、および、前記複数のデータ記憶ノードのそれぞれに割り当てられたノード座標は、前記複数のオブジェクトデータを定量的に評価する複数の評価軸を座標軸とするユークリッド空間における座標であることを特徴とする、請求項１に記載の分散記憶システム。
  3. 　オブジェクトデータからの距離が所定の距離以内のノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択することを特徴とする、請求項１または２に記載の分散記憶システム。
  4. 　オブジェクトデータからの距離が短いノード座標を割り当てられたデータ記憶ノードを該距離の短いものから順に所定の数だけ前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして選択することを特徴とする、請求項１ないし３のいずれか１項に記載の分散記憶システム。
  5. 　オブジェクトデータを識別するデータ識別子をシードとして生成した複数の擬似乱数を前記複数の第１のデータ記憶ノードのそれぞれに割り当てるとともに、該オブジェクトデータのデータ座標と前記複数の第１のデータ記憶ノードのそれぞれに割り当てられたノード座標との距離に応じて算出されたウェイトに、割り当てられた擬似乱数を掛け合わせた値が最大のデータ記憶ノードを前記複数の第１のデータ記憶ノードの中から抽出し、抽出したデータ記憶ノードを該オブジェクトデータを格納すべきデータ記憶ノードとして決定することを特徴とする、請求項１ないし４のいずれか１項に記載の分散記憶システム。
  6. 　前記ウェイトは、前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標と、前記複数のデータ記憶ノードのそれぞれに割り当てられたノード座標との距離が短くなるに従って増大することを特徴とする、請求項５に記載の分散記憶システム。
  7. 　前記複数のデータ記憶ノードは、それぞれ、前記複数のオブジェクトデータを特徴付けるデータ座標の分布に応じてノード座標が割り当てられていることを特徴とする、請求項１ないし６のいずれか１項に記載の分散記憶システム。
  8. 　前記複数のデータ記憶ノードにオブジェクトデータを書き込むとともに、前記複数のデータ記憶ノードに記憶されたオブジェクトデータを読み出すクライアントノードをさらに備えていることを特徴とする、請求項１ないし７のいずれか１項に記載の分散記憶システム。
  9. 　前記クライアントノードは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択するとともに、該複数の第１のデータ記憶ノードの中から該オブジェクトデータのデータ識別子に基づいて決定したデータ記憶ノードに、該オブジェクトデータを書き込むことを特徴とする、請求項８に記載の分散記憶システム。
  10. 　前記クライアントノードは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択するとともに、選択した複数の第１のデータ記憶ノードに対して該オブジェクトデータの読み出し命令を送出することを特徴とする、請求項８または９に記載の分散記憶システム。
  11. 　前記クライアントノードは、オブジェクトデータを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択するとともに、該複数の第１のデータ記憶ノードの中から該オブジェクトデータを識別するデータ識別子に基づいて決定したデータ記憶ノードに対して、該オブジェクトデータの読み出し命令を送出することを特徴とする、請求項８または９に記載の分散記憶システム。
  12. 　データ座標によって特徴付けられるとともにデータ識別子によって一意に識別される複数のオブジェクトデータを分散して記憶する分散記憶方法であって、
    　前記データ座標と同一の空間におけるノード座標を複数のデータ記憶ノードのそれぞれに割り当てる工程と、
    　前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標からの距離が相対的に短いノード座標を割り当てられたデータ記憶ノードを、前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択する工程と、
    　前記複数の第１のデータ記憶ノードの中から前記複数のオブジェクトデータのそれぞれを識別するデータ識別子に基づいて決定したデータ記憶ノードに、該オブジェクトデータを記憶させる工程と、を含むことを特徴とする分散記憶方法。
  13. 　前記複数のオブジェクトデータのそれぞれを特徴付けるデータ座標、および、前記複数のデータ記憶ノードのそれぞれに割り当てられたノード座標は、前記複数のオブジェクトデータを定量的に評価する複数の評価軸を座標軸とするユークリッド空間における座標であることを特徴とする、請求項１２に記載の分散記憶方法。
  14. 　オブジェクトデータからの距離が所定の距離以内のノード座標を割り当てられたデータ記憶ノードを前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして複数選択する工程を含むことを特徴とする、請求項１２または１３に記載の分散記憶方法。
  15. 　オブジェクトデータからの距離が短いノード座標を割り当てられたデータ記憶ノードを該距離の短いものから順に所定の数だけ前記複数のデータ記憶ノードの中から第１のデータ記憶ノードとして選択する工程を含むことを特徴とする、請求項１２ないし１４のいずれか１項に記載の分散記憶方法。
  16. 　オブジェクトデータのデータ識別子をシードとして生成した複数の擬似乱数を前記複数の第１のデータ記憶ノードのそれぞれに割り当てる工程と、
    　前記オブジェクトデータのデータ座標と前記複数の第１のデータ記憶ノードのそれぞれに割り当てられたノード座標との距離に応じて算出されたウェイトに、割り当てられた擬似乱数を掛け合わせた値が最大のデータ記憶ノードを前記複数の第１のデータ記憶ノードの中から抽出する工程と、
    　抽出したデータ記憶ノードを、前記オブジェクトデータを格納すべきデータ記憶ノードとして決定する工程と、を含むことを特徴とする、請求項１２ないし１５のいずれか１項に記載の分散記憶方法。
  17. 　前記複数のオブジェクトデータを特徴付けるデータ座標の分布に応じて、前記複数のデータ記憶ノードのそれぞれにノード座標を割り当てる工程を含むことを特徴とする、請求項１２ないし１６のいずれか１項に記載の分散記憶方法。
PCT/JP2011/063842 2011-03-16 2011-06-16 分散記憶システムおよび分散記憶方法 WO2012124178A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013504500A JP5943430B2 (ja) 2011-03-16 2011-06-16 分散記憶システムおよび分散記憶方法
US14/005,435 US9317221B2 (en) 2011-03-16 2011-06-16 Distributed storage system and distributed storage method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011058340 2011-03-16
JP2011-058340 2011-03-16

Publications (1)

Publication Number Publication Date
WO2012124178A1 true WO2012124178A1 (ja) 2012-09-20

Family

ID=46830282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/063842 WO2012124178A1 (ja) 2011-03-16 2011-06-16 分散記憶システムおよび分散記憶方法

Country Status (3)

Country Link
US (1) US9317221B2 (ja)
JP (1) JP5943430B2 (ja)
WO (1) WO2012124178A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238125A (ja) * 2011-05-10 2012-12-06 Internatl Business Mach Corp <Ibm> データの保存を制御する装置及び方法
CN104937552A (zh) * 2013-02-25 2015-09-23 Emc公司 并行数据库和分布式文件系统上的数据分析平台
WO2019130926A1 (ja) * 2017-12-25 2019-07-04 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11868498B1 (en) * 2009-04-20 2024-01-09 Pure Storage, Inc. Storage integrity processing in a storage network
US20150019574A1 (en) * 2012-03-09 2015-01-15 Nec Corporation Object placement device and method, and computer program
US9361480B2 (en) * 2014-03-26 2016-06-07 Alcatel Lucent Anonymization of streaming data
JP6508208B2 (ja) * 2014-07-11 2019-05-08 日本電気株式会社 配置装置、配置方法及び配置プログラム
US10275185B2 (en) * 2015-02-27 2019-04-30 International Business Machines Corporation Fail-in-place supported via decentralized or Distributed Agreement Protocol (DAP)
US11188665B2 (en) 2015-02-27 2021-11-30 Pure Storage, Inc. Using internal sensors to detect adverse interference and take defensive actions
KR20180101004A (ko) * 2017-03-03 2018-09-12 현대자동차주식회사 차량 및 차량의 제어방법
US11188258B2 (en) * 2017-06-19 2021-11-30 Hitachi, Ltd. Distributed storage system
US10067719B1 (en) * 2017-08-30 2018-09-04 Xanadu Big Data, Llc Methods and systems for storing and accessing data in a distributed data storage system
US10942909B2 (en) * 2018-09-25 2021-03-09 Salesforce.Com, Inc. Efficient production and consumption for data changes in a database under high concurrency
US11451627B2 (en) * 2020-04-03 2022-09-20 Open Text Holdings, Inc. System and method for content management with intelligent data store access across distributed stores
CN115629717B (zh) * 2022-12-08 2023-03-21 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的负载均衡方法和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092198A (ja) * 2000-09-20 2002-03-29 Casio Comput Co Ltd 地域情報提供装置、及び記憶媒体
JP2005235171A (ja) * 2003-12-09 2005-09-02 Emc Corp 時間的に近接して記憶システムに書き込まれたデータユニットを示すコンテンツアドレスの生成方法およびその装置
JP2006350470A (ja) * 2005-06-13 2006-12-28 National Institute Of Advanced Industrial & Technology データ管理装置および方法
JP2007293619A (ja) * 2006-04-25 2007-11-08 Canon Software Inc サーバ装置および情報共有システムおよびプログラムおよび記録媒体
WO2007145069A1 (ja) * 2006-06-15 2007-12-21 Sony Corporation 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438705B1 (en) * 1999-01-29 2002-08-20 International Business Machines Corporation Method and apparatus for building and managing multi-clustered computer systems
US6438562B1 (en) * 1999-08-24 2002-08-20 Oracle Corporation Parallel index maintenance
US6990080B2 (en) * 2000-08-07 2006-01-24 Microsoft Corporation Distributed topology control for wireless multi-hop sensor networks
US8100940B2 (en) 2002-09-30 2012-01-24 Quill Medical, Inc. Barb configurations for barbed sutures
US7953858B2 (en) * 2003-01-17 2011-05-31 Hewlett-Packard Development Company, L.P. Method and apparatus for mapping peers to an overlay network
GB0328888D0 (en) * 2003-12-12 2004-01-14 British Telecomm Distributed computer system
US7418454B2 (en) * 2004-04-16 2008-08-26 Microsoft Corporation Data overlay, self-organized metadata overlay, and application level multicasting
US7778183B2 (en) * 2006-03-31 2010-08-17 International Business Machines Corporation Data replica selector
US7752311B2 (en) * 2007-03-02 2010-07-06 Cisco Technology, Inc. Gracefully changing a node in a distributed computing network
US8682611B2 (en) * 2008-09-29 2014-03-25 Nec Corporation Distance metric estimating system, coordinate calculating node, distance metric estimating method, and program
CN102067128A (zh) * 2009-04-27 2011-05-18 松下电器产业株式会社 数据处理装置、数据处理方法、程序及集成电路

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092198A (ja) * 2000-09-20 2002-03-29 Casio Comput Co Ltd 地域情報提供装置、及び記憶媒体
JP2005235171A (ja) * 2003-12-09 2005-09-02 Emc Corp 時間的に近接して記憶システムに書き込まれたデータユニットを示すコンテンツアドレスの生成方法およびその装置
JP2006350470A (ja) * 2005-06-13 2006-12-28 National Institute Of Advanced Industrial & Technology データ管理装置および方法
JP2007293619A (ja) * 2006-04-25 2007-11-08 Canon Software Inc サーバ装置および情報共有システムおよびプログラムおよび記録媒体
WO2007145069A1 (ja) * 2006-06-15 2007-12-21 Sony Corporation 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238125A (ja) * 2011-05-10 2012-12-06 Internatl Business Mach Corp <Ibm> データの保存を制御する装置及び方法
US9357007B2 (en) 2011-05-10 2016-05-31 International Business Machines Corporation Controlling storing of data
CN104937552A (zh) * 2013-02-25 2015-09-23 Emc公司 并行数据库和分布式文件系统上的数据分析平台
CN104937552B (zh) * 2013-02-25 2019-09-20 Emc 公司 并行数据库和分布式文件系统上的数据分析平台
US10698891B2 (en) 2013-02-25 2020-06-30 EMC IP Holding Company LLC MxN dispatching in large scale distributed system
US10769146B1 (en) 2013-02-25 2020-09-08 EMC IP Holding Company LLC Data locality based query optimization for scan operators
US10838960B2 (en) 2013-02-25 2020-11-17 EMC IP Holding Company LLC Data analytics platform over parallel databases and distributed file systems
WO2019130926A1 (ja) * 2017-12-25 2019-07-04 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JPWO2019130926A1 (ja) * 2017-12-25 2020-12-17 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7014233B2 (ja) 2017-12-25 2022-02-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2012124178A1 (ja) 2014-07-17
JP5943430B2 (ja) 2016-07-05
US9317221B2 (en) 2016-04-19
US20140019683A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
JP5943430B2 (ja) 分散記憶システムおよび分散記憶方法
US8676951B2 (en) Traffic reduction method for distributed key-value store
US9386117B2 (en) Server side data cache system
JP5373199B2 (ja) キャッシング記憶制御装置間でストレージコマンドのキャッシュアウェア・マルチパス分散を用いたデータ処理システム
US20090187588A1 (en) Distributed indexing of file content
JP6388339B2 (ja) 分散キャッシングおよびキャッシュ分析
JP2009529183A (ja) 応答出力キャッシュに対するマルチキャッシュ協調
US20190220454A1 (en) Data storage system and process for providing distributed storage in a scalable cluster system and computer program for such data storage system
JP5375972B2 (ja) 分散ファイルシステム、そのデータ選択方法およびプログラム
JP2009295127A (ja) アクセス方法、アクセス装置及び分散データ管理システム
JP2005228278A (ja) 記憶領域の管理方法、管理装置及び管理プログラム
Zhong et al. A dynamic replica management strategy based on data grid
Chiniah et al. Dynamic erasure coding policy allocation (DECPA) in Hadoop 3.0
CN110381136A (zh) 一种数据读取方法、终端、服务器及存储介质
CN106940712A (zh) 序列生成方法与设备
US20130290463A1 (en) Storage fabric address based data block retrieval
CN110457307A (zh) 元数据管理系统、用户集群创建方法、装置、设备和介质
KR100983479B1 (ko) 분산 스페이스를 이용하여 분산 프로그래밍 환경을 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2008225686A (ja) 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム
WO2013132779A1 (ja) オブジェクト配置装置及び方法、コンピュータ・プログラム
KR101512647B1 (ko) 질의처리엔진을 선택하는 방법
Hsiao et al. Modeling and evaluating peer-to-peer storage architectures
JP2012063832A (ja) 分散処理システム、分散処理方法、及びコンピュータプログラム
JP4492569B2 (ja) ファイル操作制御装置、ファイル操作制御システム、ファイル操作制御方法及びファイル操作制御プログラム
Yao et al. Minerva: Decentralized Collaborative Query Processing over InterPlanetary File System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11861039

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013504500

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14005435

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11861039

Country of ref document: EP

Kind code of ref document: A1