WO2011121869A1 - データアクセス場所選択システム、方法およびプログラム - Google Patents

データアクセス場所選択システム、方法およびプログラム Download PDF

Info

Publication number
WO2011121869A1
WO2011121869A1 PCT/JP2011/000311 JP2011000311W WO2011121869A1 WO 2011121869 A1 WO2011121869 A1 WO 2011121869A1 JP 2011000311 W JP2011000311 W JP 2011000311W WO 2011121869 A1 WO2011121869 A1 WO 2011121869A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
access
probability
access probability
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/000311
Other languages
English (en)
French (fr)
Inventor
菅真樹
小林大
板橋康雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012508037A priority Critical patent/JP5423879B2/ja
Priority to US13/583,964 priority patent/US8909614B2/en
Publication of WO2011121869A1 publication Critical patent/WO2011121869A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to a data access location selection system, a data access location selection method, and a data access location selection program for selecting a data read destination and / or a write destination in a distributed storage system.
  • Patent Document 1 An example of a technique using such a mechanism is described in Patent Document 1.
  • the power consumption of the system is reduced by stopping the disk device when the disk device is not accessed.
  • Patent Document 2 describes a system that performs data rearrangement using a no-access probability calculated based on statistical information on access to a distributed storage node.
  • it is possible to lengthen the time during which each disk node is in the power saving mode by performing data allocation so that the expected value of no-access time is high.
  • Patent Document 3 describes a computer system that appropriately distributes an I / O (Input / Output) load.
  • an average of I / O access frequencies for each integrated device is calculated as an expected value of I / O access frequencies.
  • JP 2005-539303 A (paragraph 0023) JP 2009-157571 A (paragraphs 0097 to 0102) Japanese Patent Laying-Open No. 2008-59315 (paragraphs 0194, 0198, FIGS. 12 and 22)
  • Patent Document 1 cannot appropriately control the operation state of the nodes constituting the distributed system, and may cause excessive power consumption.
  • the access frequency for newly added data is not taken into consideration, and the storage destination of new data is determined according to the access state of the existing storage.
  • the access frequency of new data is stored without being considered, the node storing the data cannot be appropriately controlled, resulting in an increase in power consumption for data access. It leads to the result of end. Therefore, even when new data is added, it is desirable to appropriately suppress power consumption related to data access.
  • the present invention provides a data access location selection system, a data access location selection method, and a data access location that can suppress power consumption related to data access even when new data is added in a distributed storage system.
  • the purpose is to provide a selection program.
  • a data access location selection system includes at least one or more nodes that store data, and a management server that selects a data read destination and / or write destination from among the nodes.
  • a data storage destination storage means for storing a storage destination in association with a node, and a reading destination and / or a writing destination of designated data from among nodes corresponding to the data stored in the data storage destination storage means
  • An access destination determining means for determining; an access probability storing means for storing an access probability indicating a probability that data is read from and / or written to each node; and an access probability is calculated based on an access history to the data.
  • Access probability calculation means for storing the calculated access probability in the access probability storage means; Access probability estimating means for estimating an access probability for the designated data based on the access probability stored in the access probability storage means, and the access probability estimating means is configured such that the node corresponding to the designated data is a data storage destination. If not stored in the storage means, the access probability of the data is estimated, and the access destination determination means, if the node corresponding to the specified data is not stored in the data storage destination storage means, the estimated access probability The write destination of the data is determined based on the above. Note that “reading and / or writing” means “reading”, “writing”, or “both reading and writing”.
  • Another data access location selection system includes a plurality of nodes for storing data, and each node stores data storage destination storage means for storing the data storage destination in association with the node, Access destination determining means for determining a reading destination and / or a writing destination from among nodes corresponding to the data stored in the data storage destination storage means, and reading and / or writing of data to each node.
  • An access probability storage means for storing an access probability indicating an access probability
  • an access probability calculation means for calculating an access probability based on an access history to the data, and storing the calculated access probability in the access probability storage means, designated The access probability for data is based on the access probability stored in the access probability storage means.
  • a selection device that selects a data reading destination and / or a writing destination from at least one node storing data associates the data storage destination with the node.
  • a reading destination and / or a writing destination of designated data is determined from among nodes corresponding to the data stored in the data storage destination storage means to be stored, and the selection device reads and reads data from each node.
  • An access probability indicating the probability that writing will be performed is calculated based on the access history to the data, the calculated access probability is stored in the access probability storage means, and the selection device has a node corresponding to the designated data If not stored in the data storage destination storage means, access probability for the specified data is accessed If the node corresponding to the specified data is not stored in the data storage destination storage means, the selection device estimates the access probability based on the estimated access probability.
  • a data write destination is determined.
  • a data access location selection program is a data access location selection program applied to a computer that selects a data reading destination and / or a writing destination from at least one node storing data, Access for determining a reading destination and / or a writing destination of designated data from among nodes corresponding to the data stored in the data storage destination storage means for storing the data storage destination in association with the node in the computer Access that calculates the access probability indicating the probability of data reading and / or writing to each node based on the access determination history, and stores the calculated access probability in the access probability storage means Probability calculation process and specified data An access probability estimation process for estimating the access probability based on the access probability stored in the access probability storage means is executed, and the node corresponding to the specified data is stored in the data storage destination storage means in the access probability estimation process. If the node corresponding to the specified data is not stored in the data storage destination storage means in the access destination determination process, the access probability of the data is estimated. The data write destination is determined.
  • FIG. 1 is an explanatory diagram showing an embodiment of a data access location selection system according to the present invention.
  • the data access location selection system according to the present invention includes distributed nodes 101 to 104, an information management control device 300, and a data access request node 400.
  • the distributed nodes 101 to 104, the information management control device 300, and the data access request node 400 are connected via the communication network 200, respectively.
  • the distributed nodes 101 to 104 are computers used in the distributed storage system, and include one or more storage devices 111 to 114, respectively.
  • Each of the distributed nodes 101 to 104 includes an element (hereinafter referred to as a controlled element) that can control the operation state.
  • This controlled element refers to each device used in the distributed node, and includes, for example, a CPU, HDD, and a computer power supply device that are arithmetic devices.
  • the control of the operation state is to give a control instruction to the operation performed by each controlled element. For example, the rotation speed of the CPU, the rotation speed of the HDD, the CPU is stopped, For example, the power supply device may be stopped or the power supply device may be turned off.
  • the information management control device 300 is a device that holds information for determining the location of data stored in the distributed storage system and has a function of managing the information.
  • the role of the information management control device 300 is, for example, responsible for managing in which distributed node a file data block is stored and tracking the data block in a distributed file system which is an example of a distributed storage system. Corresponds to the role of the metadata server.
  • the data access request node 400 is a computer node that performs data access to the distributed storage system and performs an arbitrary operation using the accessed data. This data access includes either data read processing, data write processing, or both data read and write. Note that the writing process includes an update process and a deletion process of existing data in addition to a new data writing process.
  • the data access request node 400 may be a computer node different from the distributed nodes 101 to 104, or the distributed nodes 101 to 104 themselves operate as the data access request node 400 (ie, data access and computation). May be done). In the following description, a case where the data access request node 400 and the distributed nodes 101 to 104 are realized by different computer nodes will be described.
  • the distributed nodes 101 to 104, the information management control device 300, and the data access request node 400 are realized by, for example, an IA (Intel Architecture) server including a CPU, a semiconductor memory, a communication interface, and the like.
  • IA Intel Architecture
  • Intel is a registered trademark.
  • the example shown in FIG. 1 shows a case where the data access location selection system includes four distributed nodes from the distributed node 101 to the distributed node 104.
  • the number of distributed nodes is not limited to four, and there may be two or more.
  • the case where each distributed node includes two storage devices is illustrated, but the number of storage devices is not limited to two.
  • the number of storage devices may be one or three or more. Since the functions of the distributed nodes 101 to 104 are the same, the following description will be made on the distributed node 101 as an object.
  • FIG. 2 is a block diagram showing an example of a data access location selection system.
  • the data access location selection system according to the present invention is realized by the distributed data holding access means 1, the information management control means 301, and the data access request means 401.
  • the distributed data holding access means 1 is in each distributed node 101 in FIG. 1, the information management control means 301 is in the information management control apparatus 300 in FIG. 1, and the data access request means 401 is in the data access request node in FIG.
  • a description will be given of a case where the operation is performed at 400.
  • the devices on which the respective units are not limited to the above devices.
  • the example shown in FIG. 2 shows a case where the information management control unit 301 operates in a device (information management control device 300) different from the distributed node 101.
  • the information management control means 301 may operate on one or a plurality of computers among the distributed nodes 101 to 104.
  • a program (software) for operating as the information management control unit 301 may be stored on the distributed nodes 101 to 104, and for example, the CPU may operate according to the program.
  • the data access location selection system according to the present embodiment may include a plurality of distributed nodes.
  • the distributed data holding / accessing means 1 includes a data access processing means 11, a storage device 12, a controlled device 13, and a distributed node control means 14.
  • the above-described controlled element corresponds to the controlled device 13 in FIG.
  • Storage device 12 stores data targeted in the distributed storage system.
  • the storage device 111 illustrated in FIG. 1 corresponds to the storage device 12.
  • the storage device 12 is realized by a storage medium such as an HDD, an SSD (Solid State Drive), or a semiconductor memory.
  • the data access processing unit 11 receives a data access request from the data access request unit 401. Then, the data access processing unit 11 accesses the storage device 12 to read the requested data, and returns a result to the data access request unit 401.
  • the controlled device 13 is a device capable of controlling the operation state (that is, a controlled element).
  • the controlled target device 13 is a hardware device capable of controlling the operation state in the distributed data holding / accessing means 1.
  • the controlled target device 13 is, for example, an arithmetic device such as a CPU, an excessive communication interface, or the like.
  • the storage device 12 is also one of the controlled elements 12, but in the example illustrated in FIG. 2, the controlled target device 13 is illustrated separately from the storage device 12.
  • the distributed node control means 14 issues a control instruction to devices that can control the operation state (specifically, the storage device 12 and the controlled device 13 that are controlled elements).
  • the content of the control instruction is, for example, the content exemplified in the description of the controlled element.
  • the data access request unit 401 includes an access destination inquiry unit 41 and a data access unit 42.
  • the access destination inquiry unit 41 reads the read destination information of the data to be read (for example, information indicating the distributed node where the data is stored) and the write destination information of the data to be written (for example, information indicating the distributed node storing the data) To the information management control means 301 and receives the inquiry result (hereinafter referred to as access destination information).
  • access destination information for example, information indicating the distributed node where the data is stored
  • the write destination information of the data to be written for example, information indicating the distributed node storing the data
  • the request for the data access request unit 401 to inquire the access destination to the information management control unit 301 will be referred to as a data access request command.
  • the data access unit 42 When the access destination inquiry unit 41 receives the access destination information, the data access unit 42 performs data access to the distributed node 101 that is the access destination. Specifically, the data access unit 42 requests the data access processing unit 11 to perform access processing (for example, data writing processing or reading processing) desired to be performed on the storage device 12 of the distributed node 101.
  • access processing for example, data writing processing or reading processing
  • writing data may be written as writing
  • reading data may be written as reading.
  • the information management control means 301 includes a data storage location management means 31, a data storage location management information recording device 32, an access probability acquisition means 33, an access probability calculation recording means 34, an access probability recording device 35, and a control instruction command.
  • Means 36, provisional data generation means 37, node operation state recording device 38, access receiving means 39, history storage device 50, and access history recording means 51 are provided.
  • Access accepting means 39 accepts a data access request command from data access requesting means 401. Then, the access receiving unit 39 requests the data storage location managing unit 31 to select an access destination, and transmits the selection result to the data access requesting unit 401.
  • the data access request command includes information for identifying data, an execution command, and data necessary for execution.
  • the access receiving means 39 receives a data access request command such as “Read file A” and “Write data“ XXXX ”to file B”.
  • “Read” and “Write” correspond to execution instructions.
  • data necessary for execution for example, data in a Write command can be cited. Note that this data corresponds to data transferred from the initiator to the target in the data phase in SCSI (Small Computer System Interface).
  • SCSI Small Computer System Interface
  • iSCSI which is a standard that uses the SCSI protocol over TCP / IP
  • a Write command that is an execution command is transmitted in the SCSI Command PDU, and data of the Write command is transmitted in the SCSI DATA Out PDU.
  • the information for identifying data corresponds to a write destination block address or the like, and is included in the Write command. Further, for example, in the distributed key value thread system, the key stored in association with the key and key at the time of put and put is included in the data access request command. At this time, “put” is an execution instruction, “Key” is information for identifying data, and “Value” is necessary data.
  • the data storage location management information recording device 32 stores a storage location of data to be held and managed in the distributed storage system. Specifically, the data storage location management information recording device 32 stores the data storage location in association with the distributed node 101. The storage location of the data stored in the data storage location management information recording device 32 is stored by the data storage location management means 31 described later. The data storage location already stored in the distributed node 101 may be stored in advance in the data storage location management information recording device 32 by a user or the like, for example.
  • the contents stored in the data storage location management information recording device 32 include, for example, directories and files below “/ home / node1” in the distributed node 101 and directories and files below “/ home / node2” in the distributed node 102. It may be information indicating a rule such as storing in the.
  • the data storage location management information recording device 32 is realized by an arbitrary recording medium such as a magnetic disk.
  • the data storage location management means 31 manages the actual storage destination of the data held and managed in the distributed storage system, and determines the access destination of the data specified in the access request of the access reception means 39. Specifically, when the information of the distributed node corresponding to the designated data is stored in the data storage location management information recording device 32, the data storage location management means 31 stores the information on the distributed node corresponding to the designated data. The data reading destination and / or writing destination is determined from the inside.
  • the data storage location management information recording device 32 stores the data storage destination in a table format defined by the database software
  • the data storage location management means 31 performs a search process on the table, thereby You may search for the storage location.
  • FIG. 3 is an explanatory diagram showing an example where the data storage destination is stored in a table format.
  • the example shown in FIG. 3 indicates that the data storage location management information recording device 32 stores a file name for identifying data in association with a node storing the file.
  • the example shown in FIG. 3 indicates that data is distributed and stored in a plurality of nodes in units of files. It is assumed that the node names node1, node2, node3, and node4 are assigned to the distributed node 101, the distributed node 102, the distributed node 103, and the distributed node 104, respectively.
  • the file “/home/a.txt” illustrated in FIG. 3 is stored in node1 and node2.
  • the data storage location management means 31 searches the “file name” column for the line “/home/a.txt”.
  • the corresponding node may be specified from the “node” column of the retrieved data.
  • the data storage location management means 31 When the data storage location management information recording device 32 stores the data storage destination in the table format defined by the database software, the data storage location management means 31 performs an addition process and an update process for the table. Thus, the data storage destination may be updated. For example, when it is desired to change the storage location of the file, the data storage location management means 31 may rewrite the corresponding record in the table in conjunction with the process of copying and migrating the actual data storage location. Furthermore, when storing a new file, the data storage location management means 31 may add a record indicating the storage location of the new data to the table.
  • the format stored in the data storage location management information recording device 32 is not limited to the above format.
  • the data storage location management information recording device 32 may store node name list information and a hash function.
  • the data storage location management means 31 may determine the storage node destination calculated by the consistent hashing method as the data reading destination and / or the writing destination.
  • the access history recording unit 51 stores the content of the access request command received by the access receiving unit 39 in the history storage device 50 as a history.
  • the history storage device 50 stores the history of access request commands in response to instructions from the access history recording means 51.
  • the history storage device 50 is realized by a recording medium such as a magnetic disk, for example.
  • the access history recording means 51 may store the history of the access request command as, for example, a journal log in the history storage device 50, or may store it in the history storage device 50 in the table format illustrated in FIG.
  • FIG. 4 is an explanatory diagram showing an example of an access request command history stored in the access history recording means 51.
  • whether the execution instruction is a read instruction or a write instruction (“Read or Write” in FIG. 4), to which file the instruction is made (“dest (file name)” in FIG. 4), and , It indicates that the history of access request commands is stored in association with when the instruction is given (“time” in FIG. 4).
  • the access history recording unit 51 may not store all the history of access request commands received by the access receiving unit 39 in the history storage device 50.
  • the access history recording means 51 may sample a part of the access request command and store it in the history storage device 50.
  • the access probability recording device 35 stores an access probability representing the probability that data stored in each distributed node is read and / or written.
  • the access probability recording device 35 stores the access probability calculated by the access probability calculation recording means 34 or the data provisional probability generation means 37 described later.
  • the access probability recording device 35 is realized by an arbitrary recording medium such as a magnetic disk, for example.
  • the access probability calculation recording means 34 calculates an access probability based on the access history for the data, and stores the calculated access probability in the access probability recording device 35. Specifically, the access probability calculation recording means 34 refers to the access request command history stored in the history storage device 50 and calculates the access probability based on the access history information for the same file name. Since the access probability is calculated based on the access history, it can be said that it is information representing the degree to which each file is accessed.
  • the access probability calculation recording means 34 may calculate the access probability by dividing the number of times the data is accessed, for example, in the period after the data is stored. For example, the access probability calculation recording means 34 calculates the number of READ accesses that occurred between 0 o'clock and 12 o'clock as the numerator, with the number of days elapsed from when the file “/home/a.txt” was generated as the denominator. By doing so, it is possible to calculate the access probability that a READ access occurs between 0 o'clock and 12 o'clock.
  • FIG. 5 is an explanatory diagram showing an example of the access probability.
  • the access probability recording device 35 indicates that the access probability for each time zone and the access probability for each date are stored in association with each other for the data specified by each file name. .
  • the probability that a READ access will occur for the file “/home/a.txt” between 0 o'clock and 12 o'clock is 10%, and the probability that a write access will occur is 0%. It shows that. For example, in the case of a file in which READ access occurs at 3:00 am once every 10 days, the access probability is the above probability.
  • the probability that READ access will occur at the beginning of the month for the file “/home/a.txt” is 100%, and the probability that READ access will occur at the middle and the end of the month. Is 0%. From this, it is understood that the file “/home/a.txt” is a file in which READ access occurs at a rate of about once every 3.3 days at the beginning of the month (for example, 1st to 10th). .
  • the access probability recording device 35 stores the access probabilities in the period of the beginning, middle and late of the month.
  • the period for storing the access probability is not limited to the above period.
  • the access probability calculation recording means 34 calculates the access probability by dividing one year into four periods (for example, periods such as 1Q, 2Q, 3Q, 4Q, etc.), and stores the access probability in the access probability recording device 35 for each period. The access probability may be stored. Further, the access probability calculation recording means 34 may calculate the access probability every month (that is, the period from January to December), and store the access probability for each month in the access probability recording device 35.
  • the access probability calculating / recording means 34 may store information indicating the number of times data access is performed within a predetermined period (hereinafter referred to as the number of accesses) in the access probability recording device 35. For example, when the number of accesses within a unit time is equal to or greater than a predetermined value, the access probability calculation recording unit 34 may store the number of accesses in the access probability recording device 35.
  • the access probability calculation recording means 34 may store information (hereinafter referred to as an evaluation value) calculated by the access probability and the number of accesses in the access probability recording device 35.
  • the access probability calculation recording means 34 may calculate a value obtained by multiplying the access probability by the number of accesses as an evaluation value, and store the calculated evaluation value in the access probability recording device 35.
  • the method for calculating the evaluation value is not limited to the above method. From the above, it can be said that the evaluation value is information indicating access characteristics to data.
  • the access probability recording device 35 may store the data storage destination in a table format defined by the database software.
  • the access probability calculation / recording means 34 may search or update the access probability by performing a search process, an addition process, or an update process for the table.
  • the access probability acquisition unit 33 receives an access probability acquisition request for each data from the data provisional probability generation unit 37. Then, the access probability acquisition unit 33 searches and acquires the access probability corresponding to the designated data from the access probability recording device 35, and transmits the acquired access probability to the data provisional probability generation unit 37.
  • the temporary data probability generation unit 37 provisionally stores the data newly stored in the storage device 12 of the distributed node.
  • a typical access probability is calculated.
  • calculating the temporary access probability may be referred to as estimating the access probability.
  • the co-occurrence probability that the data b is accessed s seconds after the data a is accessed is Ps (b: a)
  • the co-occurrence probability Ps (b: a) is calculated using the following Equation 1. The Note that the number of times data b is accessed can be extracted from the access history stored in the history storage device 50.
  • the data provisional probability generation means 37 sets the probability that the data set A ⁇ a, b,..., N ⁇ selected from the set W will be accessed by t seconds later as Pt (A: W). Then, the probability Pt (A: W) may be calculated using the following equation 2.
  • the set W may be targeted for all access data so far in the entire system, or may be targeted for all access data within the last x seconds in the entire system. Furthermore, access data for a certain node may be set as a set W, and only data having a co-occurrence relationship in correlation mining may be set as a set W (the probability of other data is set to 0, etc.). The set W may be determined in advance in consideration of the amount of data, the time required for calculating the probability, and the like.
  • the data provisional probability generation unit 37 can estimate the access probability for the specified data by calculating the co-occurrence probability based on the access history and the access probability to the data.
  • the data provisional probability generation means 37 may use the co-occurrence probability calculated in this way as a provisional access probability.
  • the method for calculating the access probability is not limited to the above method.
  • the data provisional probability generation means 37 may calculate a provisional access probability by paying attention to the attribute of a newly created file.
  • a method for calculating a provisional access probability will be described using a specific example.
  • a case where a file named “/home/x.log” is newly created and a temporary access probability is calculated as a future access probability of the file “/home/x.log” will be described. .
  • the data provisional probability generation means 37 gives the access probability of the file with the extension “log” to the access probability acquisition means 33. Request to obtain all from the access probability recording device 35.
  • the data provisional probability generation means 37 averages the access probabilities of all the obtained log files, and uses the averaged result as the provisional access probability of the file “/home/x.log”.
  • the data provisional probability generation unit 37 stores the provisional access probability in the access probability recording device 35.
  • the data provisional probability generation means 37 may take into account not only the extension but also the directory path (for example, “/ home”). In this case, the data provisional probability generation unit 37 gives the access probability recording unit 35 the access probability of the file whose extension is “log” and stored in the directory path “/ home” with respect to the access probability acquisition unit 33. You may ask to get everything from In this case, the data provisional probability generation means 37 may use the average of the obtained access probabilities as the provisional access probability of the file “/home/x.log”.
  • the data provisional probability generation unit 37 when calculating the temporary access probability, the data provisional probability generation unit 37 considers the application that performs data access to the file (that is, the file caller), not the file name or the file storage location. You may put in. In this case, the data provisional probability generation means 37 requests the access probability acquisition means 33 to acquire all access probabilities from the access probability recording device 35 with the same application name that made the data access. The average of the probabilities may be used as the provisional access probability.
  • FIG. 6 is an explanatory diagram illustrating an example of an operation in which the application X performs data access.
  • A, B, and C surrounded by circles represent data accessed from the application X, respectively. Further, it indicates that the time for the application X to access data has passed from the left to the right in the figure.
  • data accessed from a certain application is assumed to have temporal correlation.
  • the correlation is such that data B is accessed after data A is accessed, and further, data C is accessed after data A and data B are accessed.
  • the data provisional probability generation means 37 calculates provisional access probability for new data based on the access probability with the same application name accessed.
  • a provisional access probability calculation method for example, a method of calculating an access probability using a co-occurrence probability may be used.
  • the access probability recording device 35 determines the name of the application that has performed data access to the file along with the file name. Just remember.
  • an application name is assigned to the data access request from the data access request unit 401.
  • the access history recording unit 51 stores the history in which the application name is added to the content of the access request command received by the access receiving unit 39 in the history storage device 50.
  • the access probability calculation recording means 34 calculates the access probability of the file for each application using the history of the access request command and stores it in the access probability recording device 35.
  • the history storage device 50 and the access probability recording device 35 may store the file name and the application name in association with each other.
  • the data provisional probability generation means 37 may estimate the access probability of the designated data using the evaluation value instead of the access probability. Note that the method of estimating the access probability using the evaluation value may be the same method as the method of estimating using the access probability stored in the access probability recording device 35.
  • the data provisional probability generation unit 37 estimates the access probability for the designated data based on the access probability stored in the access probability recording device 35.
  • the data provisional probability generation means 37 stores the estimated access probability in the access probability recording device 35.
  • the data provisional probability generation unit 37 determines the data write destination based on the estimated access probability.
  • the data storage location management means 31 uses a distributed node that stores data whose access probability recorded in the access probability recording device 35 is within a range between the provisional access probability and a predetermined value as a data write destination. You may decide.
  • the data storage location management means 31 extracts from the access probability recording device 35 data similar to the provisional access probability (for example, data having a difference in access probability within a predetermined range). Next, the data storage location management means 31 reads the distributed node storing the identified data from the data storage location management information recording device 32. Then, the data storage location management unit 31 determines the read distributed node as a data storage location (hereinafter also referred to as an arrangement location).
  • the data storage location management means 31 may determine a distributed node that has the highest estimated access probability or is operating in a time zone that exceeds a predetermined access probability as a data write destination. Whether or not it is operating is determined based on schedule information described later.
  • the data access request unit 401 may add information necessary for an access request command according to an algorithm for calculating a provisional access probability of data or a format to be managed and held as an access probability.
  • the instruction format may be defined according to the information. If the data to be read and / or written (hereinafter referred to as an access target) and information that can recognize the access contents are included, the data access request unit 401 uses a normal file access protocol. Also good.
  • the node operation state recording device 38 stores the operation states of the computers (ie, distributed nodes 101 to 104) on which the distributed data holding / accessing means 1 operates.
  • FIG. 7 is an explanatory diagram illustrating an example of an operation state of a node.
  • the state in which the node is operating normally is referred to as “active”.
  • the low speed state of the node (for example, the state where the rotational speed of the disk is reduced) is referred to as “low speed”.
  • a state where the node is stopped is referred to as “standby”.
  • nodes 1 and 4 are operating normally, node 2 is in a low speed state, and node 3 is in a stopped state.
  • the operation state stored in the node operation state recording device 38 is updated when a control instruction command means 36 described later performs a process of changing the state of the node.
  • all the distributed nodes connected to the data access location selection system may be stored in the node operation state recording device 38 in advance as a stopped state, for example.
  • the node operation state recording device 38 may store the operation state of the node in a table format defined by the database software.
  • the control instruction command means 36 issues a control command to the distributed data holding access means 1 using the data storage location management information recording device 32 and the information stored in the access probability recording device 35.
  • the control command means for example, changing the operating state of a component in a computer such as a disk (specifically, lowering the number of rotations of the disk, lowering the number of clocks of the CPU, or stopping the operation). And stopping the entire computer of the distributed node.
  • the control instruction command means 36 rewrites the corresponding operation state of the node operation state recording device 38 and then gives a control instruction to change the operation state to each distributed node.
  • Each distributed node may include the node operation state recording device 38.
  • the control instruction command unit 36 rewrites the corresponding operation state of the node operation state recording device 38 included in the information management control unit 301 and replaces the rewritten operation state with another distributed node. 101 to 104 are notified.
  • Each of the distributed nodes 101 to 104 issues a response notification to the control instruction command means 36 after the operation state is updated.
  • the control instruction command means 36 issues a control instruction for changing the operation state.
  • control instruction command unit 36 instructs the distributed node control unit 14 to control the operation state of the controlled element in the distributed data holding access unit 1.
  • the content of the control instruction may be defined according to the controlled element.
  • control instruction command means 36 controls the node using the method exemplified below. Note that the following control method is an example, and the node may be controlled using another method.
  • Stop a node that is expected to have no access This is a method of calculating access probabilities for the entire data held by the distributed nodes at regular intervals and stopping nodes whose access probabilities are equal to or less than a threshold.
  • the access probability calculation recording means 34 periodically reads an access history for a certain period from the history storage device 50 to calculate an access probability, and stores the calculation result in the access probability recording device 35.
  • the control instruction command means 36 refers to the data storage location management information recording device 32 and the access probability recording device 35, and calculates the sum of the access probabilities of the data held by each distributed node. Then, the control instruction command unit 36 issues a stop instruction to the distributed node whose calculated access probability sum is equal to or less than the threshold value.
  • control instruction command means 36 may issue a stop instruction to the target distributed node immediately, or may issue a stop instruction after a predetermined period has elapsed.
  • the control instruction command unit 36 may determine a stop schedule and issue a stop instruction to the distributed node according to the schedule.
  • the control instruction command means 36 may store the stop schedule in an arbitrary storage device (not shown; hereinafter referred to as schedule storage means) included in the information management control apparatus 300.
  • the information stored in the schedule storage unit is not limited to the stop schedule, but may be a schedule for starting the distributed node.
  • control instruction command unit 36 may perform control so as to activate at least one of the distributed nodes.
  • further power saving can be expected by reducing the number of distributed nodes to be activated.
  • write access is performed once to another distributed node without performing write access to the access destination distributed node, and then to the access destination distributed node at a predetermined timing (for example, after the access destination distributed node is activated).
  • the control instruction command unit 36 may perform control to stop the distributed node that performs write access.
  • Schedule in advance This is a method in which the time zones for starting and stopping each distributed node are determined in advance. For example, all nodes are operated from Monday to Friday, and half of the nodes are stopped on weekends.
  • control instruction command means 36 issues a start command and a stop command to the distributed nodes according to a determined schedule.
  • the control instruction command unit 36 specifies a distributed node whose sum of access probabilities calculated for each period is equal to or less than a threshold, the stop schedule of the specified distributed node with respect to the schedule storage unit (not shown) Set. Then, the control instruction command unit 36 stops and starts the distributed node according to the schedule set for each period. When data with a high access probability exists within the set stop period, the control instruction command unit 36 may perform control to transfer the data to a distributed node that has not stopped. Thus, the schedule determined based on the access probability is referred to as schedule information.
  • control instruction command unit 36 periodically performs data rearrangement according to the data arrangement state and access probability based on this schedule information (that is, information such as starting and stopping every period). May be. For example, based on the schedule information, the control instruction command unit 36 extracts time zone candidates that can be stopped at each distributed node. Then, the control instruction command unit 36 instructs the distributed node control unit 14 to relocate data having an access probability exceeding a predetermined value in the extracted distributed node to a different distributed node in a time zone determined to be stopped. A control instruction is given to it. In this way, further power saving can be achieved.
  • control instruction command means 36 gives a control instruction to move the data of the distributed node where the high access probability is concentrated to another distributed node, and controls the destination distributed node to operate in that time zone. Also good. In such a case, performance can be improved.
  • the program is stored in a storage unit (not shown) of the information management control device 300, and the CPU reads the program, and according to the program, the data storage location management means 31, the access probability acquisition means 33, the access probability calculation record.
  • the means 34, the control instruction command means 36, the data provisional probability generation means 37, the access reception means 39, and the access history recording means 51 may be operated.
  • Each of 51 may be realized by dedicated hardware.
  • FIG. 8 is a flowchart showing an example of data access processing in the present embodiment.
  • the data access process is started when the access destination inquiry unit 41 of the data access request unit 401 issues an access request command to the access reception unit 39 of the information management control unit 301. That is, first, the access destination inquiry unit 41 issues an access request command to the access reception unit 39.
  • the access receiving unit 39 inquires of the data storage location managing unit 31 about the distributed node storing the access target data (step S101). For example, when the data storage location management information recording device 32 stores the contents illustrated in FIG. 3, the access destination of the file “/home/a.txt” (that is, storage node information) is node1, node2. become.
  • the data storage location management means 31 determines the type of access in the access request command (step S102). If the access type is a write process (“write” in step S102), the process proceeds to step S103, and if the access process is a read process (“read” in step S102), the process proceeds to step S106.
  • the READ process represents a data read process.
  • the Write process is a process other than the data read process such as a data delete process, a data update process, and a file create process in addition to a data write process. Represents processing.
  • the data storage location management means 31 determines whether the data to be accessed is new data (step S103). Specifically, the data storage location management unit 31 determines whether the access request command is a write process for new data or an update process for an access target file. In the following description, when the file name to be accessed does not exist in the data storage location management information recording device 32, it is determined as a write process for new data, and when the file name exists, it is determined as an update process for the access target file. Shall.
  • step S103 If it is determined as new data (“new data” in step S103), the process proceeds to step S104, and if it is determined as update processing (“update” in step S103), the process proceeds to step S106.
  • the data provisional probability generation means 37 estimates the future access probability of the new data using the information included in the new data access processing request command (step S104). For example, when the access processing request command has the content of “create a new file called /home/e.txt”, the data provisional probability generation unit 37 determines the access probability of the file “/home/e.txt”. Is estimated. That is, the data provisional probability generation unit 37 calculates a provisional access probability. In the above example, “/home/e.txt” corresponds to the information included in the access processing request command.
  • the access processing request command may include an instruction issuer program name, a process name, a program execution user name, and the like.
  • the access probability acquisition unit 33 acquires all the access probabilities of the file having the extension “txt” from the access probability recording device 35 according to the instruction of the data provisional probability generation unit 37.
  • the data provisional probability generation means 37 calculates an average value based on each access probability value, and adopts the average value as the access probability of the file “/home/e.txt”.
  • the data provisional probability generation means 37 stores the adopted access probability in the access probability recording device 35. Further, the data provisional probability generation unit 37 notifies the data storage location management unit 31 of the estimated access probability.
  • the data storage location management means 31 determines a data location from the notified provisional access probability (step S105 in FIG. 8).
  • the data storage location management means 31 selects, for example, the same distributed node as the data similar to the provisional access probability value (for example, the difference between the access probabilities is within a certain value), and sets the distributed node as the data location location. decide.
  • the distributed node By selecting such a distributed node, data access can be concentrated on the distributed node. As described above, by concentrating accesses in a certain time period to a limited distributed node, it becomes possible to stop other distributed nodes (or change the operation state to save power).
  • the data storage location management means 31 may refer to the information of the node operation state recording device 38 and select a distributed node as a writing destination from among the normally operating distributed nodes. Further, for example, when the distributed node determined as the data placement location is not operating normally, the data storage location management unit 31 may determine that the distributed node that is operating normally is the distributed node that performs temporary writing. Good. In this case, when the distributed node that has not been operating normally returns to the normal operating state, the control instruction command unit 36 returns the distributed node that has returned to the normal operating state to the distributed node that has been temporarily written. A control instruction is given to move data to the node. By performing such control, it is possible to suppress the operation of unnecessary distributed nodes while ensuring availability.
  • the data storage location management means 31 may determine the data location based on the schedule information stored in the schedule storage means (not shown). Specifically, of the calculated data access probabilities, a node that is operating normally (that is, active) is read from the schedule storage means during a time period when the data is accessed, and the node is determined as the data location. May be. When there are a plurality of distributed nodes that are activated (normally operating), the data storage location management unit 31 may determine one distributed node based on a predetermined logic.
  • the operation schedules of three distributed nodes node1, node2, and node3 are set to operate on Monday, Wednesday, and Friday for node1, to operate on Tuesday, Thursday, and Saturday for node2, and to operate on Sunday for node3.
  • the data A is newly created, and according to the provisional access probability, it is found that the data A is data that is concentratedly accessed on Monday (that is, data with a high access probability on Monday).
  • the data storage location management means 31 determines node1 as the location where the data A is arranged.
  • the method for determining the data location based on the schedule information will be further described using another specific example.
  • the operation schedule at this time is that the distributed nodes of nodes 1 to 100 operate during the daytime on weekdays, the distributed nodes of nodes 1 to 10 operate at night on weekdays, and the distributed nodes of nodes 11 to 15 operate on weekends and holidays.
  • the data storage location management means 31 determines that the nodes 11 to 15 are the locations where the data A is arranged.
  • the control instruction command means 36 may separately change the schedule information to “distributed nodes of nodes 11 to 20 operate on weekends and holidays”.
  • the data storage location management means 31 may determine a distributed node so that access is concentrated on at least one distributed node among the write-destination distributed nodes. This is because even if the distributed node where access is concentrated is operated, even if other write destination nodes are stopped, the target data can be read.
  • the data storage location management means 31 may decide to store the file having the same access pattern in another node to ensure the performance of the distributed storage system.
  • step S105 the process proceeds to step S107.
  • step S106 If the access type is READ processing in step S102, or if the access request command is update processing in step S103, the data storage location management means 31 selects an access destination distributed node (step S106). .
  • the data storage location management means 31 is the distributed node obtained in step S101 (that is, read from the data storage location management information recording device 32). Is selected. For example, in the case of the file “/home/a.txt” illustrated in FIG. 3, the READ destination candidate is node1 or node2.
  • the data storage location management means 31 may select a distributed node using, for example, a round robin method.
  • the data storage location management means 31 selects one of the normally operating distributed nodes by an arbitrary method based on the operating state of the distributed node stored in the node operation status recording device 38. May be.
  • the method for selecting a distributed node is not limited to the above method.
  • the data storage location management means 31 selects all the distributed nodes to be written.
  • the data storage location management means 31 refers to the information of the node operation state recording device 38, and when the target distributed node is stopped (or in the power saving operation state), the distributed node that is operating normally May be selected as a distributed node that performs temporary writing.
  • the control instruction command means 36 changes to the distributed node that has returned to the normal operating state with respect to the distributed node that has been temporarily written. A control instruction is given to move data.
  • step S106 when the distributed node selected as the write destination is stopped, the control instruction command unit 36 may issue an activation command to the distributed node.
  • the access receiving means 39 responds to the data access requesting means 401 with the distributed node information to be accessed, and requests the access history recording means 51 for access history recording processing (step S107). .
  • the data access unit 401 receives the distributed node information of the access destination, the data access unit 42 issues an access request command to the distributed data holding access unit 1 of the designated distributed node (step S108).
  • the data access processing unit 11 performs processing based on the received access request command and transmits the processing result to the data access request unit 401.
  • the data provisional probability generation unit 37 calculates a provisional access probability at the timing of an access request for new data and stores the calculated access probability in the access probability recording device 35 has been described.
  • the access probability calculation recording means 34 may calculate the access probability at an arbitrary period and store the calculated access probability in the access probability recording device 35.
  • the access probability calculation recording means 34 may calculate the access probability each time when a process for rearranging data is performed or when the access probability is read. Further, the access probability calculation recording means 34 also calculates the access probability based on the actual access history after a certain period of time for the provisional access probability, and updates the contents of the access probability recording device 35 with the calculated value. May be.
  • the data storage location management unit 31 may respond to the data access request unit 401 with the minimum two distributed nodes as distributed nodes that perform write processing. Then, the data storage location management means 31 determines a time zone in which data access is concentrated based on the information recorded in the access probability recording device 35, and by that time, writes the remaining four distributed nodes to the write process. The data access request unit 401 may be responded as a distributed node that performs the above.
  • the information management control apparatus 300 manages a plurality of distributed nodes 101 to 104 has been described. That is, the case where the information management control device 300 includes the information management control unit 301 and the distributed node 101 includes the distributed data holding access unit 1 has been described. Instead of such a configuration, the distributed node 101 may include both the distributed data holding access unit 1 and the information management control unit 301. In this case, the plurality of distributed nodes 101 to 104 may operate in cooperation with each other as described in the above embodiment. For example, an access probability may be calculated for data in a storage device provided in each distributed node, and controlled elements may be controlled based on the access probability.
  • the data storage location management means 31 has the data reading location specified from the distributed nodes corresponding to the data stored in the data storage location management information recording device 32, and / Or determine the write destination. Then, the access probability calculation recording means 34 calculates an access probability based on the access history stored in the history storage device 50 and stores the calculated access probability in the access probability recording device 35. On the other hand, when the node corresponding to the designated data is not stored in the data storage location management information recording device 32, the data provisional probability generation means 37 stores the access probability for the designated data in the access probability recording device 35. Estimate based on the access probability. In this case, the data storage location management means 31 determines the data write destination based on the estimated access probability.
  • the data storage location management means 31 determines the data access destination based on the future access probability (that is, provisional access probability). Therefore, since the newly created data and the physical allocation location of the replica can be determined at the time of initial allocation, the amount of processing such as data movement such as rearrangement can be reduced, and power saving can be achieved. .
  • control instruction command means 36 can change the operation state of the distributed nodes constituting the distributed system in advance before data registration based on the provisional access probability, efficient power saving control is possible.
  • control instruction command means 36 moves the data of the distributed node according to the access probability, it becomes possible to select the distributed node so as to maintain the power saving operation state of the system.
  • the access history recording means 51 records the data identification name and the usage contents as the access history for each data. Therefore, a power saving effect can be provided even for data having different access patterns within the same service or the same user.
  • the physical allocation location of new data and its replica cannot be determined at the initial point of data storage.
  • the method of calculating the access probability based on past access history data cannot predict how the data will be used in the future, and there is not enough information to determine the initial location of the data. It is.
  • data copy is performed after calculating the access probability after registration. If a large amount of data copy occurs in such a situation, a large amount of network or bus I / O bandwidth is used, which adversely affects the performance of applications running on the distributed system.
  • a provisional access probability for new data is calculated and the data is arranged at an appropriate position. Therefore, since the data movement cost is suppressed, it is possible to suppress power consumption as a result.
  • the access history and access probability of data are handled in units of slices of physical arrangement locations where volumes are divided into fixed units.
  • the data stored in the same slice cannot be separated by the rearrangement process. That is, when a volume is allocated for each service or user, it is difficult to deal with data having different access patterns for each service and user.
  • the access probability is calculated in units of data, it is possible to flexibly cope with each data.
  • FIG. 9 is a block diagram showing an example of the minimum configuration of the data access location selection system according to the present invention.
  • FIG. 10 is a block diagram showing an example of another minimum configuration of the data access location selection system according to the present invention.
  • the data access location selection system illustrated in FIG. 9 includes at least one node 80 (for example, distributed node 101) that stores data, and a management server that selects a data read destination and / or write destination from the nodes. 90 (for example, the information management control device 300).
  • the management server 90 includes a data storage destination storage unit 91 (for example, the data storage location management information recording device 32) that stores a data storage destination in association with the node 80, and a designated data reading destination and / or writing destination. Is determined from the nodes corresponding to the data stored in the data storage destination storage unit 91, and the data is read from each node 80, for example.
  • / or access probability storage means 93 access probability recording device 35 for storing an access probability indicating the probability of writing, and an access history to data (for example, an access history stored in the history storage device 50).
  • Rate probability calculation means 94 for example, access probability calculation recording means 34
  • access probability estimation means 95 for example, data for estimating the access probability for the specified data based on the access probability stored in the access probability storage means 93 Provisional probability generation means 37).
  • the access probability estimation unit 95 estimates the access probability of the data (for example, the access probability of data having the same extension). An average value is calculated, an average value of access probabilities of data with the same directory is calculated, an access destination application calculates an average value of access probabilities of the same data, or a co-occurrence probability is calculated).
  • the access destination determination unit 92 determines the data write destination based on the estimated access probability (for example, access A node that stores data having similar probabilities is determined as an access destination, or a node that is operating within a period exceeding a predetermined access probability is selected).
  • the data access location selection system illustrated in FIG. 10 includes a plurality of nodes 80 (for example, distributed nodes 101 to 104).
  • Each node 80 includes data storage destination storage means 91, access destination determination means 92, access probability storage means 93, access probability calculation means 94, and access probability estimation means 95.
  • the contents of the data storage destination storage unit 91, the access destination determination unit 92, the access probability storage unit 93, the access probability calculation unit 94, and the access probability estimation unit 95 are the same as those shown in FIG.
  • At least one or more nodes for example, distributed node 101 that store data
  • a management server for example, information management control device 300
  • a data storage destination storage means for example, the data storage location management information recording device 32
  • the specified data reading destination and / or writing destination Access destination determination means for example, data storage location management means 31
  • Access probability storage means for example, access probability recording device 35
  • An access probability calculation unit for example, an access probability calculation that calculates an access probability based on an access history to data (for example, an access history stored in the history storage device 50) and stores the calculated access probability in an access probability storage unit.
  • Access probability estimation means for example, data provisional probability generation means 37 for estimating the access probability for the designated data based on the access probability stored in the access probability storage means.
  • the estimation unit estimates the access probability of the data, and the access destination determination unit determines that the node corresponding to the specified data is the data If it is not stored in the storage destination storage means, it is based on the estimated access probability.
  • Data access location for example, a node storing data having similar access probability is determined as an access destination, or a node that is operating within a period exceeding a predetermined access probability is selected
  • the access destination determining means is data of access probabilities within the range of the estimated access probability and a predetermined value out of the access probabilities recorded in the access probability recording means (for example, similar to provisional access probability)
  • Data access location selection system that determines a node to store data as a data write destination.
  • a node operation schedule determining unit for example, a control instruction command unit 36 that determines an operation schedule (for example, a stop schedule) of each node for each time zone based on the estimated access probability, and determining an access destination
  • an operation schedule for example, a stop schedule
  • the means determines a node where an operation schedule in a time zone in which an estimated access probability exceeds a predetermined value is in operation as a data reading destination and / or a writing destination.
  • control instruction command means for example, a control instruction command means 36 for issuing a control instruction command to the node
  • control instruction command means has a control instruction command (for example, a stop instruction) for the node based on the operation schedule.
  • Data access location selection system for example, a control instruction command means 36 for issuing a control instruction command to the node.
  • the access probability estimating means extracts the access probability of data having the same extension as the designated data (for example, extension “log”) from the access probability storage means, and calculates the average value of the extracted access probabilities A data access location selection system that estimates the access probability of specified data.
  • the access probability estimating means extracts the access probability of the data stored in the same directory as the designated data (for example, the directory path “/ home”) from the access probability storage means, and the average of the extracted access probabilities A data access location selection system that estimates the value as the access probability of specified data.
  • the access probability estimating means calculates the co-occurrence probability based on the access history stored in the data and the access probability stored in the access probability storage means (for example, calculated using (Equation 1)), A data access location selection system that estimates the access probability of specified data.
  • Data storage destination storage means (for example, data storage location management) that includes a plurality of nodes (for example, distributed nodes 101 to 104) for storing data, and each node stores the data storage destination in association with the node.
  • An information recording device 32) and an access destination determination means (for example, data) that determines a reading destination and / or a writing destination of designated data from among nodes corresponding to the data stored in the data storage destination storage means
  • a storage location management means 31) an access probability storage means (access probability recording device 35) for storing an access probability indicating a probability that data is read from and / or written to each node, and an access history ( For example, the access probability is calculated based on the access history stored in the history storage device 50, and the calculated access Access probability calculation means (for example, access probability calculation recording means 34) for storing the rate in the access probability storage means, and access for estimating the access probability for the specified data based on the access probability stored in the access probability storage means
  • a probability estimation unit for example, a data provisional
  • the access destination determination unit determines the data write destination based on the estimated access probability (for example, A node that stores data with similar access probabilities is determined as the access destination, or a predetermined Selecting a node running within a period of more than Seth probability) data access location selection system.
  • the estimated access probability for example, A node that stores data with similar access probabilities is determined as the access destination, or a predetermined Selecting a node running within a period of more than Seth probability
  • the said management server is a node which stores data in a node A data storage destination storage unit that stores the data in association with each other, and an access that determines a reading destination and / or a writing destination of designated data from among nodes corresponding to the data stored in the data storage destination storage unit A destination determination means, an access probability storage means for storing an access probability indicating a probability that data is read from and / or written to each node, and the access probability is calculated based on an access history to the data.
  • Access probability calculation means for storing the access probability in the access probability storage means, and designated data Access probability estimation means for estimating an access probability for the access based on the access probability stored in the access probability storage means, wherein the access probability estimation means is configured such that a node corresponding to designated data is stored in the data storage destination storage. If not stored in the means, the access probability of the data is estimated, and the access destination determination means is estimated if the node corresponding to the specified data is not stored in the data storage destination storage means A data access location selection system, wherein a data write destination is determined based on an access probability.
  • the access destination determination means writes the node that stores data of the access probability within the range of the estimated access probability and a predetermined value out of the access probabilities recorded in the access probability recording means.
  • the data access location selection system according to appendix 1, which is determined as the destination.
  • Node operation schedule determining means for determining an operation schedule of each node for each time period based on the estimated access probability is provided, and the access destination determining means has the estimated access probability exceeding a predetermined value
  • the data access location selection system according to supplementary note 1 or supplementary note 2, wherein the node in which the operation schedule in the time zone is in operation is determined as a data read destination and / or a write destination.
  • control instruction instruction means for issuing a control instruction instruction to a node, wherein the control instruction instruction means issues a control instruction instruction to the node based on an operation schedule.
  • the access probability estimation means extracts the access probability of data having the same extension as the designated data from the access probability storage means, and calculates the average value of the extracted access probabilities as the access of the designated data.
  • the data access location selection system according to any one of Supplementary Note 1 to Supplementary Note 4, which estimates a probability.
  • the access probability estimation means extracts the access probability of data stored in the same directory as the designated data from the access probability storage means, and calculates the average value of the extracted access probabilities for the designated data.
  • the data access location selection system according to any one of Supplementary Note 1 to Supplementary Note 4, which estimates an access probability.
  • the access probability estimating means estimates the access probability of designated data by calculating a co-occurrence probability based on the access history to the data and the access probability stored in the access probability storage means. 5.
  • the data access location selection system according to any one of 1 to appendix 4.
  • the access probability calculation means calculates an access probability based on an access history including information indicating an access source to data, stores the calculated access probability in the access probability storage means, and the access probability estimation means includes: The access probability of data having the same access source of the designated data is extracted from the access probability storage means, and the average value of the extracted access probabilities is estimated as the access probability.
  • the described data access location selection system is configured to select an access probability based on an access history including information indicating an access source to data, stores the calculated access probability in the access probability storage means, and the access probability estimation means includes: The access probability of data having the same access source of the designated data is extracted from the access probability storage means, and the average value of the extracted access probabilities is estimated as the access probability.
  • a node state storage unit that stores the operation state of the node is provided, and the access destination determination unit includes a data reading destination from among the nodes in which the operation state of the node stored in the node state storage unit is in operation 9.
  • the data access location selection system according to any one of supplementary notes 1 to 8, which determines a write destination.
  • An access log collecting unit that collects an access log to data is provided, and the access probability calculating unit calculates an access probability based on the access log collected by the access collecting unit.
  • the data access location selection system according to any one of the above.
  • the access log collecting means collects access logs including grant information that is information indicating access contents to data, and the access probability calculating means calculates an access probability for each grant information based on the access log.
  • the data access location selection system according to supplementary note 10, wherein the access probability is calculated and stored in the access probability storage means.
  • the access probability calculation means calculates an access frequency that is information indicating an access probability and a frequency of access to the data based on an access history to the data, and the data is calculated based on the access probability and the access frequency.
  • An evaluation value which is information indicating the access characteristics to the access point, is calculated, and the evaluation value is stored in the access probability storage unit.
  • the access probability estimation unit stores the access probability for the specified data in the access probability storage unit.
  • the data access location selection system according to any one of supplementary note 1 to supplementary note 11, which is estimated based on the evaluated value.
  • a plurality of nodes for storing data are provided, and each of the nodes stores a data storage destination storage unit that stores a data storage destination in association with the node, and a specified data reading destination and / or writing destination
  • An access destination determination unit that determines a node corresponding to the data stored in the data storage destination storage unit, and an access probability that indicates a probability that data is read from and / or written to each node
  • Access probability storage means for storing the access probability
  • the access probability calculation means for calculating the access probability based on the access history to the data, and storing the calculated access probability in the access probability storage means, and the access probability for the specified data Is estimated based on the access probability stored in the access probability storage means.
  • the access probability estimating means estimates the access probability of the data when the node corresponding to the designated data is not stored in the data storage destination storage means, and the access destination determining means A data access location selection characterized in that, when a node corresponding to designated data is not stored in the data storage destination storage means, a write destination of the data is determined based on the estimated access probability system.
  • Data storage destination storage in which a selection device that selects a data reading destination and / or a writing destination from at least one or more nodes storing data stores the data storage destination in association with the node
  • the reading destination and / or writing destination of the designated data is determined from the nodes corresponding to the data stored in the means, and the selection device performs reading and / or writing of data to each node.
  • An access probability indicating the probability of occurrence is calculated based on an access history to the data, the calculated access probability is stored in an access probability storage means, and the node corresponding to the designated data is stored in the data storage destination If not stored in the storage means, the access probability for the specified data is stored in the access probability storage means. And when the node corresponding to the specified data is not stored in the data storage destination storage means, the selecting device estimates the access probability based on the estimated access probability.
  • a data access location selection method characterized by determining a write destination.
  • Supplementary note 14 that determines, among the access probabilities recorded in the access probability recording means, a node that stores data of access probabilities within the range of the estimated access probability and a predetermined value as a data write destination The data access location selection method described.
  • An access destination determination process for determining a reading destination and / or a writing destination of data designated from among the nodes corresponding to the data stored in the data storage destination storage means for storing the storage destination in association with the node;
  • An access probability calculation process for calculating an access probability indicating a probability that data is read from and / or written to a node based on an access history to data, and storing the calculated access probability in an access probability storage unit; and , The access probability for the specified data, the access probability When an access probability estimation process that estimates based on the access probability stored in the storage means is executed, and the node corresponding to the specified data is not stored in the data storage destination storage means in the access probability estimation process, When the access probability of the data is estimated, and the node corresponding to the specified data is not stored in the data storage destination storage unit
  • the present invention is preferably applied to a data access location selection system that selects a data reading destination and / or a writing destination in a distributed storage system. That is, the present invention can be applied to a distributed storage system that distributes and stores data in a plurality of computers, and can also be applied to all IT systems that can use them.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　アクセス先決定手段は、指定されたデータの読み取り先および／または書き込み先をデータ格納先記憶手段に記憶されているデータに対応するノードの中から決定する。アクセス確率算出手段は、データへのアクセス履歴に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させる。指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、アクセス確率推定手段は、アクセス確率記憶手段に記憶されたアクセス確率に基づいてそのデータのアクセス確率を推定し、アクセス先決定手段は、推定されたアクセス確率をもとにそのデータの書き込み先を決定する。

Description

データアクセス場所選択システム、方法およびプログラム
　本発明は、分散ストレージシステムにおいて、データの読み取り先および／または書き込み先を選択するデータアクセス場所選択システム、データアクセス場所選択方法及びデータアクセス場所選択プログラムに関する。
　近年、コンピュータシステムが扱うデータ量が増大している。そのため、大規模なコンピュータシステムにおいては、複数のストレージノードにデータを分散して格納する分散ストレージシステムが利用されている。
　その一方で、コンピュータシステムやストレージシステムが大規模化することにより、コンピュータシステムの消費電力量が問題になりつつある。
　そのため、ディスク装置の回転速度を変更したり、ディスクを停止したりすることによりストレージシステムの省電力化が試みられている。このような仕組みを用いた技術の例が、特許文献１に記載されている。特許文献１に記載された方法では、ディスク装置にアクセスしない場合にディスク装置を停止させることで、システムの消費電力量を削減している。
　また、分散ストレージシステムにおいて、分散ストレージノードへのアクセス統計情報をもとに算出された無アクセス確率を利用して、データの再配置を行うシステムが特許文献２に記載されている。特許文献２に記載されたシステムでは、無アクセス時間の期待値が高くなるようにデータ配置を行うことにより、個々ディスクノードが省電力モードになる時間を長くすることができる。
　さらに、特許文献３には、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）負荷を適切に分散する計算機システムが記載されている。特許文献３に記載された計算機システムでは、各統合デバイスに対するＩ／Ｏアクセス頻度の平均を、Ｉ／Ｏアクセス頻度の予想値として算出する。
特表２００５－５３９３０３号公報（段落００２３） 特開２００９－１５７５７１号公報（段落００９７～０１０２） 特開２００８－５９３１５号公報（段落０１９４，０１９８、図１２，２２）
　ある計算機ノードのディスクにアクセスが一定期間無い場合にディスクを停止させるなどの省電力化制御を、例えば、特許文献１に記載された方法を用いて行ったとする。しかし、ディスク停止処理の直後に該当ノードへのアクセスがあった場合、ディスクの再回転やノードの再起動などが発生することになる。そのため、ディスクの再回転やノードの再起動により、かえって電力コストが増大してしまう。さらに、クライアント側では、アクセス待ちによる稼働時間も増大するため、電力消費量がさらに増大してしまう。
　このように、特許文献１に記載された方法では、分散システムの構成ノードの動作状態制御を適切に行うことができず、過剰な電力消費を発生させてしまう恐れがある。
　また、特許文献２に記載されたシステムを用いた場合、新たなデータの登録後に算出される無アクセス確率に基づいてデータが再配置されることになる。そのため、一旦登録されたデータであっても、算出される確率に基づいて移動させられる蓋然性が高く、その場合には移動コストがかかってしまうという問題がある。ハードディスクドライブ（以下、ＨＤＤと記す。）などの記憶装置においては、近年大容量化が進んでいるため、データのコピーには長い時間が必要であり、その分余剰な電力消費が発生しまうことになる。
　また、特許文献３に記載された計算機システムでは、新たに追加されるデータについてのアクセス頻度は考慮されておらず、また、既存のストレージのアクセス状態によって新たなデータの記憶先が決定される。このように、新たなデータのアクセス頻度が考慮されずに記憶されてしまうと、そのデータを記憶するノードを適切に制御することが出来ず、結果として、データアクセスに係る消費電力が増大してしまうという結果につながる。そのため、新たなデータが追加されるような場合であっても、データアクセスに係る電力消費を適切に抑制できるようにすることが望ましい。
　そこで、本発明は、分散ストレージシステムにおいて、新たなデータが追加されるような場合であっても、データアクセスに係る電力消費を抑制できるデータアクセス場所選択システム、データアクセス場所選択方法及びデータアクセス場所選択プログラムを提供することを目的とする。
　本発明によるデータアクセス場所選択システムは、データを格納する少なくとも１つ以上のノードと、データの読み取り先および／または書き込み先をノードの中から選択する管理サーバとを備え、管理サーバが、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段と、指定されたデータの読み取り先および／または書き込み先を、データ格納先記憶手段に記憶されているそのデータに対応するノードの中から決定するアクセス先決定手段と、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段と、データへのアクセス履歴に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出手段と、指定されたデータに対するアクセス確率を、アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段とを備え、アクセス確率推定手段が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、そのデータのアクセス確率を推定し、アクセス先決定手段は、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、推定されたアクセス確率をもとにそのデータの書き込み先を決定することを特徴とする。なお、「読み取りおよび／または書き込み」とは、「読み取り」、「書き込み」、または「読み取りと書き込みの双方」を表す。
　本発明による他のデータアクセス場所選択システムは、データを格納する複数のノードを備え、各ノードが、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段と、指定されたデータの読み取り先および／または書き込み先を、データ格納先記憶手段に記憶されているそのデータに対応するノードの中から決定するアクセス先決定手段と、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段と、データへのアクセス履歴に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出手段と、指定されたデータに対するアクセス確率を、アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段とを備え、アクセス確率推定手段が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、そのデータのアクセス確率を推定し、アクセス先決定手段が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、推定されたアクセス確率をもとにそのデータの書き込み先を決定することを特徴とする。
　本発明によるデータアクセス場所選択方法は、データを格納する少なくとも１つ以上のノードの中から、データの読み取り先および／または書き込み先を選択する選択装置が、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段に記憶されているそのデータに対応するノードの中から指定されたデータの読み取り先および／または書き込み先を決定し、選択装置が、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率をデータへのアクセス履歴に基づいて算出し、算出されたアクセス確率をアクセス確率記憶手段に記憶させ、選択装置が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、指定されたデータに対するアクセス確率をアクセス確率記憶手段に記憶されたアクセス確率に基づいて推定し、選択装置が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、推定されたアクセス確率をもとにそのデータの書き込み先を決定することを特徴とする。
　本発明によるデータアクセス場所選択プログラムは、データを格納する少なくとも１つ以上のノードの中から、データの読み取り先および／または書き込み先を選択するコンピュータに適用されるデータアクセス場所選択プログラムであって、コンピュータに、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段に記憶されているそのデータに対応するノードの中から指定されたデータの読み取り先および／または書き込み先を決定するアクセス先決定処理、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率をデータへのアクセス履歴に基づいて算出し、算出されたアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出処理、および、指定されたデータに対するアクセス確率を、アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定処理を実行させ、アクセス確率推定処理で、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、そのデータのアクセス確率を推定させ、アクセス先決定処理で、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、推定されたアクセス確率をもとにそのデータの書き込み先を決定させることを特徴とする。
　本発明によれば、分散ストレージシステムにおいて新たなデータが追加されるような場合であっても、データアクセスに係る電力消費を抑制できる。
本発明によるデータアクセス場所選択システムの一実施形態を示す説明図である。 データアクセス場所選択システムの例を示すブロック図である。 データの格納先がテーブル形式で記憶された場合の例を示す説明図である。 アクセス要求命令の履歴の一例を示す説明図である。 アクセス確率の例を示す説明図である。 アプリケーションＸがデータアクセスする動作の例を示す説明図である。 ノードの動作状態の例を示す説明図である。 本発明におけるデータアクセス処理の例を示すフローチャートである。 本発明によるデータアクセス場所選択システムの最小構成の例を示すブロック図である。 本発明によるデータアクセス場所選択装置の最小構成の例を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。以下の説明では、本発明によるデータアクセス場所選択システムを、複数の計算機ノードから構成される分散ストレージシステムに適用する場合について説明する。
　図１は、本発明によるデータアクセス場所選択システムの一実施形態を示す説明図である。本発明におけるデータアクセス場所選択システムは、分散ノード１０１～１０４と、情報管理制御装置３００と、データアクセス要求ノード４００とを備えている。分散ノード１０１～１０４と、情報管理制御装置３００と、データアクセス要求ノード４００とは、通信ネットワーク２００を介してそれぞれ接続される。
　分散ノード１０１～１０４は、分散ストレージシステムに用いられる計算機であり、それぞれ単数又は複数の記憶装置１１１～１１４を備えている。また、分散ノード１０１～１０４は、動作状態の制御が可能な要素（以下、被制御要素と記す。）を備えている。この被制御要素とは、分散ノードに用いられる各装置のことであり、例えば、演算装置であるＣＰＵ、ＨＤＤ、計算機の電源装置などが挙げられる。また、動作状態の制御とは、各被制御要素が行う動作に対して制御指示を行うことであり、例えば、ＣＰＵの回転数を下げる、ＨＤＤの回転数を下げる、ＣＰＵを停止させる、ＨＤＤを停止させる、電源装置に電源を落とさせる、などが挙げられる。
　情報管理制御装置３００は、分散ストレージシステムにおいて格納されるデータの配置場所を決定するための情報を保持し、その情報を管理する機能を備える装置である。情報管理制御装置３００の役割は、例えば、分散ストレージシステムの一例である分散ファイルシステムにおいて、ファイルのデータブロックをどの分散ノードに格納するかを管理し、そのデータブロックを追跡することに責任を持つメタデータサーバの役割に相当する。
　なお、メタデータサーバを備える分散ファイルシステムについては、以下の参考文献に記載されている。
　［参考文献］
　特開２００３－５２２３６０号公報
　データアクセス要求ノード４００は、分散ストレージシステムに対してデータアクセスを行い、アクセスしたデータを用いて任意の演算を行う計算機ノードである。このデータアクセスには、データの読み取り処理、データの書き込み処理、または、データの読み取りと書き込みの双方のいずれかが含まれる。なお、書き込み処理は、新規データの書き込み処理の他、既存データの更新処理及び削除処理を含む。データアクセス要求ノード４００は、分散ノード１０１～１０４とは別の計算機ノードであってもよく、また、分散ノード１０１～１０４自身がデータアクセス要求ノード４００として動作しても（すなわち、データアクセス及び演算を行っても）よい。以下の説明では、データアクセス要求ノード４００と、分散ノード１０１～１０４とが、別の計算機ノードで実現されている場合について説明する。
　分散ノード１０１～１０４、情報管理制御装置３００、および、データアクセス要求ノード４００は、例えば、ＣＰＵ、半導体メモリ、通信インタフェースなどを備えるＩＡ（Ｉｎｔｅｌ　Ａｒｃｈｉｔｅｃｔｕｒｅ）サーバにより実現される。ただし、Ｉｎｔｅｌは、登録商標である。
　図１に示す例では、データアクセス場所選択システムが分散ノード１０１から分散ノード１０４まで４台の分散ノードを備えている場合について示している。ただし、分散ノードの個数は４つに限定されず、２台以上存在すればよい。また、図１に示す例では、各分散ノードが２つの記憶装置を備えている場合について示しているが、記憶装置の個数は、２つに限定されない。記憶装置の個数は、１台であってもよく、３台以上であってもよい。なお、分散ノード１０１～１０４までの機能は同様であるため、以下の説明では、分散ノード１０１を対象として説明する。
　図２は、データアクセス場所選択システムの例を示すブロック図である。本発明によるデータアクセス場所選択システムは、分散データ保持アクセス手段１、情報管理制御手段３０１、および、データアクセス要求手段４０１により実現される。
　以下の説明では、分散データ保持アクセス手段１が図１における各分散ノード１０１において、情報管理制御手段３０１が図１における情報管理制御装置３００において、データアクセス要求手段４０１が図１におけるデータアクセス要求ノード４００において、それぞれ動作する場合について説明する。ただし、各手段（より詳しくは、分散データ保持アクセス手段１、情報管理制御手段３０１、および、データアクセス要求手段４０１）が動作する装置は、上記装置に限定されない。
　例えば、図２に示す例では、情報管理制御手段３０１が分散ノード１０１と異なる装置（情報管理制御装置３００）において動作する場合について示している。ただし、情報管理制御手段３０１は、分散ノード１０１～１０４のうちの１つ又は複数の計算機において動作してもよい。具体的には、情報管理制御手段３０１として動作させるためのプログラム（ソフトウェア）を分散ノード１０１～１０４上に記憶させ、例えば、ＣＰＵがそのプログラムに従って動作するようにしてもよい。すなわち、本実施形態によるデータアクセス場所選択システムが、複数の分散ノードを備えるようにしてもよい。
　分散データ保持アクセス手段１は、データアクセス処理手段１１と、記憶装置１２と、被制御対象装置１３と、分散ノード制御手段１４とを備えている。上述の被制御要素が、図２における被制御対象装置１３に相当する。
　記憶装置１２は、分散ストレージシステムにおいて対象とされるデータを記憶する。なお、図１に例示する記憶装置１１１が、記憶装置１２に相当する。記憶装置１２は、例えば、ＨＤＤやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、半導体メモリなどの記憶媒体により実現される。
　データアクセス処理手段１１は、データアクセス要求手段４０１からのデータアクセス要求を受け付ける。そして、データアクセス処理手段１１は、記憶装置１２にアクセスして要求対象のデータを読み取り、データアクセス要求手段４０１に結果を応答する。
　被制御対象装置１３は、動作状態の制御が可能な装置（すなわち、被制御要素）である。具体的には、被制御対象装置１３は、分散データ保持アクセス手段１において、動作状態の制御が可能なハードウェア装置を示す。被制御対象装置１３は、例えば、ＣＰＵなどの演算装置、余剰な通信インタフェースなどである。なお、記憶装置１２も、被制御要素１２の一つであるが、図２に示す例では、被制御対象装置１３を記憶装置１２と別に示している。
　分散ノード制御手段１４は、動作状態の制御が可能な装置（具体的には、被制御要素である記憶装置１２及び被制御対象装置１３）に対して制御指示を行う。なお、制御指示の内容は、例えば、被制御要素の説明で例示した内容である。
　データアクセス要求手段４０１は、アクセス先問い合わせ手段４１と、データアクセス手段４２とを備えている。アクセス先問い合わせ手段４１は、読み取るデータの読み込み先情報（例えば、データが記憶された分散ノードを表す情報）や、書き込みを行うデータの書き込み先情報（例えば、データを記憶する分散ノードを表す情報）を情報管理制御手段３０１に問い合わせ、その問合せ結果（以下、アクセス先情報と記す。）を受け取る。以下、データアクセス要求手段４０１が情報管理制御手段３０１に対してアクセス先を問い合わせる要求のことを、データアクセス要求命令と記す。
　データアクセス手段４２は、アクセス先問い合わせ手段４１がアクセス先情報を受け取ると、そのアクセス先である分散ノード１０１に対してデータアクセスを行う。具体的には、データアクセス手段４２は、分散ノード１０１の記憶装置１２に対して行いたいアクセス処理（例えば、データの書き込み処理や、読み取り処理）を、データアクセス処理手段１１に要求する。なお、以下の説明では、データの書き込むことをＷｒｉｔｅ、データを読み取ることをＲｅａｄと記すこともある。
　情報管理制御手段３０１は、データ格納場所管理手段３１と、データ格納場所管理情報記録装置３２と、アクセス確率取得手段３３と、アクセス確率算出記録手段３４と、アクセス確率記録装置３５と、制御指示命令手段３６と、データ暫定確率生成手段３７と、ノード動作状態記録装置３８と、アクセス受付手段３９と、履歴記憶装置５０と、アクセス履歴記録手段５１とを備えている。
　アクセス受付手段３９は、データアクセス要求手段４０１からのデータアクセス要求命令を受け付ける。そして、アクセス受付手段３９は、データ格納場所管理手段３１にアクセス先の選択を依頼し、選択結果をデータアクセス要求手段４０１に送信する。
　ここで、データアクセス要求命令には、データを識別する情報、実行命令、及び実行に必要なデータが含まれる。アクセス受付手段３９は、例えば、「ファイルＡをＲｅａｄする」、「ファイルＢにデータ”ＸＸＸＸ”をＷｒｉｔｅする」のようなデータアクセス要求命令を受け付ける。この場合、「Ｒｅａｄする」や「Ｗｒｉｔｅする」が実行命令に相当する。また、実行に必要なデータとして、例えば、Ｗｒｉｔｅコマンドにおけるデータが挙げられる。なお、このデータは、ＳＣＳＩ（Small Computer System Interface ）では、データ・フェーズにおいてイニシエータからターゲットに転送されるデータに相当する。ＳＣＳＩプロトコルをＴＣＰ／ＩＰ上で使用する規格であるｉＳＣＳＩでは、実行命令であるＷｒｉｔｅコマンドがＳＣＳＩ　Ｃｏｍｍａｎｄ　ＰＤＵ内で送信され、Ｗｒｉｔｅコマンドのデータは、ＳＣＳＩ　ＤＡＴＡ　Ｏｕｔ　ＰＤＵで送信される。また、データを識別する情報は、Ｗｒｉｔｅ先のブロックアドレス等が相当し、Ｗｒｉｔｅコマンド内に含まれる。また、例えば、分散ＫｅｙＶａｌｕｅＳｒｏｒｅシステムにおいては、ｐｕｔ、ｐｕｔの際のＫｅｙ及びＫｅｙに関連付けられて格納されるＶａｌｕｅが、データアクセス要求命令に含まれる。このとき、ｐｕｔが実行命令であり、Ｋｅｙがデータを識別する情報、Ｖａｌｕｅが必要なデータである。
　データ格納場所管理情報記録装置３２は、分散ストレージシステムで保持管理するデータの格納先を記憶する。具体的には、データ格納場所管理情報記録装置３２は、データの格納先を分散ノード１０１と対応付けて記憶する。データ格納場所管理情報記録装置３２が記憶するデータの格納先は、後述のデータ格納場所管理手段３１により記憶される。なお、既に分散ノード１０１に記憶されているデータの格納先については、例えば、ユーザ等により予めデータ格納場所管理情報記録装置３２に記憶させておいてもよい。
　また、データ格納場所管理情報記録装置３２が記憶する内容は、例えば、「／ｈｏｍｅ／ｎｏｄｅ１」以下のディレクトリおよびファイルを分散ノード１０１に、「／ｈｏｍｅ／ｎｏｄｅ２」以下のディレクトリおよびファイルを分散ノード１０２に格納するといったルールを示す情報であってもよい。データ格納場所管理情報記録装置３２は、磁気ディスクなど、任意の記録媒体により実現される。
　データ格納場所管理手段３１は、分散ストレージシステムで保持管理するデータの実格納先を管理し、アクセス受付手段３９のアクセス要求において指定されたデータのアクセス先を決定する。具体的には、指定されたデータに対応する分散ノードの情報がデータ格納場所管理情報記録装置３２に記憶されている場合、データ格納場所管理手段３１は、指定されたデータに対応する分散ノードの中からデータの読み取り先および／または書き込み先を決定する。
　例えば、データ格納場所管理情報記録装置３２がデータベースソフトウェアで定められたテーブル形式でデータの格納先を記憶している場合、データ格納場所管理手段３１は、そのテーブルに対する検索処理を行うことで、データの格納先の検索を行ってもよい。
　図３は、データの格納先がテーブル形式で記憶された場合の例を示す説明図である。図３に示す例では、データ格納場所管理情報記録装置３２がデータを識別するファイル名と、そのファイルを格納しているノードとを対応付けて記憶していることを示す。また、図３に示す例では、データをファイル単位で複数のノードに分散して格納していることを示す。なお、分散ノード１０１，分散ノード１０２，分散ノード１０３及び分散ノード１０４には、それぞれ、ｎｏｄｅ１，ｎｏｄｅ２，ｎｏｄｅ３及びｎｏｄｅ４というノード名が付与されているものとする。
　例えば、図３に例示するファイル「／ｈｏｍｅ／ａ．ｔｘｔ」は、ｎｏｄｅ１及びｎｏｄｅ２に格納されていることを示す。ここで、ファイル「／ｈｏｍｅ／ａ．ｔｘｔ」が格納されているノードを知りたい場合、データ格納場所管理手段３１は、「ファイル名」カラムから「／ｈｏｍｅ／ａ．ｔｘｔ」の行を検索し、検索したデータの「ノード」カラムから対応するノードを特定すればよい。
　なお、データ格納場所管理情報記録装置３２がデータベースソフトウェアで定められたテーブル形式でデータの格納先を記憶している場合、データ格納場所管理手段３１は、そのテーブルに対する追加処理、更新処理を行うことで、データの格納先の更新を行ってもよい。例えば、ファイルの格納場所を変更したい場合、データ格納場所管理手段３１は、実データの格納場所をコピーして移行する処理に併せ、テーブル内の対応するレコードを書き換えればよい。さらに、新たなファイルを格納する場合、データ格納場所管理手段３１は、新たなデータの格納場所を示すレコードをテーブルに追加すればよい。
　上記説明では、データの格納先を、ファイル名とノード名との組合せでデータ格納場所管理情報記録装置３２に記憶する場合について説明した。ただし、データ格納場所管理情報記録装置３２が記憶する形式は、上記形式に限定されない。データ格納場所管理情報記録装置３２は、例えば、ノード名リスト情報とハッシュ関数とを記憶していてもよい。この場合、データ格納場所管理手段３１は、コンシステントハッシング法で算出した格納ノード先をデータの読み取り先および／または書き込み先と決定してもよい。
　一方、指定されたデータに対応する分散ノードの情報がデータ格納場所管理情報記録装置３２に記憶されていない場合、後述のデータ暫定確率生成手段３７の処理結果をもとに、データの読み取り先および／または書き込み先を決定する。なお、本処理については後述する。
　アクセス履歴記録手段５１は、アクセス受付手段３９が受け付けたアクセス要求命令の内容を履歴として履歴記憶装置５０に記憶させる。履歴記憶装置５０は、アクセス履歴記録手段５１の指示に応じ、アクセス要求命令の履歴を記憶する。履歴記憶装置５０は、例えば、磁気ディスク等の記録媒体により実現される。
　アクセス履歴記録手段５１は、アクセス要求命令の履歴を、例えば、ジャーナルログとして履歴記憶装置５０に記憶させてもよく、図４に例示するテーブル形式で履歴記憶装置５０に記憶させてもよい。図４は、アクセス履歴記録手段５１が記憶するアクセス要求命令の履歴の一例を示す説明図である。図４に示す例では、実行命令が読み取り指示か書き込み指示か（図４における「Ｒｅａｄ　ｏｒ　Ｗｒｉｔｅ」）、どのファイルに対して指示が行われたか（図４における「ｄｅｓｔ（ファイル名）」、及び、その指示がいつ行われたか（図４における「ｔｉｍｅ」）を対応付けてアクセス要求命令の履歴を記憶していることを示す。
　なお、アクセス履歴記録手段５１は、アクセス受付手段３９が受け付けたアクセス要求命令の全ての履歴を履歴記憶装置５０に記憶させなくてもよい。アクセス履歴記録手段５１は、アクセス要求命令の一部をサンプリングして履歴記憶装置５０に記憶させてもよい。
　アクセス確率記録装置３５は、各分散ノードに記憶されたデータの読み取りおよび／または書き込みが行われる確率を表すアクセス確率を記憶する。アクセス確率記録装置３５には、後述のアクセス確率算出記録手段３４又はデータ暫定確率生成手段３７が算出したアクセス確率が記憶される。アクセス確率記録装置３５は、例えば、磁気ディスク等の任意の記録媒体により実現される。
　アクセス確率算出記録手段３４は、データに対するアクセス履歴に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記録装置３５に記憶させる。具体的には、アクセス確率算出記録手段３４は、履歴記憶装置５０が記憶するアクセス要求命令の履歴を参照し、同一ファイル名に対するアクセス履歴の情報をもとにアクセス確率を算出する。アクセス確率は、アクセス履歴に基づいて算出されることから、各ファイルがアクセスされる度合いを表す情報であるとも言える。
　アクセス確率算出記録手段３４は、例えば、データが記憶されてからの期間でそのデータのアクセス回数を割ることにより、アクセス確率を算出してもよい。例えば、アクセス確率算出記録手段３４が、ファイル「／ｈｏｍｅ／ａ．ｔｘｔ」が生成された時点からの経過日数を分母とし、０時から１２時までの間に発生したＲＥＡＤアクセス回数を分子として計算することにより、０時から１２時までの間にＲＥＡＤアクセスが発生するアクセス確率を算出することができる。
　図５は、アクセス確率の例を示す説明図である。図５に示す例では、アクセス確率記録装置３５が、各ファイル名によって特定されるデータに対し、時間帯別のアクセス確率と、日付別のアクセス確率とを対応付けて記憶していることを示す。図５に示す例では、０時から１２時の間に、ファイル「／ｈｏｍｅ／ａ．ｔｘｔ」に対して、ＲＥＡＤアクセスが発生する確率が１０％であり、Ｗｒｉｔｅアクセスが発生する確率が０％であることを示す。例えば、１０日に１度の割合で午前３時にＲＥＡＤアクセスが起きるようなファイルの場合、アクセス確率は、上記確率になる。
　また、図５に示す例では、ファイル「／ｈｏｍｅ／ａ．ｔｘｔ」に対して、月の上旬にＲＥＡＤアクセスが発生する確率が１００％であり、月の中旬及び下旬にＲＥＡＤアクセスが発生する確率は０％である。このことから、ファイル「／ｈｏｍｅ／ａ．ｔｘｔ」は、月の上旬（例えば、１日～１０日）に、３．３日に１度程度の割合でＲＥＡＤアクセスが起きるファイルであることがわかる。
　なお、図５に示す例では、アクセス確率記録装置３５が月の上旬、中旬及び下旬の期間でアクセス確率を記憶する場合について説明した。ただし、アクセス確率を記憶させる期間は、上記期間に限定されない。例えば、アクセス確率算出記録手段３４が、１年を４つの期間（例えば、１Ｑ，２Ｑ，３Ｑ，４Ｑなどの期間）に分けてアクセス確率を算出し、アクセス確率記録装置３５にそれぞれの期間ごとのアクセス確率を記憶させてもよい。また、アクセス確率算出記録手段３４が、月ごと（すなわち、１月～１２月の期間）にアクセス確率を算出し、月ごとのアクセス確率をアクセス確率記録装置３５に記憶させてもよい。
　また、アクセス確率算出記録手段３４は、所定の期間内にデータアクセスが行われた回数（以下、アクセス回数と記す。）を示す情報を、アクセス確率記録装置３５に記憶させてもよい。アクセス確率算出記録手段３４は、例えば、単位時間以内のアクセス回数が既定値以上になった場合に、そのアクセス回数をアクセス確率記録装置３５に記憶させてもよい。
　また、アクセス確率算出記録手段３４は、アクセス確率とアクセス回数とにより算出される情報（以下、評価値と記す。）をアクセス確率記録装置３５に記憶させてもよい。例えば、アクセス確率算出記録手段３４は、アクセス確率にアクセス回数を乗じた値を評価値として算出し、算出した評価値をアクセス確率記録装置３５に記憶させてもよい。
　以下、具体例を用いて、評価値の算出方法について説明する。例えば、ある規定時間帯のアクセス確率が１０％であるとする。このとき、平均アクセス回数１００回のファイルと、１回のファイルではアクセス特性が異なる。そこで、アクセス確率算出記録手段３４は、平均アクセス回数１００回のファイルの評価値を、１／１０×１００＝１０と算出し、平均アクセス回数１回のファイルの評価値を、１／１０×１＝０．１と算出する。そして、アクセス確率算出記録手段３４は、算出した評価値を対象のファイルと対応付けてアクセス確率記録装置３５に記憶させる。
　このように評価値を算出することにより、アクセス確率が同一であっても、アクセス特性が異なるファイルを区別することが可能になる。なお、評価値の算出方法は、上記方法に限定されない。以上のことから、評価値とは、データへのアクセス特性を示す情報であると言うことができる。
　また、データ格納場所管理情報記録装置３２の場合と同様、アクセス確率記録装置３５は、データベースソフトウェアで定められたテーブル形式でデータの格納先を記憶していてもよい。この場合、アクセス確率算出記録手段３４は、そのテーブルに対する検索処理や追加処理、更新処理を行うことで、アクセス確率の検索や更新を行ってもよい。
　アクセス確率取得手段３３は、各データにおけるアクセス確率の取得要求をデータ暫定確率生成手段３７から受け付ける。そして、アクセス確率取得手段３３は、指定されたデータに対応するアクセス確率をアクセス確率記録装置３５から検索及び取得し、取得したアクセス確率をデータ暫定確率生成手段３７に送信する。
　データ暫定確率生成手段３７は、指定されたデータに対応する分散ノードがデータ格納場所管理情報記録装置３２に記憶されていない場合、分散ノードの記憶装置１２に対して新規に格納されるデータの暫定的なアクセス確率を算出する。以下、暫定的なアクセス確率を算出することを、アクセス確率を推定すると記すこともある。
　以下、暫定的なアクセス確率の算出方法について具体的に説明する。データａがアクセスされてからｓ秒後にデータｂがアクセスされる共起確率をＰｓ（ｂ：ａ）としたとき、共起確率Ｐｓ（ｂ：ａ）は、以下の式１を用いて算出される。なお、データｂがアクセスされた回数は、履歴記憶装置５０に記憶されたアクセス履歴から抽出可能である。
　Ｐｓ（ｂ：ａ）＝データａがアクセスされたｓ秒後にデータｂがアクセスされた回数／データａがアクセスされた総回数　　（式１）
　よって、データａがアクセスされてからｔ秒後までにデータｂがアクセスされる確率Ｐｔ（ｂ：ａ）は、ΣＰｓ（ｂ：ａ）になる。
　さらに、データ暫定確率生成手段３７は、集合Ｗの中から選択されたデータ集合Ａ｛ａ，ｂ，・・・，ｎ｝がｔ秒後までにアクセスされる確率をＰｔ（Ａ：Ｗ）としたとき、確率Ｐｔ（Ａ：Ｗ）を、以下の式２を用いて算出してもよい。
　Ｐｔ（Ａ：Ｗ）＝Ｐｔ（ａ：Ｗ）＋Ｐｔ（ｂ：Ｗ）＋・・・＋Ｐｔ（ｎ：Ｗ）（式２）
　ここで、集合Ｗを、システム全体において今までのアクセスデータ全てを対象としてもよく、システム全体において直近のｘ秒以内のアクセスデータ全てを対象としてもよい。さらに、あるノードに対するアクセスデータを集合Ｗとしてもよく、相関マイニングで共起関係にあるデータのみを集合Ｗ（それ以外のデータの確率は０にする、など）としてもよい。なお、集合Ｗは、データ量や、確率の計算に要する時間などを考慮し、予め定めておけばよい。
　以上のように、データ暫定確率生成手段３７が、データへのアクセス履歴及びアクセス確率に基づいて共起確率を算出することにより、指定されたデータに対するアクセス確率を推定できる。データ暫定確率生成手段３７は、このように算出した共起確率を暫定的なアクセス確率としてもよい。ただし、アクセス確率の算出方法は、上記方法に限定されない。
　例えば、データ暫定確率生成手段３７は、新規に作成するファイルの属性に着目して暫定的なアクセス確率を算出してもよい。以下、具体例を用いて、暫定的なアクセス確率を算出する方法について説明する。ここでは、「／ｈｏｍｅ／ｘ．ｌｏｇ」という名前のファイルを新規に作成し、ファイル「／ｈｏｍｅ／ｘ．ｌｏｇ」の将来的なアクセス確率として、暫定的なアクセス確率を算出する場合について説明する。
　まず、ファイル「／ｈｏｍｅ／ｘ．ｌｏｇ」の拡張子「ｌｏｇ」に着目し、データ暫定確率生成手段３７は、アクセス確率取得手段３３に対し、拡張子が「ｌｏｇ」であるファイルのアクセス確率をアクセス確率記録装置３５から全て取得するように依頼する。データ暫定確率生成手段３７は、得られたｌｏｇファイル全てのアクセス確率を平均し、平均した結果をファイル「／ｈｏｍｅ／ｘ．ｌｏｇ」の暫定的なアクセス確率とする。そして、データ暫定確率生成手段３７は、暫定的なアクセス確率をアクセス確率記録装置３５に記憶させる。
　なお、上記説明では、拡張子に基づいて暫定的なアクセス確率を算出する方法について説明した。さらに、データ暫定確率生成手段３７は、拡張子だけでなく、ディレクトリパス（例えば、「／ｈｏｍｅ」）を考慮に入れてもよい。この場合、データ暫定確率生成手段３７は、アクセス確率取得手段３３に対し、拡張子が「ｌｏｇ」であり、かつ、ディレクトリパス「／ｈｏｍｅ」に格納されるファイルのアクセス確率をアクセス確率記録装置３５から全て取得するように依頼してもよい。この場合、データ暫定確率生成手段３７は、得られたアクセス確率の平均をファイル「／ｈｏｍｅ／ｘ．ｌｏｇ」の暫定的なアクセス確率としてもよい。
　また、データ暫定確率生成手段３７は、暫定的なアクセス確率を算出する際、ファイル名やファイルの格納場所ではなく、そのファイルに対するデータアクセスを行った（すなわち、ファイルの呼び出し元の）アプリケーションを考慮に入れてもよい。この場合、データ暫定確率生成手段３７は、アクセス確率取得手段３３に対し、データアクセスを行ったアプリケーション名が同一のアクセス確率をアクセス確率記録装置３５から全て取得するように依頼し、得られたアクセス確率の平均を暫定的なアクセス確率としてもよい。
　以下、ファイルにアクセスするアプリケーションを考慮して暫定的なアクセス確率を算出する場合について詳細に説明する。図６は、アプリケーションＸがデータアクセスする動作の例を示す説明図である。図６において丸で囲まれたＡ，Ｂ及びＣは、それぞれアプリケーションＸからアクセスされるデータを表す。また、図の左から右方向に向かって、アプリケーションＸがデータにアクセスする時間が経過していることを示す。
　図６に示すように、あるアプリケーションからアクセスされるデータは、時間的な相関性があると想定される。図６に示す例では、データＡがアクセスされた後にデータＢがアクセスされ、さらに、データＡ及びデータＢがアクセスされた後にデータＣがアクセスされるという相関性である。
　このような相関性から、同一のアプリケーションからアクセスされるデータは、同時にアクセスされる確率が高いと判断できる。そこで、データ暫定確率生成手段３７は、新たなデータに対し、アクセスしたアプリケーション名が同一のアクセス確率をもとに暫定的なアクセス確率を算出する。なお、暫定的なアクセス確率の算出方法は、例えば、共起確率を用いてアクセス確率を算出する方法を用いてもよい。
　なお、ファイルに対するデータアクセスを行ったアプリケーションに基づいたアクセス確率をデータ暫定確率生成手段３７が取得するために、アクセス確率記録装置３５は、ファイル名とともに、そのファイルに対するデータアクセスを行ったアプリケーション名を記憶しておけばよい。
　具体的には、データアクセス要求手段４０１からのデータアクセス要求にアプリケーション名を付与しておく。そして、アクセス受付手段３９が、そのデータアクセス要求を受け取ると、アクセス履歴記録手段５１が、アクセス受付手段３９が受け付けたアクセス要求命令の内容にアプリケーション名を付加した履歴を履歴記憶装置５０に記憶させる。そして、アクセス確率算出記録手段３４が、アクセス要求命令の履歴を用いてファイルのアクセス確率をアプリケーションごとに算出し、アクセス確率記録装置３５に記憶させる。なお、履歴記憶装置５０及びアクセス確率記録装置３５は、ファイル名とアプリケーション名とを対応付けて記憶すればよい。
　また、データ暫定確率生成手段３７は、アクセス確率の代わりに評価値を用いて、指定されたデータのアクセス確率を推定してもよい。なお、アクセス確率を評価値を用いて推定する方法は、アクセス確率記録装置３５に記憶されたアクセス確率を用いて推定する方法と同様の方法を用いればよい。
　このように、データ暫定確率生成手段３７は、指定されたデータに対するアクセス確率を、アクセス確率記録装置３５に記憶されたアクセス確率に基づいて推定する。そして、データ暫定確率生成手段３７は、推定したアクセス確率をアクセス確率記録装置３５に記憶させる。
　ここで、データ格納場所管理手段３１は、データ暫定確率生成手段３７が指定されたデータに対する暫定的なアクセス確率を算出すると、推定されたアクセス確率をもとにデータの書き込み先を決定する。データ格納場所管理手段３１は、アクセス確率記録装置３５に記録されたアクセス確率が、暫定的なアクセス確率と所定の値の範囲内にあるデータが格納されている分散ノードを、データの書き込み先と決定してもよい。
　具体的には、データ格納場所管理手段３１は、暫定的なアクセス確率に類似したデータ（例えば、アクセス確率の差が所定の範囲内のデータ）をアクセス確率記録装置３５から抽出する。次に、データ格納場所管理手段３１は、特定したデータが格納されている分散ノードをデータ格納場所管理情報記録装置３２から読み取る。そして、データ格納場所管理手段３１は、読み取った分散ノードをデータの格納場所（以下、配置場所と記すこともある。）として決定する。
　また、データ格納場所管理手段３１は、推定されたアクセス確率が最も高い、もしくは、所定のアクセス確率を超える時間帯に稼働している分散ノードをデータの書き込み先として決定してもよい。なお、稼働しているか否かについては、後述するスケジュール情報に基づいて判断される。
　なお、以下の説明では、ファイルアクセス要求命令が、ファイル名と実行命令とを含む場合について説明する。ただし、データアクセス要求手段４０１は、データの暫定的なアクセス確率を算出するアルゴリズムや、アクセス確率として管理保持したい形式に応じて、アクセス要求命令に必要な情報を付与すればよく、また、付与した情報に応じて命令形式を定義すればよい。なお、読み取りおよび／または書き込みを行う対象（以下、アクセス対象と記す）のデータと、そのアクセス内容を認識できる情報を含んでいれば、データアクセス要求手段４０１は、通常のファイルアクセスプロトコルを用いてもよい。
　ノード動作状態記録装置３８は、分散データ保持アクセス手段１が動作する計算機（すなわち分散ノード１０１～１０４）の動作状態を記憶する。図７は、ノードの動作状態の例を示す説明図である。ここで、ノードが正常稼働している状態を「ａｃｔｉｖｅ」と記す。また、ノードの低速状態（例えば、ディスクの回転数を落としている状態）を「ｌｏｗ　ｓｐｅｅｄ」と記す。また、ノードが停止している状態を「ｓｔａｎｄｂｙ」と記す。図７に示す例では、ｎｏｄｅ１，４が正常稼働、ｎｏｄｅ２が低速状態、ｎｏｄｅ３が停止状態であることを示す。
　ノード動作状態記録装置３８が記憶する動作状態は、後述の制御指示命令手段３６がノードの状態を変更する処理を行った際に更新される。なお、システム稼働開始の時点では、データアクセス場所選択システムに接続される全分散ノードを、例えば、停止状態として予めノード動作状態記録装置３８に記憶させておけばよい。なお、ノード動作状態記録装置３８はデータベースソフトウェアで定められたテーブル形式でノードの動作状態を記憶してもよい。
　制御指示命令手段３６は、データ格納場所管理情報記録装置３２と、アクセス確率記録装置３５に格納されている情報とを用いて、分散データ保持アクセス手段１に制御命令を発行する。ここで、制御命令とは、例えば、ディスクなどの計算機内の構成要素の動作状態を変更すること（具体的には、ディスクの回転数を下げたり、ＣＰＵのクロック数を下げたり、停止させたりすること）や、分散ノードの計算機全体を停止することなどが挙げられる。
　例えば、制御指示命令手段３６は、ノード動作状態記録装置３８の該当する動作状態を書き換えた後、各分散ノードに対して動作状態を変更する制御指示を行う。なお、各分散ノードがノード動作状態記録装置３８を備えていていてもよい。この場合、制御指示命令手段３６が、分散ノードの状態を変更する前に、情報管理制御手段３０１が備えるノード動作状態記録装置３８の該当する動作状態を書き換え、書き換えた動作状態を他の分散ノード１０１～１０４に通知する。各分散ノード１０１～１０４は、動作状態の更新後、制御指示命令手段３６に対して応答通知を発行する。制御指示命令手段３６は、全ての分散ノードから応答通知を受けたあと、動作状態を変更する制御指示を行う。
　このように、制御指示命令手段３６は、分散ノード制御手段１４に対して、分散データ保持アクセス手段１における被制御要素の動作状態を制御する指示を行う。なお、制御指示の内容は、被制御要素に応じて定義しておけばよい。
　ここで、制御指示命令手段３６は、以下に例示する方法を用いてノードの制御を行う。なお、以下の制御方法は例示であり、他の方法を用いてノードの制御を行ってもよい。
（１）アクセスの無いことが予想されるノードを停止する。
　これは、分散ノードが保持しているデータ全体に対するアクセス確率を一定期間ごとに算出し、アクセス確率が閾値以下のノードを停止させる方法である。
　この方法では、まず、アクセス確率算出記録手段３４が、定期的に一定期間のアクセス履歴を履歴記憶装置５０から読み取ってアクセス確率を算出し、算出結果をアクセス確率記録装置３５に記憶させる。制御指示命令手段３６は、データ格納場所管理情報記録装置３２及びアクセス確率記録装置３５を参照し、各分散ノードが保持するデータのアクセス確率の和を算出する。そして、制御指示命令手段３６は、算出したアクセス確率の和が閾値以下の分散ノードに対して停止指示を行う。
　なお、制御指示命令手段３６は、対象の分散ノードに対し、すぐに停止指示を行ってもよく、所定期間経過後に停止指示を行ってもよい。所定期間経過後に停止指示を行う場合、例えば、制御指示命令手段３６は、停止スケジュールを決定し、そのスケジュールに従って分散ノードに対する停止指示を行ってもよい。このとき、制御指示命令手段３６は、停止スケジュールを情報管理制御装置３００が備える任意の記憶装置（図示せず。以下、スケジュール記憶手段と記す。）に記憶させておいてもよい。なお、スケジュール記憶手段に記憶させる情報は、停止スケジュールに限定されず、分散ノードを起動させるスケジュールであってもよい。
　上記説明では、一定期間のアクセス確率をもとにデータアクセスが無いことが予想される分散ノードを特定し、その分散ノードを停止させる場合について説明した。なお、分散ノードを停止可能な状態として、以下のようなケースが挙げられる。
　例えば、ＲＥＡＤアクセスされるデータが、複数の分散ノードに保持されている場合、制御指示命令手段３６は、これらの分散ノードのうち、少なくとも１つの分散ノードを起動するように制御すればよい。このように、起動させる分散ノードを減少させることで、更なる省電力化が期待できる。
　また、アクセス先の分散ノードにＷｒｉｔｅアクセスを行わずに一旦別の分散ノードにＷｒｉｔｅアクセスを行い、その後、アクセス先の分散ノードに所定のタイミング（例えば、アクセス先の分散ノードが起動した後）でデータを移動させるとする。このような制御が行われる場合、制御指示命令手段３６は、Ｗｒｉｔｅアクセスを行う分散ノードを停止する制御を行ってもよい。このように、起動させる分散ノードを減少させることで、更なる省電力化が期待できる。
（２）あらかじめスケジューリングしておく。
　これは、あらかじめ各分散ノードの起動及び停止の時間帯を決めておく方法である。例えば、月曜日から金曜日には全てのノードを稼働させ、週末には半数ノードを停止させる、といった制御である。
　このような制御を行うことにより、総電力利用量を抑制し、例えば、週末の総電力利用量が一定量を超えないようにすることが可能になる。この方法を用いる場合、制御指示命令手段３６は、決められたスケジュールに従って、分散ノードへの起動命令及び停止命令を発行する。
　具体的には、制御指示命令手段３６は、期間ごとに算出したアクセス確率の和が閾値以下の分散ノードを特定した場合、スケジュール記憶手段（図示せず）に対して特定した分散ノードの停止スケジュールを設定する。そして、制御指示命令手段３６は、期間ごとに設定したスケジュールに従って、分散ノードの停止及び起動を行う。なお、設定した停止期間内にアクセス確率の高いデータが存在する場合、制御指示命令手段３６は、停止していない分散ノードにそのデータを転送する制御を行ってもよい。このように、アクセス確率をもとに決定されたスケジュールをスケジュール情報と記す。
　さらに、制御指示命令手段３６は、このスケジュール情報（すなわち、期間毎に起動する、停止するなどの情報）に基づいて、データの配置状態及びアクセス確率に応じて定期的にデータの再配置を行ってもよい。制御指示命令手段３６は、例えば、スケジュール情報をもとに、各分散ノードで停止可能な時間帯の候補を抽出する。そして、制御指示命令手段３６は、抽出した分散ノードにおいて、停止すると判断された時間帯にアクセス確率が所定の値を超えるデータを、別の分散ノードに再配置するよう、分散ノード制御手段１４に対して制御指示を行う。このようにすることで、更なる省電力化を図ることが出来る。
　また、制御指示命令手段３６は、高いアクセス確率が集中する分散ノードのデータを別の分散ノードに移動するよう制御指示を行い、移動先の分散ノードをその時間帯に稼働するように制御してもよい。このようにした場合には、性能向上を図ることが可能になる。
　データ格納場所管理手段３１と、アクセス確率取得手段３３と、アクセス確率算出記録手段３４と、制御指示命令手段３６と、データ暫定確率生成手段３７と、アクセス受付手段３９と、アクセス履歴記録手段５１とは、プログラム（データアクセス場所選択プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、情報管理制御装置３００の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、データ格納場所管理手段３１、アクセス確率取得手段３３、アクセス確率算出記録手段３４、制御指示命令手段３６、データ暫定確率生成手段３７、アクセス受付手段３９、及び、アクセス履歴記録手段５１として動作してもよい。
　また、データ格納場所管理手段３１と、アクセス確率取得手段３３と、アクセス確率算出記録手段３４と、制御指示命令手段３６と、データ暫定確率生成手段３７と、アクセス受付手段３９と、アクセス履歴記録手段５１とは、それぞれが専用のハードウェアで実現されていてもよい。
　次に、動作について説明する。図８は、本実施形態におけるデータアクセス処理の例を示すフローチャートである。データアクセス処理は、データアクセス要求手段４０１のアクセス先問い合わせ手段４１が情報管理制御手段３０１のアクセス受付手段３９に対して、アクセス要求命令を発行することで開始される。すなわち、まず、アクセス先問い合わせ手段４１が、アクセス受付手段３９に対して、アクセス要求命令を発行する。
　アクセス受付手段３９は、アクセス要求命令を受け付けると、データ格納場所管理手段３１にアクセス対象データが格納されている分散ノードを問い合わせる（ステップＳ１０１）。例えば、データ格納場所管理情報記録装置３２が図３に例示する内容を記憶している場合に、ファイル「／ｈｏｍｅ／ａ．ｔｘｔ」のアクセス先（すなわち、格納ノードの情報）は、ｎｏｄｅ１，ｎｏｄｅ２になる。
　次に、データ格納場所管理手段３１は、アクセス要求命令におけるアクセスの種類について判断する（ステップＳ１０２）。アクセスの種類がＷｒｉｔｅ処理の場合（ステップＳ１０２における「ｗｒｉｔｅ」）、ステップＳ１０３へ進み、ＲＥＡＤ処理である場合（ステップＳ１０２おける「Ｒｅａｄ」）、ステップＳ１０６に進む。なお、ＲＥＡＤ処理とは、データの読み取り処理のことを表し、Ｗｒｉｔｅ処理とは、データに対する書き込み処理の他、データの削除処理、データの更新処理、ファイルのクリエイト処理など、データの読み取り処理以外の処理のことを表す。
　アクセスの種類がＷｒｉｔｅ処理の場合、データ格納場所管理手段３１は、アクセス対象のデータが新規データか否かを判断する（ステップＳ１０３）。具体的には、データ格納場所管理手段３１は、アクセス要求命令が新規データのＷｒｉｔｅ処理か、アクセス対象ファイルに対する更新処理かを判断する。以下の説明では、データ格納場所管理情報記録装置３２にアクセス対象のファイル名が存在しない場合に新規データのＷｒｉｔｅ処理と判断され、ファイル名が存在する場合にアクセス対象ファイルに対する更新処理と判断されるものとする。
　新規データと判断された場合（ステップＳ１０３における「新規データ」）には、ステップＳ１０４に進み、更新処理と判断された場合（ステップＳ１０３における「更新」）にはステップＳ１０６へ進む。
　新規データであった場合、データ暫定確率生成手段３７は、新規データのアクセス処理要求命令に含まれる情報を用いて、その新規データの将来的なアクセス確率を推定する（ステップＳ１０４）。例えば、アクセス処理要求命令が、「／ｈｏｍｅ／ｅ．ｔｘｔというファイルを新規に作成する」という内容であった場合、データ暫定確率生成手段３７は、ファイル「／ｈｏｍｅ／ｅ．ｔｘｔ」のアクセス確率を推定する。すなわち、データ暫定確率生成手段３７は、暫定的なアクセス確率を算出する。なお、上記例では、「／ｈｏｍｅ／ｅ．ｔｘｔ」が、アクセス処理要求命令に含まれる情報に相当する。アクセス処理要求命令には、他にも、命令の発行元プログラム名やプロセス名、プログラムの実行ユーザ名などを含んでいてもよい。
　以下、アクセス処理要求命令が、「／ｈｏｍｅ／ｅ．ｔｘｔというファイルを新規に作成する」という内容であった場合の動作について説明する。まず、アクセス確率取得手段３３は、データ暫定確率生成手段３７の指示に応じ、アクセス確率記録装置３５から拡張子がｔｘｔであるファイルのアクセス確率を全て取得する。次に、データ暫定確率生成手段３７は、各アクセス確率の値をもとに平均値を算出し、その平均値をファイル「／ｈｏｍｅ／ｅ．ｔｘｔ」のアクセス確率として採用する。
　そして、データ暫定確率生成手段３７は、採用したアクセス確率をアクセス確率記録装置３５に記憶させる。また、データ暫定確率生成手段３７は、推定したアクセス確率をデータ格納場所管理手段３１に通知する。
　次に、データ格納場所管理手段３１は、通知された暫定的なアクセス確率からデータ配置場所を決定する（図８のステップＳ１０５）。データ格納場所管理手段３１は、例えば、暫定的なアクセス確率の値と類似したデータ（例えば、アクセス確率の差が一定値以内）と同一の分散ノードを選択し、その分散ノードをデータ配置場所と決定する。このような分散ノードを選択することにより、その分散ノードにデータアクセスを集中させることができる。このように、ある時間帯のアクセスを限られた分散ノードに集中させることによって、他の分散ノードを停止（または、動作状態を変更して省電力化）させることが可能になる。
　さらに、データ格納場所管理手段３１は、ノード動作状態記録装置３８の情報を参照し、正常稼働している分散ノードの中から書き込み先の分散ノードを選択するようにしてもよい。また、例えば、データ配置場所として決定した分散ノードが正常稼働していない場合、データ格納場所管理手段３１は、正常稼働している分散ノードを、一時的に書き込みを行う分散ノードと決定してもよい。なお、この場合、正常稼働していなかった分散ノードが正常稼働状態に戻ったときに、制御指示命令手段３６が、一時的に書き込みが行われた分散ノードに対し、正常稼働状態に戻った分散ノードへデータを移動するように制御指示を行う。このような制御を行うことで、可用性を確保しつつ、不要な分散ノードの稼働を抑制することが出来る。
　また、データ格納場所管理手段３１は、スケジュール記憶手段（図示せず）に記憶されたスケジュール情報に基づいてデータの配置場所を決定してもよい。具体的には、算出したデータのアクセス確率のうち、そのデータへのアクセスがある時間帯に正常稼働（すなわち、ａｃｔｉｖｅ）のノードをスケジュール記憶手段から読み取り、そのノードをデータの配置場所と決定してもよい。なお、起動中（正常稼働中）の分散ノードが複数ある場合、データ格納場所管理手段３１は、予め定めたロジックに基づいて、１つの分散ノードを決定すればよい。
　以下、スケジュール情報に基づいてデータの配置場所を決定する方法について、具体例を用いて説明する。例えば、３つの分散ノードｎｏｄｅ１，ｎｏｄｅ２，ｎｏｄｅ３の稼働スケジュールが、ｎｏｄｅ１については月曜，水曜，金曜に稼働、ｎｏｄｅ２については火曜，木曜，土曜に稼働、ｎｏｄｅ３については日曜に稼働、と設定されているとする。ここで、データＡが新規に作成され、その暫定的なアクセス確率によると、月曜日に集中してアクセスされるデータ（すなわち、月曜日のアクセス確率が突出して高いデータ）であることが分かったとする。この場合、データ格納場所管理手段３１は、ｎｏｄｅ１をデータＡの配置場所と決定する。
　スケジュール情報に基づいてデータの配置場所を決定する方法について、さらに、他の具体例を用いて説明する。新規に作成されたデータＡの暫定的なアクセス確率を算出した結果、平日の昼間のアクセス確率が高く、日曜日にまれにアクセスされるデータであることが分かったとする。また、このときの稼働スケジュールが、平日の昼間にはｎｏｄｅ１～１００の分散ノードが、平日の夜間にはｎｏｄｅ１～１０の分散ノードが、土日休日にはｎｏｄｅ１１～１５の分散ノードが稼働する、と設定されていたとする。この場合、データ格納場所管理手段３１は、ｎｏｄｅ１１～ｎｏｄｅ１５をデータＡの配置場所と決定する。なお、土日休日にアクセスされるデータが急増された場合、例えば、制御指示命令手段３６が、別途スケジュール情報を「土日休日にはｎｏｄｅ１１～２０の分散ノードが稼働する」と変更してもよい。
　上記説明では、アクセス確率が類似するファイルが格納された分散ノードの中から、データ配置場所を決定する場合について説明した。ただし、データの配置場所を決定する方法は、実装するシステムやファイルへのアクセス状況に応じて、種々の変更が可能である。
　例えば、データの書き込みを複数の分散ノードに行うシステムにおいて、最初に書き込みがされた後、読み取りばかりされるファイルが存在するとする。この場合、データ格納場所管理手段３１は、書き込み先の分散ノードのうち、少なくとも１つの分散ノードにアクセスを集中させるように分散ノードを決定してもよい。アクセスを集中させた分散ノードさえ稼働させておけば、他の書き込み先ノードを停止させた場合であっても、対象のデータに対して読み取り処理を行うことが可能だからである。
　なお、データ格納場所管理手段３１は、同一のアクセスパターンのファイルを別のノードに格納するように決定し、分散ストレージシステムの性能を確保するようにしてもよい。
　ステップＳ１０５の後はステップＳ１０７へ進む。
　ステップＳ１０２においてアクセスの種類がＲＥＡＤ処理であった場合、又は、ステップＳ１０３においてアクセス要求命令が更新処理であった場合、データ格納場所管理手段３１は、アクセス先の分散ノードを選択する（ステップＳ１０６）。
　具体的には、ステップＳ１０２においてアクセスの種類がＲＥＡＤ処理であった場合、データ格納場所管理手段３１は、ステップＳ１０１で得られた（すなわち、データ格納場所管理情報記録装置３２から読み取った）分散ノードのうちのいずれか１つを選択する。例えば、図３に例示するファイル「／ｈｏｍｅ／ａ．ｔｘｔ」の場合、ＲＥＡＤ先の候補はｎｏｄｅ１又はｎｏｄｅ２になる。データ格納場所管理手段３１は、例えば、ラウンドロビン法を用いて分散ノードを選択してもよい。他にも、データ格納場所管理手段３１は、ノード動作状態記録装置３８に記憶された分散ノードの稼働状態をもとに、正常動作している分散ノードの中から１つを任意の方法で選択してもよい。ただし、分散ノードを選択する方法は、上記方法に限定されない。
　一方、ステップＳ１０３においてアクセス要求命令が更新処理であった場合、データ格納場所管理手段３１は、書き込み対象の分散ノードを全て選択する。なお、データ格納場所管理手段３１は、ノード動作状態記録装置３８の情報を参照し、対象の分散ノードが停止している（もしくは、省電力動作状態である）場合、正常稼働している分散ノードを、一時的に書き込みを行う分散ノードとして選択してもよい。この場合、正常稼働していなかった分散ノードが正常稼働状態に戻ったときに、制御指示命令手段３６が、一時的に書き込みが行われた分散ノードに対し、正常稼働状態に戻った分散ノードへデータを移動するように制御指示を行う。
　また、ステップＳ１０６において、書き込み先として選択された分散ノードが停止している場合、制御指示命令手段３６が、その分散ノードに対して起動命令を発行してもよい。
　ステップＳ１０５又はステップＳ１０６の後、アクセス受付手段３９は、データアクセスを行う対象の分散ノード情報をデータアクセス要求手段４０１に応答し、アクセス履歴記録手段５１にアクセス履歴記録処理を依頼する（ステップＳ１０７）。最後に、データアクセス要求手段４０１がアクセス先の分散ノード情報を受け取ると、データアクセス手段４２は、指定された分散ノードの分散データ保持アクセス手段１にアクセス要求命令を発行する（ステップＳ１０８）。データアクセス処理手段１１は、受け取ったアクセス要求命令に基づいて処理を行い、処理結果をデータアクセス要求手段４０１に送信する。
　また、上記説明では、新規データに対するアクセス要求のタイミングで、データ暫定確率生成手段３７が暫定的なアクセス確率を算出し、算出したアクセス確率をアクセス確率記録装置３５に記憶させる場合について説明した。一方、アクセス確率算出記録手段３４は、任意の周期でアクセス確率を計算し、計算したアクセス確率をアクセス確率記録装置３５に記憶させてもよい。
　例えば、アクセス確率算出記録手段３４は、データを再配置する処理が行われるタイミングや、アクセス確率が読み取られるタイミングで、その都度アクセス確率を計算してもよい。さらに、アクセス確率算出記録手段３４は、暫定的なアクセス確率についても、一定期間経過後、実際のアクセス履歴に基づいてアクセス確率を算出し、算出した値でアクセス確率記録装置３５の内容を更新してもよい。
　なお、複数の分散ノードにデータを格納する分散ストレージシステムでは、データの書き込み処理において、複製先として指定された複数の分散ノードに対して同時に書き込み処理をしなくてもよい場合がある。例えば、アクセス集中時に備え、６つの分散ノードに複製データを格納しなければならない場合であっても、システム可用性を確保するため、最初の時点では、２つの分散ノードにデータを格納すればよい場合がある。
　この場合、最初にデータアクセス要求命令を受け取ったときには、データ格納場所管理手段３１は、最小限の２つの分散ノードを、書き込み処理を行う分散ノードとしてデータアクセス要求手段４０１に応答してもよい。そして、データ格納場所管理手段３１は、アクセス確率記録装置３５に記録されている情報に基づいてデータアクセスが集中する時間帯を判断し、その時間までに、残りの４つの分散ノードを、書き込み処理を行う分散ノードとしてデータアクセス要求手段４０１に応答してもよい。
　以上の説明では、情報管理制御装置３００が複数の分散ノードを１０１～１０４を管理する場合について説明した。すなわち、情報管理制御装置３００が情報管理制御手段３０１を備え、分散ノード１０１が分散データ保持アクセス手段１を備える場合について説明した。このような構成ではなく、分散ノード１０１が、分散データ保持アクセス手段１と情報管理制御手段３０１の両方備えていてもよい。この場合、複数の分散ノード１０１～１０４が協調して動作することにより、上述の実施形態のように動作してもよい。例えば、それぞれの分散ノード内に備える記憶装置内のデータについてアクセス確率を算出し、そのアクセス確率をもとに被制御要素の制御を行えばよい。
　以上のように、本実施形態によれば、データ格納場所管理手段３１が、データ格納場所管理情報記録装置３２に記憶されているデータに対応する分散ノードの中から指定されたデータの読み取り先および／または書き込み先を決定する。そして、アクセス確率算出記録手段３４が、履歴記憶装置５０に記憶されたアクセス履歴に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記録装置３５に記憶させる。一方、指定されたデータに対応するノードがデータ格納場所管理情報記録装置３２に記憶されていない場合、データ暫定確率生成手段３７が、指定されたデータに対するアクセス確率をアクセス確率記録装置３５に記憶されたアクセス確率に基づいて推定する。この場合、データ格納場所管理手段３１が、推定されたアクセス確率をもとにそのデータの書き込み先を決定する。
　そのため、本発明による分散ストレージシステムでは、新たなデータが追加されるような場合であっても、データアクセスに係る電力消費を抑制できる。
　具体的には、分散ストレージシステムにおいて、データ格納場所管理手段３１が、データアクセス先を将来のアクセス確率（すなわち、暫定的なアクセス確率）に基づいて決定する。よって、新規に作成されたデータや、そのレプリカの物理的な割り当て場所を、初期割り当ての時点において決定できるため、再配置などのデータ移動などの処理量を削減でき、省電力化が可能になる。
　また、制御指示命令手段３６が、暫定的なアクセス確率に基づいて分散システムを構成する分散ノードの動作状態をデータの登録前に事前に変更出来るため、効率的な省電力制御が可能になる。
　さらに、制御指示命令手段３６が、アクセス確率に応じて分散ノードのデータを移動させるため、システムの省電力稼働状態を維持するように分散ノードを選択させることが可能になる。
　また、アクセス履歴記録手段５１が、データごとのアクセス履歴として、データの識別名や利用内容を記録する。そのため、同一サービス内もしくは同一ユーザ内でアクセスパターンが異なるデータに対しても省電力効果を提供できる。
　例えば、特許文献１に記載された方法や、特許文献２に記載されたシステムでは、新規データ及びそのレプリカの物理的な割り当て場所を、データ格納の最初の時点で決定することができない。過去のアクセス履歴データをもとにアクセス確率を算出する方法では、そのデータが将来的にどのように使われるかを予想できず、データの初期配置場所を決めるための情報が不足しているからである。そのため、結果的に、登録後にアクセス確率を算出後、データコピーを行うことになる。このような状況でデータコピーが大量に発生すると、ネットワークやバスのＩ／Ｏ帯域を大量に利用してしまうため、分散システム上で動作するアプリケーションの性能に悪影響を与えてしまう。しかし、本実施形態によれば、新規データに対する暫定的なアクセス確率を算出して適切な位置にデータを配置する。よって、データの移動コストが抑制されるため、結果として、消費電力を抑制することが可能になる。
　また、例えば、特許文献２に記載されたシステムでは、データのアクセス履歴やアクセス確率は、ボリュームを一定単位ごとに区切った物理配置場所のスライス単位で扱っている。このような場合、同一スライスに格納されたデータについては、再配置処理では分離できなくなる。すなわち、サービスやユーザごとにボリュームを割り当てた場合には、これらのサービス及びユーザごとにアクセスパターンが異なるデータごと対応することは困難であった。しかし、本実施形態では、データ単位でアクセス確率を算出するため、データごとに柔軟な対応が可能になる。
　次に、本発明の最小構成について説明する。図９は、本発明によるデータアクセス場所選択システムの最小構成の例を示すブロック図である。また、図１０は、本発明によるデータアクセス場所選択システムの他の最小構成の例を示すブロック図である。
　図９に例示するデータアクセス場所選択システムは、データを格納する少なくとも１つ以上のノード８０（例えば、分散ノード１０１）と、データの読み取り先および／または書き込み先をノードの中から選択する管理サーバ９０（例えば、情報管理制御装置３００）とを備えている。
　管理サーバ９０は、データの格納先をノード８０と対応付けて記憶するデータ格納先記憶手段９１（例えば、データ格納場所管理情報記録装置３２）と、指定されたデータの読み取り先および／または書き込み先を、データ格納先記憶手段９１に記憶されているそのデータに対応するノードの中から決定するアクセス先決定手段９２（例えば、データ格納場所管理手段３１）と、各ノード８０に対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段９３（アクセス確率記録装置３５）と、データへのアクセス履歴（例えば、履歴記憶装置５０に記憶されたアクセス履歴）に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出手段９４（例えば、アクセス確率算出記録手段３４）と、指定されたデータに対するアクセス確率を、アクセス確率記憶手段９３に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段９５（例えば、データ暫定確率生成手段３７）とを備えている。
　アクセス確率推定手段９５は、指定されたデータに対応するノードがデータ格納先記憶手段９１に記憶されていない場合、そのデータのアクセス確率を推定する（例えば、拡張子が同一のデータのアクセス確率の平均値を算出する、ディレクトリが同一のデータのアクセス確率の平均値を算出する、アクセス先のアプリケーションが同一のデータのアクセス確率の平均値を算出する、もしくは、共起確率を算出するなど）。
　アクセス先決定手段９２は、指定されたデータに対応するノードがデータ格納先記憶手段９１に記憶されていない場合、推定されたアクセス確率をもとにそのデータの書き込み先を決定する（例えば、アクセス確率が類似するデータを格納するノードをアクセス先と決定する、もしくは、所定のアクセス確率を超える期間内に稼働中のノードを選択する）。
　また、図１０に例示するデータアクセス場所選択システムは、複数のノード８０（例えば、分散ノード１０１～１０４）を備えている。各ノード８０は、データ格納先記憶手段９１と、アクセス先決定手段９２と、アクセス確率記憶手段９３と、アクセス確率算出手段９４と、アクセス確率推定手段９５とを備えている。なお、データ格納先記憶手段９１、アクセス先決定手段９２、アクセス確率記憶手段９３、アクセス確率算出手段９４及びアクセス確率推定手段９５の内容は、図９に示す内容と同様である。
　そのような構成により、分散ストレージシステムにおいて、新たなデータが追加されるような場合であっても、データアクセスに係る電力消費を抑制できる。
　なお、少なくとも以下に示すようなデータアクセス場所選択システムも、上記に示すいずれかの実施形態に開示されている。
（１）データを格納する少なくとも１つ以上のノード（例えば、分散ノード１０１）と、データの読み取り先および／または書き込み先をノードの中から選択する管理サーバ（例えば、情報管理制御装置３００）とを備え、管理サーバが、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段（例えば、データ格納場所管理情報記録装置３２）と、指定されたデータの読み取り先および／または書き込み先を、データ格納先記憶手段に記憶されているそのデータに対応するノードの中から決定するアクセス先決定手段（例えば、データ格納場所管理手段３１）と、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段（アクセス確率記録装置３５）と、データへのアクセス履歴（例えば、履歴記憶装置５０に記憶されたアクセス履歴）に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出手段（例えば、アクセス確率算出記録手段３４）と、指定されたデータに対するアクセス確率を、アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段（例えば、データ暫定確率生成手段３７）とを備え、アクセス確率推定手段が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、そのデータのアクセス確率を推定し、アクセス先決定手段が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、推定されたアクセス確率をもとにそのデータの書き込み先を決定する（例えば、アクセス確率が類似するデータを格納するノードをアクセス先と決定する、もしくは、所定のアクセス確率を超える期間内に稼働中のノードを選択する）データアクセス場所選択システム。
（２）アクセス先決定手段は、アクセス確率記録手段に記録されたアクセス確率のうち、推定されたアクセス確率と所定の値の範囲内にあるアクセス確率のデータ（例えば、暫定的なアクセス確率に類似したデータ）を格納するノードを、データの書き込み先と決定するデータアクセス場所選択システム。
（３）推定されたアクセス確率に基づいて、時間帯ごとの各ノードの動作スケジュール（例えば、停止スケジュール）を決定するノード動作スケジュール決定手段（例えば、制御指示命令手段３６）を備え、アクセス先決定手段が、推定されたアクセス確率が所定の値を超える時間帯における動作スケジュールが稼働中であるノードをデータの読み取り先および／または書き込み先と決定するデータアクセス場所選択システム。
（４）ノードに対して制御指示命令を発行する制御指示命令手段（例えば、制御指示命令手段３６）を備え、制御指示命令手段が、動作スケジュールに基づいてノードに対する制御指示命令（例えば、停止指示）を行うデータアクセス場所選択システム。
（５）アクセス確率推定手段が、指定されたデータと同一の拡張子（例えば、拡張子「ｌｏｇ」）を有するデータのアクセス確率をアクセス確率記憶手段から抽出し、抽出したアクセス確率の平均値を、指定されたデータのアクセス確率と推定するデータアクセス場所選択システム。
（６）アクセス確率推定手段が、指定されたデータと同一のディレクトリ（例えば、ディレクトリパス「／ｈｏｍｅ」）に格納されるデータのアクセス確率をアクセス確率記憶手段から抽出し、抽出したアクセス確率の平均値を、指定されたデータのアクセス確率と推定するデータアクセス場所選択システム。
（７）アクセス確率推定手段が、データへのアクセス履歴及びアクセス確率記憶手段に記憶されたアクセス確率に基づいて共起確率を算出する（例えば、（式１）を用いて算出する）ことにより、指定されたデータのアクセス確率を推定するデータアクセス場所選択システム。
（８）データを格納する複数のノード（例えば、分散ノード１０１～１０４）を備え、各ノードが、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段（例えば、データ格納場所管理情報記録装置３２）と、指定されたデータの読み取り先および／または書き込み先を、データ格納先記憶手段に記憶されているそのデータに対応するノードの中から決定するアクセス先決定手段（例えば、データ格納場所管理手段３１）と、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段（アクセス確率記録装置３５）と、データへのアクセス履歴（例えば、履歴記憶装置５０に記憶されたアクセス履歴）に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出手段（例えば、アクセス確率算出記録手段３４）と、指定されたデータに対するアクセス確率を、アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段（例えば、データ暫定確率生成手段３７）とを備え、アクセス確率推定手段が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、そのデータのアクセス確率を推定し、アクセス先決定手段が、指定されたデータに対応するノードがデータ格納先記憶手段に記憶されていない場合、推定されたアクセス確率をもとにそのデータの書き込み先を決定する（例えば、アクセス確率が類似するデータを格納するノードをアクセス先と決定する、もしくは、所定のアクセス確率を超える期間内に稼働中のノードを選択する）データアクセス場所選択システム。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）データを格納する少なくとも１つ以上のノードと、データの読み取り先および／または書き込み先を前記ノードの中から選択する管理サーバとを備え、前記管理サーバは、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段と、指定されたデータの読み取り先および／または書き込み先を、前記データ格納先記憶手段に記憶されている当該データに対応するノードの中から決定するアクセス先決定手段と、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段と、データへのアクセス履歴に基づいて前記アクセス確率を算出し、算出したアクセス確率を前記アクセス確率記憶手段に記憶させるアクセス確率算出手段と、指定されたデータに対するアクセス確率を、前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段とを備え、前記アクセス確率推定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、当該データのアクセス確率を推定し、前記アクセス先決定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定することを特徴とするデータアクセス場所選択システム。
（付記２）アクセス先決定手段は、アクセス確率記録手段に記録されたアクセス確率のうち、推定されたアクセス確率と所定の値の範囲内にあるアクセス確率のデータを格納するノードを、データの書き込み先と決定する付記１記載のデータアクセス場所選択システム。
（付記３）推定されたアクセス確率に基づいて、時間帯ごとの各ノードの動作スケジュールを決定するノード動作スケジュール決定手段を備え、アクセス先決定手段は、推定されたアクセス確率が所定の値を超える時間帯における前記動作スケジュールが稼働中であるノードをデータの読み取り先および／または書き込み先と決定する付記１または付記２記載のデータアクセス場所選択システム。
（付記４）ノードに対して制御指示命令を発行する制御指示命令手段を備え、前記制御指示命令手段は、動作スケジュールに基づいてノードに対する制御指示命令を行う付記３記載のデータアクセス場所選択システム。
（付記５）アクセス確率推定手段は、指定されたデータと同一の拡張子を有するデータのアクセス確率を前記アクセス確率記憶手段から抽出し、抽出したアクセス確率の平均値を、指定されたデータのアクセス確率と推定する付記１から付記４のうちのいずれか１つに記載のデータアクセス場所選択システム。
（付記６）アクセス確率推定手段は、指定されたデータと同一のディレクトリに格納されるデータのアクセス確率を前記アクセス確率記憶手段から抽出し、抽出したアクセス確率の平均値を、指定されたデータのアクセス確率と推定する付記１から付記４のうちのいずれか１つに記載のデータアクセス場所選択システム。
（付記７）アクセス確率推定手段は、データへのアクセス履歴及び前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて共起確率を算出することにより、指定されたデータのアクセス確率を推定する付記１から付記４のうちのいずれか１つに記載のデータアクセス場所選択システム。
（付記８）アクセス確率算出手段は、データへのアクセス元を示す情報を含むアクセス履歴に基づいてアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させ、アクセス確率推定手段は、指定されたデータのアクセス元が同一のデータのアクセス確率を前記アクセス確率記憶手段から抽出し、抽出したアクセス確率の平均値をアクセス確率と推定する付記１から付記７のうちのいずれか１つに記載のデータアクセス場所選択システム。
（付記９）ノードの動作状態を記憶するノード状態記憶手段を備え、アクセス先決定手段は、前記ノード状態記憶手段に記憶されたノードの動作状態が稼働中のノードの中からデータの読み取り先および／または書き込み先を決定する付記１から付記８のうちのいずれか１つに記載のデータアクセス場所選択システム。
（付記１０）データへのアクセスログを収集するアクセスログ収集手段を備え、アクセス確率算出手段は、前記アクセス収集手段が収集したアクセスログに基づいてアクセス確率を算出する付記１から付記９のうちのいずれか１つに記載のデータアクセス場所選択システム。
（付記１１）アクセスログ収集手段は、データへのアクセス内容を示す情報である付与情報を含めてアクセスログを収集し、アクセス確率算出手段は、アクセスログに基づいて前記付与情報ごとにアクセス確率を算出し、算出したアクセス確率をアクセス確率記憶手段に記憶させる付記１０記載のデータアクセス場所選択システム。
（付記１２）アクセス確率算出手段は、データへのアクセス履歴に基づいてアクセス確率及び当該データへのアクセスの頻度を示す情報であるアクセス頻度を算出し、前記アクセス確率及びアクセス頻度を基に、データへのアクセス特性を示す情報である評価値を算出し、当該評価値をアクセス確率記憶手段に記憶させ、アクセス確率推定手段は、指定されたデータに対するアクセス確率を、前記アクセス確率記憶手段に記憶された評価値に基づいて推定する付記１から付記１１のうちのいずれか１つに記載のデータアクセス場所選択システム。
（付記１３）データを格納する複数のノードを備え、前記各ノードは、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段と、指定されたデータの読み取り先および／または書き込み先を、前記データ格納先記憶手段に記憶されている当該データに対応するノードの中から決定するアクセス先決定手段と、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段と、データへのアクセス履歴に基づいて前記アクセス確率を算出し、算出したアクセス確率を前記アクセス確率記憶手段に記憶させるアクセス確率算出手段と、指定されたデータに対するアクセス確率を、前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段とを備え、前記アクセス確率推定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、当該データのアクセス確率を推定し、前記アクセス先決定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定することを特徴とするデータアクセス場所選択システム。
（付記１４）データを格納する少なくとも１つ以上のノードの中から、データの読み取り先および／または書き込み先を選択する選択装置が、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段に記憶されている当該データに対応するノードの中から指定されたデータの読み取り先および／または書き込み先を決定し、前記選択装置が、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率をデータへのアクセス履歴に基づいて算出し、算出されたアクセス確率をアクセス確率記憶手段に記憶させ、前記選択装置が、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、指定されたデータに対するアクセス確率を前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定し、前記選択装置が、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定することを特徴とするデータアクセス場所選択方法。
（付記１５）アクセス確率記録手段に記録されたアクセス確率のうち、推定されたアクセス確率と所定の値の範囲内にあるアクセス確率のデータを格納するノードを、データの書き込み先と決定する付記１４記載のデータアクセス場所選択方法。
（付記１６）データを格納する少なくとも１つ以上のノードの中から、データの読み取り先および／または書き込み先を選択するコンピュータに適用されるデータアクセス場所選択プログラムであって、前記コンピュータに、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段に記憶されている当該データに対応するノードの中から指定されたデータの読み取り先および／または書き込み先を決定するアクセス先決定処理、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率をデータへのアクセス履歴に基づいて算出し、算出されたアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出処理、および、指定されたデータに対するアクセス確率を、前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定処理を実行させ、前記アクセス確率推定処理で、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、当該データのアクセス確率を推定させ、前記アクセス先決定処理で、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定させるためのデータアクセス場所選択プログラム。
（付記１７）アクセス先決定処理で、アクセス確率記録手段に記録されたアクセス確率のうち、推定されたアクセス確率と所定の値の範囲内にあるアクセス確率のデータを格納するノードを、データの書き込み先と決定させる付記１６記載のデータアクセス場所選択プログラム。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１０年３月２９日に出願された日本特許出願２０１０－７５５１４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、分散ストレージシステムにおいて、データの読み取り先および／または書き込み先を選択するデータアクセス場所選択システムに好適に適用される。すなわち、本発明を、複数の計算機にデータを分散して格納する分散ストレージシステムに適用が可能であり、また、それらを利用できるＩＴシステム全般にも適用が可能である。
　１　分散データ保持アクセス手段
　１１　データアクセス処理手段
　１２　記憶装置
　１３　被制御対象装置
　１４　分散ノード制御手段
　３１　データ格納場所管理手段
　３２　データ格納場所管理情報記録装置
　３３　アクセス確率取得手段
　３４　アクセス確率算出記録手段
　３５　アクセス確率記録装置
　３６　制御指示命令手段
　３７　データ暫定確率生成手段
　３８　ノード動作状態記録装置
　３９　アクセス受付手段
　４１　アクセス先問い合わせ手段
　４２　データアクセス手段
　５０　履歴記憶装置
　５１　アクセス履歴記録手段
　１０１～１０４　分散ノード
　１１１～１１４　記憶装置
　２００　通信ネットワーク
　３００　情報管理制御装置
　３０１　情報管理制御手段
　４００　データアクセス要求ノード
　４０１　データアクセス要求手段

Claims (10)

  1. 　データを格納する少なくとも１つ以上のノードと、
    　データの読み取り先および／または書き込み先を前記ノードの中から選択する管理サーバとを備え、
    　前記管理サーバは、
    　データの格納先をノードと対応付けて記憶するデータ格納先記憶手段と、
    　指定されたデータの読み取り先および／または書き込み先を、前記データ格納先記憶手段に記憶されている当該データに対応するノードの中から決定するアクセス先決定手段と、
    　各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段と、
    　データへのアクセス履歴に基づいて前記アクセス確率を算出し、算出したアクセス確率を前記アクセス確率記憶手段に記憶させるアクセス確率算出手段と、
    　指定されたデータに対するアクセス確率を、前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段とを備え、
    　前記アクセス確率推定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、当該データのアクセス確率を推定し、
    　前記アクセス先決定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定する
    　ことを特徴とするデータアクセス場所選択システム。
  2. 　アクセス先決定手段は、アクセス確率記録手段に記録されたアクセス確率のうち、推定されたアクセス確率と所定の値の範囲内にあるアクセス確率のデータを格納するノードを、データの書き込み先と決定する
    　請求項１記載のデータアクセス場所選択システム。
  3. 　推定されたアクセス確率に基づいて、時間帯ごとの各ノードの動作スケジュールを決定するノード動作スケジュール決定手段を備え、
    　アクセス先決定手段は、推定されたアクセス確率が所定の値を超える時間帯における前記動作スケジュールが稼働中であるノードをデータの読み取り先および／または書き込み先と決定する
    　請求項１または請求項２記載のデータアクセス場所選択システム。
  4. 　ノードに対して制御指示命令を発行する制御指示命令手段を備え、
    　前記制御指示命令手段は、動作スケジュールに基づいてノードに対する制御指示命令を行う
    　請求項３記載のデータアクセス場所選択システム。
  5. 　アクセス確率推定手段は、指定されたデータと同一の拡張子を有するデータのアクセス確率を前記アクセス確率記憶手段から抽出し、抽出したアクセス確率の平均値を、指定されたデータのアクセス確率と推定する
    　請求項１から請求項４のうちのいずれか１項に記載のデータアクセス場所選択システム。
  6. 　アクセス確率推定手段は、指定されたデータと同一のディレクトリに格納されるデータのアクセス確率を前記アクセス確率記憶手段から抽出し、抽出したアクセス確率の平均値を、指定されたデータのアクセス確率と推定する
    　請求項１から請求項４のうちのいずれか１項に記載のデータアクセス場所選択システム。
  7. 　アクセス確率推定手段は、データへのアクセス履歴及び前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて共起確率を算出することにより、指定されたデータのアクセス確率を推定する
    　請求項１から請求項４のうちのいずれか１項に記載のデータアクセス場所選択システム。
  8. 　データを格納する複数のノードを備え、
    　前記各ノードは、
    　データの格納先をノードと対応付けて記憶するデータ格納先記憶手段と、
    　指定されたデータの読み取り先および／または書き込み先を、前記データ格納先記憶手段に記憶されている当該データに対応するノードの中から決定するアクセス先決定手段と、
    　各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率を記憶するアクセス確率記憶手段と、
    　データへのアクセス履歴に基づいて前記アクセス確率を算出し、算出したアクセス確率を前記アクセス確率記憶手段に記憶させるアクセス確率算出手段と、
    　指定されたデータに対するアクセス確率を、前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定手段とを備え、
    　前記アクセス確率推定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、当該データのアクセス確率を推定し、
    　前記アクセス先決定手段は、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定する
    　ことを特徴とするデータアクセス場所選択システム。
  9. 　データを格納する少なくとも１つ以上のノードの中から、データの読み取り先および／または書き込み先を選択する選択装置が、データの格納先をノードと対応付けて記憶するデータ格納先記憶手段に記憶されている当該データに対応するノードの中から指定されたデータの読み取り先および／または書き込み先を決定し、
    　前記選択装置が、各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率をデータへのアクセス履歴に基づいて算出し、算出されたアクセス確率をアクセス確率記憶手段に記憶させ、
    　前記選択装置が、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、指定されたデータに対するアクセス確率を前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定し、
    　前記選択装置が、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定する
    　ことを特徴とするデータアクセス場所選択方法。
  10. 　データを格納する少なくとも１つ以上のノードの中から、データの読み取り先および／または書き込み先を選択するコンピュータに適用されるデータアクセス場所選択プログラムであって、
    　前記コンピュータに、
    　データの格納先をノードと対応付けて記憶するデータ格納先記憶手段に記憶されている当該データに対応するノードの中から指定されたデータの読み取り先および／または書き込み先を決定するアクセス先決定処理、
    　各ノードに対してデータの読み取りおよび／または書き込みが行われる確率を示すアクセス確率をデータへのアクセス履歴に基づいて算出し、算出されたアクセス確率をアクセス確率記憶手段に記憶させるアクセス確率算出処理、および、
    　指定されたデータに対するアクセス確率を、前記アクセス確率記憶手段に記憶されたアクセス確率に基づいて推定するアクセス確率推定処理を実行させ、
    　前記アクセス確率推定処理で、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、当該データのアクセス確率を推定させ、
    　前記アクセス先決定処理で、指定されたデータに対応するノードが前記データ格納先記憶手段に記憶されていない場合、推定された前記アクセス確率をもとに当該データの書き込み先を決定させる
    　ためのデータアクセス場所選択プログラム。
PCT/JP2011/000311 2010-03-29 2011-01-21 データアクセス場所選択システム、方法およびプログラム Ceased WO2011121869A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012508037A JP5423879B2 (ja) 2010-03-29 2011-01-21 データアクセス場所選択システム、方法およびプログラム
US13/583,964 US8909614B2 (en) 2010-03-29 2011-01-21 Data access location selecting system, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-075514 2010-03-29
JP2010075514 2010-03-29

Publications (1)

Publication Number Publication Date
WO2011121869A1 true WO2011121869A1 (ja) 2011-10-06

Family

ID=44711641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000311 Ceased WO2011121869A1 (ja) 2010-03-29 2011-01-21 データアクセス場所選択システム、方法およびプログラム

Country Status (3)

Country Link
US (1) US8909614B2 (ja)
JP (1) JP5423879B2 (ja)
WO (1) WO2011121869A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014199553A1 (ja) * 2013-06-14 2014-12-18 日本電気株式会社 受付ノードによるデータ格納先の決定方法
JP2016045850A (ja) * 2014-08-26 2016-04-04 富士通株式会社 データ配置プログラム、データ配置方法およびデータ配置装置
EP3032397A1 (en) 2014-12-04 2016-06-15 Fujitsu Limited Storage control device, cache control method, and cache control program
JP2019040292A (ja) * 2017-08-23 2019-03-14 富士通株式会社 処理分散プログラム、処理分散方法、および情報処理装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105230A1 (ja) * 2011-02-02 2012-08-09 日本電気株式会社 分散システム、装置、方法及びプログラム
US20170192684A1 (en) 2011-05-09 2017-07-06 International Business Machines Corporation Auditing a transaction in a dispersed storage network
US20170192705A1 (en) * 2011-05-09 2017-07-06 International Business Machines Corporation Data formats of self-contained audit objects
JP6044539B2 (ja) * 2011-08-02 2016-12-14 日本電気株式会社 分散ストレージシステムおよび方法
US9442668B1 (en) * 2013-08-29 2016-09-13 Western Digital Technologies, Inc. Adaptive power management control with performance feedback
US9535704B2 (en) * 2014-02-03 2017-01-03 University Of Rochester System and method to quantify digital data sharing in a multi-threaded execution
KR102663453B1 (ko) * 2014-03-13 2024-05-20 더 닐슨 컴퍼니 (유에스) 엘엘씨 데이터베이스 사업자에 의한 기인오류 및/또는 논-커버리지에 대해 노출 데이터를 보상하기 위한 방법 및 장치
CN105739909A (zh) 2014-12-11 2016-07-06 国际商业机器公司 分布式存储系统中基于时间的数据放置方法和装置
JP6540409B2 (ja) * 2015-09-14 2019-07-10 富士通株式会社 ストレージ制御装置、ストレージ制御プログラムおよびストレージ制御方法
US10936757B2 (en) * 2016-05-27 2021-03-02 Mitsubishi Electric Corporation Registration destination determination device, searchable encryption system, destination determination method, and computer readable medium
US11303642B2 (en) * 2019-06-03 2022-04-12 The Toronto-Dominion Bank Dynamic management of consent and permissioning between executed applications and programmatic interfaces
CN117806529A (zh) * 2022-09-26 2024-04-02 戴尔产品有限公司 存储装置之间的数据布局选择

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280950A (ja) * 2002-03-26 2003-10-03 Fujitsu Ltd ファイル管理システム
JP2004240803A (ja) * 2003-02-07 2004-08-26 Hitachi Ltd ネットワークストレージ仮想化方法およびネットワークストレージ仮想化システム
JP2009157571A (ja) * 2007-12-26 2009-07-16 Fujitsu Ltd データ配置制御プログラム、データ配置制御装置、データ配置制御方法、およびマルチノードストレージシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6385641B1 (en) * 1998-06-05 2002-05-07 The Regents Of The University Of California Adaptive prefetching for computer network and web browsing with a graphic user interface
JP3756708B2 (ja) * 1999-09-30 2006-03-15 株式会社東芝 情報処理端末装置およびそのファイル管理方法
AU2003261090A1 (en) 2002-09-12 2004-04-30 Copan Systems, Inc. Method and apparatus for power-efficient high-capacity scalable storage system
JP2007193441A (ja) * 2006-01-17 2007-08-02 Toshiba Corp 不揮発性キャッシュメモリを用いる記憶装置とその制御方法
JP2008059315A (ja) 2006-08-31 2008-03-13 Hitachi Ltd 負荷分散方法及び計算機システム
US8006111B1 (en) * 2007-09-21 2011-08-23 Emc Corporation Intelligent file system based power management for shared storage that migrates groups of files based on inactivity threshold
WO2011007599A1 (ja) * 2009-07-17 2011-01-20 株式会社 東芝 メモリ管理装置
JP2011186561A (ja) * 2010-03-04 2011-09-22 Toshiba Corp メモリ管理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280950A (ja) * 2002-03-26 2003-10-03 Fujitsu Ltd ファイル管理システム
JP2004240803A (ja) * 2003-02-07 2004-08-26 Hitachi Ltd ネットワークストレージ仮想化方法およびネットワークストレージ仮想化システム
JP2009157571A (ja) * 2007-12-26 2009-07-16 Fujitsu Ltd データ配置制御プログラム、データ配置制御装置、データ配置制御方法、およびマルチノードストレージシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014199553A1 (ja) * 2013-06-14 2014-12-18 日本電気株式会社 受付ノードによるデータ格納先の決定方法
JP2016045850A (ja) * 2014-08-26 2016-04-04 富士通株式会社 データ配置プログラム、データ配置方法およびデータ配置装置
EP3032397A1 (en) 2014-12-04 2016-06-15 Fujitsu Limited Storage control device, cache control method, and cache control program
US9933966B2 (en) 2014-12-04 2018-04-03 Fujitsu Limited Storage control device and computer system
JP2019040292A (ja) * 2017-08-23 2019-03-14 富士通株式会社 処理分散プログラム、処理分散方法、および情報処理装置

Also Published As

Publication number Publication date
US20130041875A1 (en) 2013-02-14
JPWO2011121869A1 (ja) 2013-07-04
US8909614B2 (en) 2014-12-09
JP5423879B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5423879B2 (ja) データアクセス場所選択システム、方法およびプログラム
US10725878B2 (en) Storage apparatus, storage system, and control method of storage system for dynamically securing free space when a storage apparatus is disused
JP5765416B2 (ja) 分散ストレージシステムおよび方法
JP6044539B2 (ja) 分散ストレージシステムおよび方法
US8762667B2 (en) Optimization of data migration between storage mediums
US20080294700A1 (en) File management system, file management method, file management program
US20150095282A1 (en) Multi-site heat map management
JP2004246852A (ja) 論理ボリュームコピー先性能調整方法及び装置
CN103294167B (zh) 一种基于数据行为的低能耗集群存储复制装置和方法
JP2007102452A (ja) システム管理プログラムおよびシステム管理方法
CN112632027A (zh) 一种日志数据存储方法及装置
CN120560809A (zh) 一种大模型数据分布式管理方法、装置、设备及存储介质
CN108776690B (zh) 基于分层治理的hdfs分布式与集中式混合数据存储系统的方法
WO2010131373A1 (en) Storage subsystem
WO2022257719A1 (zh) 数据库事务处理的方法、系统、电子设备及存储介质
US20220066786A1 (en) Pre-scanned data for optimized boot
JP6115575B2 (ja) データセット多重度変更装置、サーバ、データセット多重度変更方法、およびコンピュータ・プログラム
WO2014102997A1 (ja) 計算機、計算機システムの制御装置及び記録媒体
JPWO2013153646A1 (ja) 計算機システム、データ配置管理方法及びプログラム
JP5692355B2 (ja) コンピュータシステム、制御システム、制御方法および制御プログラム
JP2015064850A (ja) データベース監視装置、データベース監視方法、並びにコンピュータ・プログラム
US8543784B1 (en) Backup application coordination with storage array power saving features
JP5413378B2 (ja) データ管理プログラム、データ管理方法、およびコンピュータ
CN107819804B (zh) 云端储存设备系统及决定其架构的高速缓存中数据的方法
JPWO2016001959A1 (ja) ストレージシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11762124

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012508037

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13583964

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11762124

Country of ref document: EP

Kind code of ref document: A1