WO2018109818A1 - データの格納を制御する計算機システム及び方法 - Google Patents

データの格納を制御する計算機システム及び方法 Download PDF

Info

Publication number
WO2018109818A1
WO2018109818A1 PCT/JP2016/086980 JP2016086980W WO2018109818A1 WO 2018109818 A1 WO2018109818 A1 WO 2018109818A1 JP 2016086980 W JP2016086980 W JP 2016086980W WO 2018109818 A1 WO2018109818 A1 WO 2018109818A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
value
stored
file
learning
Prior art date
Application number
PCT/JP2016/086980
Other languages
English (en)
French (fr)
Inventor
美保 今崎
定広 杉本
良介 達見
山本　彰
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2016/086980 priority Critical patent/WO2018109818A1/ja
Publication of WO2018109818A1 publication Critical patent/WO2018109818A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures

Definitions

  • the present invention generally relates to control of data storage.
  • Patent Document 1 discloses that when the monitored free storage capacity falls below a threshold, the free storage capacity is recovered by deleting the data segment classified at the lowest level.
  • the storage capacity can be recovered, but the free storage capacity reaches a threshold value during processing such as determination, and as a result, the write request may not be accepted. .
  • the computer system performs the following (A) to (C) (A)
  • the data subject to the write request and stored in the cache area is stored in one of the one or more storage devices before being stored in any of the one or more storage devices. Determining the data value of the write target data based on management information including stored data management information indicating the data access status and data type for each data; (B) If the data value determined for the write target data is greater than or equal to a predetermined value, storing the write target data in one or more storage devices; (C) If the data value determined for the write target data is less than a predetermined value, the write target data is not stored in any one or more storage devices; Execute.
  • FIG. 2 is a schematic diagram showing an outline of Example 1;
  • 1 is a block diagram showing an overall configuration of an information system including a computer system according to Embodiment 1.
  • FIG. The figure which shows a content management table.
  • the figure which shows a learning management table. The figure which shows the flow of a prior learning process.
  • the figure which shows the flow of a value update process The figure which shows the flow of a host I / O process.
  • the figure which shows the flow of a write process The figure which shows the flow of an update write process.
  • FIG. 10 is a diagram illustrating a flow of write processing according to the second embodiment.
  • FIG. 6 is a schematic diagram showing an outline of Example 3.
  • a common sign may be used among the reference signs, and when distinguishing the same kind of elements, the reference signs may be used.
  • PDEV 24 when PDEV is not distinguished, it is referred to as “PDEV 24”, and when PDEV is distinguished, it is referred to as “high spec PDEV 24H” or “low spec PDEV 24L”.
  • PDEV means a physical storage device, typically a nonvolatile storage device.
  • the PDEV is, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the “interface unit” includes one or more interfaces.
  • the one or more interfaces may be one or more similar interface devices (for example, one or more NIC (Network Interface Card)) or two or more different interface devices (for example, NIC and HBA (Host Bus Adapter)). There may be.
  • NIC Network Interface Card
  • HBA Home Bus Adapter
  • the “storage unit” includes one or more memories.
  • the at least one memory may be a volatile memory or a non-volatile memory.
  • the storage unit is mainly used during processing by the processor unit.
  • the “processor unit” includes one or more processors.
  • the at least one processor is typically a microprocessor such as a CPU (Central Processing Unit).
  • Each of the one or more processors may be a single core or a multi-core.
  • the processor may include a hardware circuit that performs part or all of the processing.
  • the process may be described using “program” as the subject, but the program is executed by the processor unit, so that the determined process can be appropriately performed in the storage unit and the interface unit.
  • the subject of processing may be a processor unit (or a computer or a computer system having a processor unit).
  • the program may be installed in the computer from a program source.
  • the program source may be, for example, a storage medium that can be read by a program distribution server or a computer.
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • at least a part of the processing realized by executing the program may be realized by a hardware circuit (for example, ASIC (Application Specific Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array)).
  • ASIC Application Specific Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • information may be described using an expression such as “xxx table”, but the information may be expressed in any data structure. That is, in order to show that the information does not depend on the data structure, the “xxx table” can be referred to as “xxx information”.
  • the configuration of each table is an example, and one table may be divided into two or more tables, or all or part of the two or more tables may be a single table. Good.
  • time is expressed in units of year / month / day / hour / hour / minute / second, but the time unit may be coarser or finer than that, or may be a different unit.
  • the “computer system” includes at least one of a physical computer and a physical storage device.
  • At least one physical computer may execute a virtual computer (for example, VM (Virtual Machine)).
  • At least one physical computer or at least one storage apparatus may execute software-defined anything (SDx).
  • SDx for example, SDS (Software Defined Storage) (an example of a virtual storage device) or SDDC (Software-defined Datacenter) can be adopted.
  • the “management system” may be composed of one or more computers.
  • the management computer when the management computer has a display device and the management computer displays information on its own display device, the management computer may be a management system.
  • a management computer for example, a server
  • transmits display information to a remote display computer for example, a client
  • the display computer displays the information (when the management computer displays information on the display computer)
  • a system including at least the management computer among the management computer and the display computer may be a management system.
  • the “host system” may be composed of one or more host computers.
  • data determined as low value is referred to as “low value data”
  • data determined as medium value is referred to as “medium value data”
  • data determined as high value is referred to as “high value data”.
  • Data The data value is not limited to three levels of low, medium and high, but may be two levels or four or more levels.
  • FIG. 1 is a schematic diagram showing an outline of the present embodiment.
  • the computer system 30 has one or more PDEVs 24, typically a plurality of PDEVs 24.
  • the plurality of PDEVs 24 include a high-spec PDEV 24H and a low-spec 24L.
  • the specifications of the PDEV may depend on at least one of the functions, storage capacity, reliability, and performance (eg, I / O speed) that the PDEV has.
  • a high-spec PDEV is a PDEV having a relatively high spec (for example, a PDEV having at least one of high function, large storage capacity, high reliability, and high performance (for example, high I / O speed), for example, SSD (
  • the low-spec PDEV 24L has at least one of a relatively low-spec PDEV (eg, low function, small storage capacity, low reliability, and low performance (eg, low I / O speed)).
  • PDEV for example, an HDD (Hard Disk Drive) having a SAS (Serial Attached SCSI) interface, and at least one of the plurality of PDEVs 24 may be outside the computer system 30.
  • the type of PDEV Are the same, the high-spec PDEV 24H may be a PDEV with a large storage capacity, and the low-spec PDEV 24L may be a PD with a small storage capacity. EV is sufficient.
  • the computer system 30 executes the learning program 16, the storage control program 18, and the reduction program 20.
  • the learning program 16 determines the data value of the write target data that is data in accordance with the write request.
  • the write request is typically a write request from a user (for example, a host system described later), but other types of write requests such as a write request corresponding to a copy request from a remote computer system (not shown) can also be used. Good.
  • the “write request” includes “update write request” using update data as write target data and “new write request” using new data as write target data.
  • Stored data is data stored in any of the plurality of PDEVs 24.
  • “Update data” is data for updating stored data corresponding to the data.
  • “New data” means new data for which no stored data corresponding to the data exists.
  • the learning program 16 executes data value determination before storing the write target data in any of the plurality of PDEVs 24. Depending on the data value determination result, the learning program 16 does not store the write target data in any PDEV 24, and returns a predetermined response (for example, a response indicating non-execution of storage) to the transmission source of the write request. .
  • the data that is the target of “determination of data value” here is non-updated data (stored data updated by updated data) or new data.
  • the “data value” depends on at least one of the data access status and the data type.
  • the “data access status” depends on at least one of the number of reads, the number of writes, and the last access time.
  • the “data type” depends on at least one of the data file identifier, the data attribute, and the data transmission source device type.
  • the storage control program 18 inputs / outputs data to / from a plurality of PDEVs 24.
  • the storage control program 18 stores the write target data according to the write request in any PDEV 24, or reads the read target data that is the data according to the read request from the PDEV storing the data and transmits the read request source. Or send to.
  • the reduction program 20 executes a data amount reduction process.
  • the data amount reduction processing is processing for reducing the data amount, and is typically at least one of compression processing and deduplication processing.
  • the reduction program 20 may be able to decompress the read target compressed data (compressed data and stored data), or find and return data that overlaps the read target data. .
  • At least a part of the processing (for example, compression processing or decompression processing) performed by the reduction program 20 may be realized by a hardware circuit.
  • the learning program 16 determines the data value of the write target data according to the write request 12.
  • the learning program 16 When it is determined that the write target data is low value, the learning program 16 outputs a low value data arrangement presentation 14 to the user.
  • the low-value data organization / presentation 14 is a presentation for organizing low-value data (for example, deleting at least one low-value data from the computer system 30).
  • the presentation 14 may include, for example, at least one of an ID (for example, a file name) of write target data determined to be low value and an ID of stored low value data other than the write target data. “Stored low-value data other than write target data” may be limited to stored low-value data similar to the write target data determined to be low value.
  • the learning program 16 stores the write target data determined to be high value or medium value in any PDEV 24 via the storage control program 18.
  • the high-value data 22 is stored in the high-spec PDEV 24.
  • the medium value data 28 is stored in the low-spec PDEV 26 via the reduction program 20.
  • the value of data is determined before data is stored, and only necessary data can be stored in the PDEV 24 according to the determination result, and unnecessary data is stored in the PDEV 24 even temporarily. You can avoid that. Therefore, the amount of data stored in the PDEV 24 is reduced. As a result, the number of PDEVs 24 can be restricted and storage management costs can be expected to be reduced. For example, particularly in an in-house document management system for enterprises, it is possible to avoid storing data that is unlikely to be actually used even if stored.
  • FIG. 2 is a block diagram showing the overall configuration of the information system including the computer system 30.
  • a management system 32 and a host system 34 are connected to the computer system 30 via a communication network (for example, an IP (Internet Protocol) network).
  • a management system 32 manages the computer system 30.
  • the host system 34 transmits an I / O (Input / Output) request to the computer system 30.
  • the computer system 30 is a file storage system in this embodiment, but may be another type of computer system such as an object storage system. That is, in this embodiment, “data” typically means a file, but may be other types of data such as an object.
  • the computer system 30 includes a network interface (I / F) 38, a plurality of PDEVs 24 (one or more high-spec PDEV 24H and one or more low-spec PDEV 24L), a memory 44, and a processor 36 connected thereto. Via the I / F 38, reception of an I / O request and transmission of a response to the I / O request are performed.
  • the processor 36 manages a plurality of PDEVs 24 by executing at least one computer program.
  • the memory 44 stores a program group 62 which is one or more computer programs executed by the processor 36 and management information 64 which is information referred to by at least one computer program.
  • the memory 44 is provided with a cache area 60 in which data input / output to / from the PDEV 24 is temporarily stored.
  • the program group 62 includes a storage control program 18, a reduction program 20, and a learning program 16.
  • the management information 64 includes a content management table 52 that holds information about files (contents) and a learning management table 58 that holds information about learning results.
  • the configuration of the computer system 30 is not limited to the configuration shown in FIG.
  • a virtual host system for example, VM (Virtual Machine)
  • the learning program 16 receives a write request from a virtual host system in the computer system 30.
  • FIG. 3 shows the content management table 52.
  • the content management table 52 is an example of stored data management information.
  • the content management table 52 holds information such as a file name 70, a read count 72, a write count 74, a data type 76, and a last access time 78 for each stored file.
  • a “stored file” is a file stored in any PDEV 24.
  • the file name 70 is the name of the file.
  • the read count 72 represents the number of times the file has been read.
  • the number of writes 74 represents the number of times the file has been written (for example, the total of new writes and updated writes).
  • the data type 76 represents a file type.
  • the last access time 78 represents the time when the file was last read or written.
  • the file type depends on at least one of the file identifier, the file attribute, and the type of the transmission source device of the data included in the file. For example, as a file type, “confidential”, which means a confidential file, “log”, which means a file containing log data, and a file containing data from a sensor There is a “sensor” to do.
  • FIG. 4 shows the learning management table 58.
  • the learning management table 58 includes two types of tables, specifically, a learning target management table 80 and a low value determination management table 90. Further, the learning management table 58 includes information such as a write count reference value 91, a read count reference value 93, and a last access time reference value 95.
  • the learning target management table 80 holds information such as a file name 82, a data value 84, and a determination time 86 for each file subjected to learning processing (data value determination).
  • the file name 82 is the name of the file.
  • the data value 84 represents the determined data value (that is, one of “high”, “medium”, and “low”).
  • the determination time 86 represents the time when the data value is determined.
  • the low-value confirmation management table 90 holds information regarding a low-value confirmation file (a file whose data value is determined to be “low” and which is determined to be unnecessary by the user (storage abandonment)).
  • the low-value confirmation management table 90 holds information such as a file name 92, a determination reason 94, and a confirmation time 96 for each low-value confirmation file.
  • the determination reason 94 represents the reason why it is determined to be low value (data value “low”).
  • the reason why it is adopted as the determination reason 94 is, for example, “There is a duplicate file” which means that another file with the same file name or a small difference in file contents is already stored, and has already been determined to be low value. "Similarity value judgment” that means that the file and file name or contents are similar, or "business unnecessary file” that means that the file contains private contents that are unnecessary for business is there.
  • a write count reference value 91 As a reference for data value determination, a write count reference value 91, a read count reference value 93, and a last access time reference value 95 are provided. For each of these reference values 91, 93 and 95, the data value is determined based on at least one of whether or not the reference value is exceeded and the magnitude of the difference from the reference value.
  • The For example, a file corresponding to the last access time 78 representing a time past the last access time reference value 95 that means half a year before the date to which the current time belongs, that is, a file that has not been accessed within half a year, The value may be lowered to a value one level lower than the current value. At least one of these reference values 91, 93, and 95 may be set at the time of system initialization, or may be set or updated as appropriate by the management system 32 during operation of the computer system 30.
  • Fig. 5 shows the flow of the pre-learning process.
  • the pre-learning process is periodically performed on all stored files asynchronously with the host I / O process. This is because the data value of the file may change due to an increase in the number of writes or reads. Note that the pre-learning process may not be performed after being repeatedly performed for a certain period. This is different from the post-storage learning process (third embodiment) described later, which is performed asynchronously with the host I / O process (write process).
  • the pre-learning collection process is a process for the purpose of making it possible to determine the data value in the write process.
  • Step 501 The learning program 16 determines whether or not there is a learning target file. If the determination result is true (step 501: Yes), the process proceeds to step 502. If the determination result is false (step 501: No), the process is completed.
  • Step 502 The learning program 16 refers to information (entry) on the file in the content management table 52 in order to determine the data value of the file. Thereafter, the process proceeds to step 503.
  • Step 503 The learning program 16 executes value update processing for determining and updating the data value of the file. Details of the value update processing are shown in FIG. Thereafter, the process returns to step 501.
  • FIG. 6 shows a flow of value update processing.
  • description will be made by taking one learning target file as an example.
  • Step 601 The learning program 16 determines whether or not the write count reference value 91 and the read count reference value 93 set in the learning management table 58 exceed the write count 74 and the read count 72 of the learning target file, respectively. To do. If the determination result is true, that is, if the write count 74 exceeds the write count reference value 91 or the read count 72 exceeds the read count reference value 93 (step 601: Yes), the process proceeds to step 602. . If the determination result is false (step 601: No), the process proceeds to step 604.
  • Step 602 The learning program 16 determines whether or not the last access time 78 of the file exceeds the last access time reference value 95 (that is, whether or not there has been no access beyond a certain period). If the determination result is true (step 602: Yes), the process proceeds to step 604. If the determination result is false (step 602: No), the process proceeds to step 603.
  • Step 604 The learning program 16 determines whether or not the data type 76 of the file is “confidential”. If the determination result is true (step 604: Yes), the process proceeds to step 603. If the determination result is false (step 604: No), the process proceeds to step 605.
  • Step 605 The learning program 16 determines whether or not the data type 76 of the file is “sensor”. If the determination result is true (step 605: Yes), the process proceeds to step 606. If the determination result is false (step 605: No), the process proceeds to step 607.
  • Step 607 The learning program 16 determines that the file is low value, that is, registers or updates the file name 82, the data value 84 “low”, and the determination time 86 of the file. Thereafter, the process proceeds to step 608.
  • Step 606 The learning program 16 determines that the file is medium value, that is, registers or updates the file name 82, the data value 84 “medium”, and the determination time 86 of the file.
  • Step 603 The learning program 16 determines that the file is high value, that is, registers or updates the file name 82, the data value 84 “high”, and the determination time 86 of the file.
  • Step 608 The learning program 16 registers the file name 92 and the determination reason 94 of the file in the low-value finalized file 90.
  • the determination reason 94 may be, for example, “low value determination”.
  • This registration is a provisional registration.
  • a storage abandonment (unnecessary) designation by the user a fixed time 96 is registered by the learning program 16, while when the user receives a storage permission designation, the file is registered this time.
  • the file name 92 and the determination reason 94 may be deleted from the low value determination management table 90 by the learning program 16.
  • Attributes other than the data access status as the actual measurement value, for example, the data type 76 are considered for a file corresponding to any of the access count of the reference value 91 or 93 or less and the file not being accessed even after a certain period of time. .
  • a file of data type 76 “confidential” is determined to be high value.
  • a file of data type 76 “sensor” is determined to be medium value. As an example of the reason, sensor data is generally used for analysis or the like after being accumulated to some extent.
  • a file whose data type 76 does not correspond to either “confidential” or “sensor” is determined to be low value.
  • FIG. 7 shows the flow of host I / O processing.
  • the host I / O process is started when the computer system 30 receives an I / O request from the host system 34.
  • Step 701 The learning program 16 determines whether or not the I / O request is a write request. If the determination result is true (step 701: Yes), the process proceeds to step 703. If the determination result is false (step 701: No), the process proceeds to step 702.
  • Step 702 The learning program 16 causes the storage control program 18 to perform read processing, that is, read the file according to the read request from the PDEV 24 and transmit it to the host system 34.
  • Step 703 The learning program 16 performs a write process. Details are shown in FIG.
  • FIG. 8 shows the flow of write processing.
  • the file (file according to the write request) is stored in the cache area 60 and not stored in the PDEV 24.
  • the file may be stored in the cache area 60 by the processor 36 or may be stored in the cache area 60 by DMA (Direct Memory Access).
  • DMA Direct Memory Access
  • Step 801 The learning program 16 determines whether or not the file (data) according to the write request is update data of the stored file. If the determination result is true (step 801: Yes), the process proceeds to step 802. If the determination result is false (step 801: No), the process proceeds to step 803.
  • Step 802 The learning program 16 performs an update write process. Details are shown in FIG.
  • Step 803 The learning program 16 performs a new write process. Details are shown in FIG.
  • FIG. 9 shows the flow of update write processing.
  • Step 901 The learning program 16 determines whether the file is of high value based on an actual measurement value such as at least one of the write count 74, data type 76, and last access time 78 of the file stored in the cache area 60. Determine whether or not. If the determination result is true (step 901: Yes), the process proceeds to step 902. If the determination result is false (step 901: No), the process proceeds to step 903. In step 901, unlike the prior value update process, the data value of the file is determined based only on the actual measurement value, and the data type 76 of the non-update file corresponding to the file may not be considered. This is because the actual value may change, and the data value may decrease or increase, but the data type 76 typically does not change.
  • an actual measurement value such as at least one of the write count 74, data type 76, and last access time 78 of the file stored in the cache area 60. Determine whether or not. If the determination result is true (step 901: Yes), the process proceeds to step 902. If the determination result is false (step 90
  • Step 903 The learning program 16 determines whether or not the file is of low value. If the determination result is true (step 903: Yes), the process proceeds to step 904. If the determination result is false (step 903: No), the process proceeds to step 905 because the file is of medium value. Note that also in step 903, unlike the previous value update process, the data value of the file may be determined based only on the actual measurement value, similarly to step 901.
  • Step 904 The learning program 16 issues a low-value data arrangement presentation 14 (see FIG. 1). Specifically, the learning program 16 notifies the host system 34 (that is, the user) to organize the data together with the file name 92 and the determination reason 94 of the file. Thereafter, the process proceeds to step 907.
  • the host system 34 that is, the user
  • Step 905 The learning program 16 instructs the storage control program 18 to perform the data amount reduction processing (compression processing or deduplication processing) of the file.
  • the storage control program 18 reduces the data capacity of the file by causing the reduction program 20 to execute the data amount reduction processing of the file in accordance with the command. Thereafter, the process proceeds to step 906.
  • Step 902 The learning program 16 causes the storage control program 18 to write the file in the cache area 60 to the high-spec PDEV 24H.
  • the storage control program 18 writes the file in the cache area 60 to the high-spec PDEV 24H. Thereafter, the process proceeds to step 907.
  • Step 906 The learning program 16 causes the storage control program 18 to write the file in the cache area 60 to the low-spec PDEV 24L.
  • the storage control program 18 writes the file in the cache area 60 to the low-spec PDEV 24L. Thereafter, the process proceeds to step 907.
  • Step 907 The learning program 16 updates the learning management table 58. For example, the learning program 16 updates at least one of the data value 84 and the determination time 86 of the file. Alternatively, for example, when the user gives a storage abandonment designation for the file in response to Step 904, the learning program 16 deletes the file from the cache area 60 and sets the file at a fixed time 96 (for example, the user The time when the storage was abandoned for the file was registered.
  • the organization notification (step 904) (low-value data organization presentation 14 (see FIG. 1)) is performed for each file, but a plurality of files may be notified together.
  • FIG. 10 shows the flow of new write processing.
  • the new write process means a write process in a case where a stored file corresponding to a file complying with the write request does not exist in the computer system 30.
  • Step 1001 The learning program 16 determines whether or not there is a stored file (similar file) similar to the file stored in the cache area 60 with reference to the content management table 52.
  • the similar file is, for example, at least one of having a file name that matches or is similar to the file name of the file, and that includes a file content whose difference from the file content of the file is a predetermined value or less.
  • a stored file that satisfies If the determination result is true (step 1001: Yes), the process proceeds to step 1002, and if the determination result is false (step 1001: No), the process proceeds to step 1004.
  • Step 1002 The learning program 16 refers to the learning management table 58 and determines whether or not the data value 84 of the similar file is “low”. If the determination result is true (step 1002: Yes), the process proceeds to step 1003. If the determination result is false (step 1002: No), the process proceeds to step 1004.
  • Step 1003 The learning program 16 performs the same processing as in Step 904. Thereafter, the process proceeds to Step 1008.
  • Step 1004 The learning program 16 determines whether or not the file is medium value based on the data type of the file. If the determination result is true (step 1004: Yes), the process proceeds to step 1005. If the determination result is false (step 1004: No), the process proceeds to step 1007.
  • step 1004 unlike the prior value update process, the data value of the file is determined based only on the data type, and the actual measurement value of the file may not be considered. This is because there are no actual measurement values (write count, read count, and last access time) described above for the new file.
  • Step 1005 The learning program 16 performs the same processing as in Step 905. Thereafter, the process proceeds to step 1006.
  • Step 1006 The learning program 16 performs the same processing as in Step 906. Thereafter, the process proceeds to Step 1008.
  • Step 1007 The learning program 16 performs the same processing as in Step 902. Thereafter, the process proceeds to Step 1008.
  • Step 1008 The learning program 16 updates the learning management table 58. For example, the learning program 16 updates at least one of the data value 84 and the determination time 86 of the file. Alternatively, for example, when the user receives a storage abandonment designation for the file in response to step 1003, the learning program 16 deletes the file from the cache area 60, and the file name 92 and the determination reason for the file. 94 and the confirmation time 96 (for example, the time when the user gave up the file for storage) is registered (the file is a new file, so an entry corresponding to the new file is registered in the low-value confirmation management table 90 for the first time). .
  • the confirmation time 96 for example, the time when the user gave up the file for storage
  • FIG. 11 shows a flow of the storage determination process performed by the user who has received the organizing notification.
  • Step 1101 The user determines whether to permit storage of the file determined to be low value. If the determination result is true (step 1101: Yes), the process proceeds to step 1103. If the determination result is false (step 1101: No), the process proceeds to step 1102.
  • Step 1102 The user notifies the computer system 30 that the file has not been stored.
  • Step 1103 The user notifies the computer system 30 of permission to store the file, and transfers the file to the computer system 30 again.
  • FIG. 12 shows a flow of permission reception processing executed by the learning program 16 that has received storage permission.
  • Step 1201 The learning program 16 performs the same processing as in Step 905. Then, it progresses to step 1202.
  • Step 1202 The learning program 16 performs the same processing as in Step 906. Thereafter, the process proceeds to step 1203.
  • Step 1203 The learning program 16 updates the data value 84 of the file from “low” to “medium”, and updates the determination time 86 of the file to the time when the data value 84 is updated to “medium”. . In addition, if there is an entry corresponding to the file (or a similar file of the file) in the low value determination management table 90, the learning program 16 deletes the entry from the table 90.
  • FIG. 13 shows a flow of abandonment reception processing executed by the learning program 16 that has received abandonment.
  • Step 1301 The learning program 16 deletes the file from the cache area 60, and registers the file name 92, the determination reason 94, and the confirmation time 96 corresponding to the file (or a similar file of the file).
  • the data value of the file is determined, and a necessary file (a file determined to be high value or medium value or determined to be low value is determined according to the determination result). Can only be stored in the PDEV 24 even if the file is allowed to be stored by the user, and the low-value file for which storage has been abandoned is prevented from being stored in the PDEV 24 (or remaining). Can do. Therefore, the data amount of the file stored in the PDEV 24 is reduced. Note that one idea that the determination of the data value is performed before storing the file instead of after storing the file is to search the similar file of the new file from the computer system 30 and find the data of the similar file found. Associate (inherit) the value with the new file.
  • Example 2 will be described. At that time, differences from the first embodiment will be mainly described, and description of common points with the first embodiment will be omitted or simplified.
  • FIG. 14 shows a flow of write processing according to the second embodiment.
  • the learning program 16 determines whether or not the file (file according to the write request) is a stored NG file. If it is determined to be NG (if the determination result is true) ) Notify the user that the file is not stored in the computer system.
  • the “stored NG file” corresponds to a private file that is not related to business or a file having a file name that matches a file name set in advance by the user as NG.
  • NG definition information which is information indicating a definition of a file regarded as a storage NG file (storage NG definition), is registered in the memory 44 in advance.
  • step 1400 is the same as step 801.
  • Step 1401 is the same as step 802.
  • Step 1403 is the same as step 803.
  • Steps 1402, 1404 and 1405 are added steps.
  • Step 1402 The learning program 16 determines whether or not the file is a stored NG file. For example, if an entry corresponding to the file exists in the low-value determination management table 90 and the file corresponds to one of the stored NG definitions represented by the above-described stored NG definition information, the determination result is true. If the determination result is true (step 1402: Yes), the process proceeds to step 1404. If the determination result is false (step 1402: No), the process proceeds to step 1403.
  • Step 1404 The learning program 16 notifies the host system 34 (that is, the user) of the data storage NG together with the file name 92 of the file and the determination reason 94 of the file. Thereafter, the process proceeds to step 1405.
  • Step 1405 The learning program 16 sets the data value 84 of the file to “low”, and registers the confirmation time 96 of the file in the low value confirmation management table 90.
  • a modified example of the low-value fixed file is shown. That is, according to the present embodiment, a file that is determined to be low value and corresponds to a predetermined storage NG definition becomes a low value fixed file. Therefore, according to the present embodiment, it is possible to find a low-value finalized file and not store (or leave) the low-value finalized file in the PDEV 24 without inquiring the user to give up storage / permit storage.
  • Example 3 will be described. At that time, the differences from the first and second embodiments will be mainly described, and the description of the common points with the first and second embodiments will be omitted or simplified.
  • FIG. 15 is a schematic diagram showing an outline of the third embodiment.
  • the same parts as those in FIG. 1 are denoted by the same reference numerals, and the configuration and operation are the same, and thus the description thereof is omitted.
  • a post-storage learning program 218 is added.
  • the post-storage learning program 218 determines the data value of the file asynchronously with the processing of the write request 12 and issues a data organization presentation 224 to the user.
  • the learning program 16 and the post-storage learning program 218 can link the data value determination results to each other by referring to and updating the same (common) learning management table 58.
  • a file determined to be low value by the post-storage learning program 218 is determined to be deletion target data 220, and after the data amount reduction processing is performed by the reduction program 20, it is temporarily stored in the minimum specification PDEV24ML. Thereafter, the post-storage learning determination program 218 receives the file deletion determination result 225 (for example, a response to the data organization presentation 224) from the user.
  • FIG. 16 shows a flow of post-storage learning processing.
  • Step 1601 The post-storage learning program 218 determines whether there is a learning target file. If the determination result is true (step 1601: Yes), the process proceeds to step 1602, and if the determination result is false (step 1601: No), the processing is completed.
  • Step 1602 The post-storage learning program 218 determines whether or not the file is of low value based on at least one of the write count 74, read count 72, data type 76, and last access time 78 of the learning target file. Alternatively, the determination is made based on the data value 84 of the file. If the determination result is true (step 1602: Yes), the process proceeds to step 1603. If the determination result is false (step 1602: No), the process returns to step 1601.
  • Step 1603 The post-storage learning program 218 issues a data arrangement presentation 224 (see FIG. 15). Specifically, the post-storage learning program 218 notifies the host system 34 (that is, the user) to organize the data together with the file name 92 and the determination reason 94 of the file. Thereafter, the process proceeds to step 1604.
  • the host system 34 that is, the user
  • Step 1604 The post-storage learning program 218 updates the learning management table 58. For example, the post-storage learning program 218 updates at least one of the data value 84 and the determination time 86 of the file. Alternatively, for example, when the user gives a storage abandonment designation for the file in response to step 1603, the post-storage learning program 218 determines the confirmation time 96 for the file (for example, the time when the user gave the storage abandonment for the file). ). Thereafter, the process proceeds to step 1605.
  • Step 1605 The post-storage learning program 218 instructs the storage control program 18 to perform the data amount reduction processing (compression processing or deduplication processing) of the file.
  • the storage control program 18 reduces the data capacity of the file by causing the reduction program 20 to execute the data amount reduction processing of the file in accordance with the command. Thereafter, the process proceeds to step 1606.
  • Step 1606 The post-storage learning program 218 causes the storage control program 18 to move the file from the PDEV 24 storing the file to the lowest specification PDEV (for example, HDD having a SATA interface) 24ML.
  • the storage control program 18 moves the file from the PDEV 24 in which the file is stored to the minimum specification PDEV 24ML. Thereby, it can be avoided that the file determined to be low value remains in the PDEV 24 having a higher specification than the minimum specification PDEV 24ML. Thereafter, the process returns to step 1601.
  • FIG. 17 shows a flow of the deletion determination process performed by the user who has received the organizing notification.
  • This process is a process in which the user who has received the notification in step 1603 of FIG. 16 determines the processing method of the file and notifies the computer system 30 of the file. The user may notify the computer system 30 of a plurality of file processing methods collectively.
  • Step 1701 The user determines whether or not the file (notified file) can be deleted. If the determination result is true (step 1701: Yes), the process proceeds to step 1704. If the determination result is false (step 1701: No), the process proceeds to step 1702.
  • Step 1704 The user notifies the computer system 30 to delete the file.
  • the post-storage learning program 218 of the computer system 30 deletes the file from the PDEV 24, and deletes the entry corresponding to the file from the content management table 52 and the learning target management table 80.
  • the post-storage learning program 218 keeps the entry corresponding to the file, which is in the low-value determination management table 90, in the low-value determination management table 90.
  • Step 1702 The user notifies the computer system 30 not to delete the file.
  • the post-storage learning program 218 of the computer system 30 that has received the notification updates the data value 84 of the file to “medium”. Thereafter, the process proceeds to step 1703.
  • Step 1703 The post-storage learning program 218 causes the storage control program 18 to move the file from the lowest spec PDEV 24ML storing the file to the low spec PDEV 24L.
  • the storage control program 18 moves the file from the lowest specification PDEV 24ML to the low specification PDEV 24L.
  • the data value automatically determined for the file can be updated to the correct data value according to the answer (notification) from the user, and the file is moved to the PDEV 24 of the specification corresponding to the updated data value. Can do.
  • a file determined to be low value is moved to the minimum specification PDEV24ML regardless of whether or not a deletion determination result is received from the user, and then whether or not a notification of deletion is received from the user. Accordingly, the file is deleted from the minimum specification PDEV 24ML or moved from the minimum specification PDEV 24ML to the low specification 24L.
  • the file is moved between the low-spec PDEV 24L and the minimum-spec PDEV 24ML, but the move source or the move destination may be the PDEV 24 according to the data value of the file. For example, when the data value of a file is changed from “high” to “low”, the file may be moved from the high spec PDEV 24H to the minimum spec PDEV 24ML.
  • the method for determining the data value of the stored file is not limited to the above example. For example, if the number of files similar to a certain stored file exceeds a threshold value K (K is an integer of 1 or more), the data value of the stored file may be determined as “low”. If it is less than or equal to K, the data value of the stored file may be determined as “medium” or “high”. Since both the pre-learning process and the post-storage learning process are executed asynchronously with the I / O request process, these processes can be collectively referred to as “asynchronous learning process”. Asynchronous learning processing may be performed only for a stored file that has exceeded a predetermined time from the determination time 86 instead of all stored files for which the processing has not been performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

ライト要求の処理であるライト処理において、計算機システムが、以下の（Ａ）～（Ｃ） （Ａ）当該ライト要求に従うデータであってキャッシュ領域に格納されているライト対象データを、１以上の記憶デバイスのいずれかに格納する前に、その１以上の記憶デバイスのいずれかに格納済のデータ毎のデータアクセス状況及びデータ種別を表す格納済データ管理情報を含んだ管理情報を基に、当該ライト対象データのデータ価値を判定すること、 （Ｂ）当該ライト対象データについて判定されたデータ価値が所定の価値以上の場合、当該ライト対象データを１以上の記憶デバイスのいずれかに格納すること、 （Ｃ）当該ライト対象データについて判定されたデータ価値が所定の価値未満の場合、当該ライト対象データを１以上の記憶デバイスのいずれにも格納しないこと、 を実行する。

Description

データの格納を制御する計算機システム及び方法
　本発明は、概して、データの格納の制御に関する。
　データ格納制御に関する技術として、例えば、特許文献１に開示の技術が知られている。特許文献１は、モニタリングされている空きストレージ容量が閾値を下回ったときに、最も低いレベルに分類されたデータ・セグメントを削除することで、空きストレージ容量を回復させることを開示している。
ＵＳ２０１６／００６２６８９
　特許文献１によれば、ストレージ容量を回復させることは出来るが、判定等の処理をしている間に空きストレージ容量が閾値に達してしまい、結果として、ライト要求を受け付けられない可能性がある。
　ライト要求の処理であるライト処理において、計算機システムが、以下の（Ａ）～（Ｃ）
（Ａ）当該ライト要求に従うデータであってキャッシュ領域に格納されているライト対象データを、１以上の記憶デバイスのいずれかに格納する前に、その１以上の記憶デバイスのいずれかに格納済のデータ毎のデータアクセス状況及びデータ種別を表す格納済データ管理情報を含んだ管理情報を基に、当該ライト対象データのデータ価値を判定すること、
（Ｂ）当該ライト対象データについて判定されたデータ価値が所定の価値以上の場合、当該ライト対象データを１以上の記憶デバイスのいずれかに格納すること、
（Ｃ）当該ライト対象データについて判定されたデータ価値が所定の価値未満の場合、当該ライト対象データを１以上の記憶デバイスのいずれにも格納しないこと、
を実行する。
　データ価値が所定の価値未満のデータを１以上の記憶デバイスのいずれにも格納しないようにすることができる。
実施例１の概略を示す模式図。 実施例１に係る計算機システムを含んだ情報システムの全体構成を示すブロック図。 コンテンツ管理テーブルを示す図。 学習管理テーブルを示す図。 事前学習処理のフローを示す図。 価値更新処理のフローを示す図。 ホストＩ／Ｏ処理のフローを示す図。 ライト処理のフローを示す図。 更新ライト処理のフローを示す図。 新規ライト処理のフローを示す図。 格納判定処理のフローを示す図。 許可受信処理のフローを示す図。 断念受信処理のフローを示す図。 実施例２に係るライト処理のフローを示す図。 実施例３の概略を示す模式図。 格納後学習処理のフローを示す図。 削除判定処理のフローを示す図。
　以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうち共通符号を使用し、同種の要素を区別する場合は、参照符号を使用することがある。例えば、ＰＤＥＶを区別しない場合には、「ＰＤＥＶ２４」と言い、ＰＤＥＶを区別する場合には、「高スペックＰＤＥＶ２４Ｈ」、「低スペックＰＤＥＶ２４Ｌ」のように言う。
　また、以下の説明では、「ＰＤＥＶ」は、物理的な記憶デバイス、典型的には、不揮発性の記憶デバイスを意味する。ＰＤＥＶは、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。
　また、以下の説明では、「インターフェース部」は、１以上のインターフェースを含む。１以上のインターフェースは、１以上の同種のインターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
　また、以下の説明では、「記憶部」は、１以上のメモリを含む。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。記憶部は、主に、プロセッサ部による処理の際に使用される。
　また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサである。１以上のプロセッサの各々は、シングルコアでもよいしマルチコアでもよい。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
　また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及びインターフェース部のうちの少なくとも１つを用いながら行うため、処理の主語が、プロセッサ部（或いは、プロセッサ部を有する計算機又は計算機システム）とされてもよい。プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。また、プログラムが実行されることによって実現される処理のうちの少なくとも一部が、ハードウェア回路（例えばＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array））によって実現されてもよい。
　また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
　また、以下の説明では、「時刻」は、年月日時分秒の単位で表現されるが、時刻の単位は、それよりも粗くても細かくてもよいし、また異なる単位でもよい。
　また、以下の説明では、「計算機システム」は、物理的な計算機と物理的なストレージ装置とのうちの少なくとも１つを含む。少なくとも１つの物理的な計算機が、仮想的な計算機（例えばＶＭ（Virtual Machine））を実行してもよい。少なくとも１つの物理的な計算機又は少なくとも１つのストレージ装置が、ＳＤｘ（Software-Defined anything）を実行してもよい。ＳＤｘとしては、例えば、ＳＤＳ（Software Defined Storage）（仮想的なストレージ装置の一例）又はＳＤＤＣ（Software-defined Datacenter）を採用することができる。
　また、以下の説明では、「管理システム」は、１以上の計算機で構成されてよい。具体的には、例えば、管理計算機が表示デバイスを有していて管理計算機が自分の表示デバイスに情報を表示する場合、管理計算機が管理システムでよい。また、例えば、管理計算機（例えばサーバ）が表示用情報を遠隔の表示用計算機（例えばクライアント）に送信し表示用計算機がその情報を表示する場合（管理計算機が表示用計算機に情報を表示する場合）、管理計算機と表示用計算機とのうちの少なくとも管理計算機を含んだシステムが管理システムでよい。
　また、以下の説明では、「ホストシステム」は、１以上のホスト計算機で構成されてよい。
　以下、図面を参照して、本発明の幾つかの実施例を説明する。なお、以下の説明では、低価値と判定されたデータを「低価値データ」と言い、中価値と判定されたデータを「中価値データ」と言い、高価値と判定されたデータを「高価値データ」と言う。なお、データ価値は、低・中・高の３段階に限らず、２段階であってもよいし４段階以上であってもよい。
　図１は、本実施例の概略を示す模式図である。
　計算機システム３０は、１以上のＰＤＥＶ２４、典型的には、複数のＰＤＥＶ２４を有する。複数のＰＤＥＶ２４は、高スペックＰＤＥＶ２４Ｈ及び低スペック２４Ｌを含む。ＰＤＥＶのスペックは、ＰＤＥＶが有する機能、記憶容量、信頼性及び性能（例えばＩ／Ｏ速度）のうちの少なくとも１つに依存してよい。高スペックＰＤＥＶは、相対的にスペックが高いＰＤＥＶ（例えば、高機能、大記憶容量、高信頼性及び高性能（例えば高Ｉ／Ｏ速度）のうちの少なくとも１つを持つＰＤＥＶ、例えば、ＳＳＤ（Solid State Drive）である。低スペックＰＤＥＶ２４Ｌは、相対的にスペックが低いＰＤＥＶ（例えば、低機能、小記憶容量、低信頼性及び低性能（例えば低Ｉ／Ｏ速度）のうちの少なくとも１つを持つＰＤＥＶ）、例えば、ＳＡＳ（Serial Attached SCSI）インターフェースを有するＨＤＤ（Hard Disk Drive）である。複数のＰＤＥＶ２４のうちの少なくとも１つが、計算機システム３０の外にあってもよい。また、ＰＤＥＶの種別が同じ場合、高スペックＰＤＥＶ２４Ｈは、大記憶容量のＰＤＥＶでよく、低スペックＰＤＥＶ２４Ｌは、小記憶容量のＰＤＥＶでよい。
　計算機システム３０は、学習プログラム１６、ストレージ制御プログラム１８及び削減プログラム２０を実行する。
　学習プログラム１６は、ライト要求に従うデータであるライト対象データのデータ価値を判定する。ライト要求は、典型的にはユーザ（例えば後述のホストシステム）からのライト要求であるが、遠隔の計算機システム（図示せず）からのコピー要求相当のライト要求のような他種のライト要求でもよい。また、「ライト要求」としては、更新データをライト対象データとした「更新ライト要求」と、新規データをライト対象データとした「新規ライト要求」とがある。「格納済データ」は、複数のＰＤＥＶ２４のいずれかに格納されているデータである。「更新データ」は、そのデータに対応する格納済データの更新のためのデータである。「新規データ」とは、そのデータに対応する格納済データの存在しない新たなデータを意味する。
　学習プログラム１６は、データ価値の判定を、ライト対象データを複数のＰＤＥＶ２４のいずれかに格納する前に実行する。学習プログラム１６は、データ価値の判定の結果によっては、当該ライト対象データをいずれのＰＤＥＶ２４にも格納せず、所定の応答（例えば格納非実行を意味する応答）を、ライト要求の送信元に返す。ここで言う「データ価値の判定」の対象となるデータは、非更新データ（更新データにより更新される格納済データ）又は新規データである。「データ価値」は、データアクセス状況と、データ種別とのうちの少なくとも１つに依存する。「データアクセス状況」は、リード回数、ライト回数及び最終アクセス時刻のうちの少なくとも１つに依存する。「データ種別」は、データのファイル識別子、データの属性、及び、データの送信元デバイスの種別のうちの少なくとも１つに依存する。
　ストレージ制御プログラム１８は、複数のＰＤＥＶ２４に対するデータの入出力を行う。例えば、ストレージ制御プログラム１８は、ライト要求に従うライト対象データをいずれかのＰＤＥＶ２４に格納したり、リード要求に従うデータであるリード対象データをそのデータを格納しているＰＤＥＶから読み出してリード要求の送信元に送信したりする。
　削減プログラム２０は、データ量削減処理を実行する。データ量削減処理とは、データ量を削減するための処理であり、典型的には、圧縮処理及び重複排除処理のうちの少なくとも１つである。削減プログラム２０は、リード対象の圧縮済データ（圧縮されているデータであって格納済データ）を伸張したり、リード対象データと重複しているデータを見つけて返したりすることができてもよい。削減プログラム２０が行う処理の少なくとも一部（例えば圧縮処理又は伸張処理）は、ハードウェア回路によって実現されてもよい。
　学習プログラム１６は、ユーザからライト要求１２を受けた場合、そのライト要求１２に従うライト対象データのデータ価値を判定する。
　ライト対象データが低価値と判定された場合、学習プログラム１６は、ユーザへ低価値データ整理提示１４を出力する。低価値データ整理提示１４とは、低価値データを整理すること（例えば少なくとも１つの低価値データを計算機システム３０から削除すること）の提示である。当該提示１４は、例えば、低価値と判定されたライト対象データのＩＤ（例えばファイル名）と、ライト対象データ以外の格納済の低価値データのＩＤとのうちの少なくとも１つも含んでよい。「ライト対象データ以外の格納済の低価値データ」は、低価値と判定されたライト対象データに類似する格納済の低価値データに限定されてもよい。
　ライト対象データが高価値又は中価値と判定された場合、学習プログラム１６は、高価値又は中価値と判定されたライト対象データを、ストレージ制御プログラム１８経由でいずれかのＰＤＥＶ２４に格納する。高価値データ２２は、高スペックＰＤＥＶ２４へ格納される。中価値データ２８は、削減プログラム２０を経由し低スペックＰＤＥＶ２６へ格納される。
　本実施例により、データの格納前にデータ価値を判定し、その判定結果に応じて、必要なデータのみをＰＤＥＶ２４へ格納することができ、不要なデータが一時的にでもＰＤＥＶ２４に格納されてしまうことを回避することができる。故に、ＰＤＥＶ２４に格納されるデータの量が削減される。結果として、ＰＤＥＶ２４の数を制約でき、ストレージ管理コストを削減することが期待できる。例えば、特に、企業向け社内文書管理システムにおいて、格納しても実際には使われる可能性の低いデータの格納を避けることができる。
　以下、本実施例を詳細に説明する。
　図２は、計算機システム３０を含んだ情報システムの全体構成を示すブロック図である。
　計算機システム３０に、通信ネットワーク（例えばＩＰ（Internet Protocol）ネットワーク）を介して管理システム３２及びホストシステム３４が接続されている。管理システム３２が、計算機システム３０を管理する。ホストシステム３４が、計算機システム３０にＩ／Ｏ（Input/Output）要求を送信する。
　計算機システム３０は、本実施例ではファイルストレージシステムであるが、オブジェクトストレージシステムのような他種の計算機システムでも構わない。つまり、本実施例において、「データ」は、典型的にはファイルを意味するが、オブジェクトのような他種のデータでもよい。計算機システム３０は、ネットワークインターフェース（Ｉ／Ｆ）３８、複数のＰＤＥＶ２４（１以上の高スペックＰＤＥＶ２４Ｈ及び１以上の低スペックＰＤＥＶ２４Ｌ）、メモリ４４、及び、それらに接続されたプロセッサ３６を有する。Ｉ／Ｆ３８経由で、Ｉ／Ｏ要求の受信、Ｉ／Ｏ要求に対する応答の送信が行われる。
　プロセッサ３６は、少なくとも１つのコンピュータプログラムを実行することにより、複数のＰＤＥＶ２４を管理する。
　メモリ４４は、プロセッサ３６により実行される１以上のコンピュータプログラムであるプログラム群６２と、少なくとも１つのコンピュータプログラムにより参照される情報である管理情報６４とを格納する。メモリ４４には、ＰＤＥＶ２４に入出力されるデータが一時的に格納されるキャッシュ領域６０が設けられる。
　プログラム群６２は、ストレージ制御プログラム１８、削減プログラム２０及び学習プログラム１６を含む。管理情報６４は、ファイル（コンテンツ）に関する情報を保持するコンテンツ管理テーブル５２及び学習結果に関する情報を保持する学習管理テーブル５８を含む。
　上述したように、計算機システム３０の構成は、図２に示した構成に限られない。例えば、例えば、ホストシステム３４に代えて、計算機システム３０において、Ｉ／Ｏ要求を発行する仮想的なホストシステム（例えばＶＭ（Virtual Machine））が実行されてもよい。その場合、学習プログラム１６は、計算機システム３０内の仮想的なホストシステムからライト要求を受ける。
　図３は、コンテンツ管理テーブル５２を示す。
　コンテンツ管理テーブル５２は、格納済データ管理情報の一例である。コンテンツ管理テーブル５２は、格納済ファイル毎に、ファイル名７０、リード回数７２、ライト回数７４、データ種別７６及び最終アクセス時刻７８といった情報を保持する。「格納済ファイル」とは、いずれかのＰＤＥＶ２４に格納されているファイルである。
　ファイル名７０は、ファイルの名称である。リード回数７２は、ファイルがリードされた回数を表す。ライト回数７４は、ファイルがライトされた回数（例えば、新規ライトと更新ライトの合計）を表す。データ種別７６は、ファイルの種別を表す。最終アクセス時刻７８は、ファイルが最後にリード又はライトされた時刻を表す。
　ファイルの種別は、ファイルの識別子、ファイルの属性、及び、ファイルに含まれるデータの送信元デバイスの種別のうちの少なくとも１つに依存する。例えば、ファイルの種別として、機密ファイルであることを意味する“機密”、ログデータを含んだファイルであることを意味する“ログ”、及び、センサからのデータを含んだファイルであることを意味する“センサ”がある。
　新規ライト処理によりいずれかのＰＤＥＶ２４にファイルが格納された場合、そのファイルに対応したエントリ（行）がコンテンツ管理テーブル５２に追加され、且つ、そのファイルについて、ライト回数７４、データ種別７６及び最終アクセス時刻７８が更新される。その後、そのファイルにアクセスがあると、そのファイルに対応したリード回数７２又はライト回数７４と、最終アクセス時刻７８とが更新される。リード回数７２、ライト回数７４、データ種別７６及び最終アクセス時刻７８のうちの少なくとも１つが、データ価値を判定する際に参照される。
　図４は、学習管理テーブル５８を示す。
　学習管理テーブル５８は、２種類のテーブル、具体的には、学習対象管理テーブル８０及び低価値確定管理テーブル９０を含む。また、学習管理テーブル５８は、ライト回数基準値９１、リード回数基準値９３及び最終アクセス時刻基準値９５といった情報を含む。
　学習対象管理テーブル８０は、学習処理（データ価値判定）がされたファイル毎に、ファイル名８２、データ価値８４及び判定時刻８６といった情報を保持する。ファイル名８２は、ファイルの名称である。データ価値８４は、判定されたデータ価値（つまり、“高”、“中”及び“低”のいずれか）を表す。判定時刻８６は、データ価値が判定された時刻を表す。
　低価値確定管理テーブル９０は、低価値確定ファイル（データ価値が“低”と判定され、かつ、ユーザからも格納不要（格納断念）と判定されたファイル）に関する情報を保持する。低価値確定管理テーブル９０は、低価値確定ファイル毎に、ファイル名９２、判定理由９４及び確定時刻９６といった情報を保持する。判定理由９４は、低価値（データ価値“低”）と判定された理由を表す。判定理由９４として採用される理由としては、例えば、他に同じファイル名又はファイル内容の差分が少ないファイルが既に格納されていることを意味する“重複ファイルあり”、既に低価値と判定されているファイルとファイル名又は内容が類似していることを意味する“類似度価値判定”、又は、業務上不必要であるプライベートな内容を含むファイルであることを意味する“業務上不要ファイル”などがある。
　データ価値判定の基準として、ライト回数基準値９１、リード回数基準値９３及び最終アクセス時刻基準値９５が設けられる。これらの基準値９１、９３及び９５の各々について、当該基準値を超えているか否か、及び、当該基準値との差分の大きさ、のうちの少なくとも１つを基に、データ価値が判定される。例えば、現在時刻が属する日付から半年前を意味する最終アクセス時刻基準値９５よりも過去の時刻を表している最終アクセス時刻７８に対応したファイル、つまり、半年以内にアクセスがないファイルについては、データ価値が、現在の価値より１段階下の価値に下げられてもよい。これらの基準値９１、９３及び９５のうちの少なくとも１つは、システム初期設定時に設定してもよいし、管理システム３２が計算機システム３０の運用中に適宜設定又は更新しもよい。
　以下、本実施例で行われる幾つかの処理を説明する。
　図５は、事前学習処理のフローを示す。
　ファイルのデータ価値を、当該ファイルをＰＤＥＶに格納する前に判定するためには、予め格納済ファイルのデータ価値を学習する必要がある。事前学習処理は、定期的に、ホストＩ／Ｏ処理とは非同期に、全ての格納済ファイルについて実施される。ライト回数又はリード回数が増える等によって当該ファイルのデータ価値が変わっている可能性があるためである。なお、事前学習処理は、一定期間繰り返し実施された後は、実施されないでよい。この点は、ホストＩ／Ｏ処理（ライト処理）とは非同期で低定期に実施される後述の格納後学習処理（実施例３）とは異なる。事前学習集処理は、ライト処理においてデータ価値を判定することを可能にすることを目的とした処理である。
　ステップ５０１：学習プログラム１６は、学習対象ファイルが有るか否かを判定する。判定結果が真の場合（ステップ５０１：Ｙｅｓ）、ステップ５０２へ進み、判定結果が偽の場合（ステップ５０１：Ｎｏ）、処理完了となる。
　ステップ５０２：学習プログラム１６は、当該ファイルのデータ価値を判定するため、コンテンツ管理テーブル５２の当該ファイルについての情報（エントリ）を参照する。その後、ステップ５０３へ進む。
　ステップ５０３：学習プログラム１６は、当該ファイルのデータ価値を判定し更新する価値更新処理を実行する。価値更新処理の詳細は図６に示す。その後、ステップ５０１へ戻る。
　図６は、価値更新処理のフローを示す。以下、１つの学習対象ファイルを例に取り説明する。
　ステップ６０１：学習プログラム１６は、学習管理テーブル５８に設定済みのライト回数基準値９１とリード回数基準値９３を、学習対象ファイルのライト回数７４とリード回数７２がそれぞれ超過しているか否かを判定する。判定結果が真の場合、すなわち、ライト回数７４がライト回数基準値９１を超えているか、又は、リード回数７２がリード回数基準値９３を超えている場合（ステップ６０１：Ｙｅｓ）、ステップ６０２へ進む。判定結果が偽の場合（ステップ６０１：Ｎｏ）、ステップ６０４へ進む。
　ステップ６０２：学習プログラム１６は、当該ファイルの最終アクセス時刻７８が最終アクセス時刻基準値９５を超えているか否か（つまり、一定期間を超えてアクセスが無かった否か）を判定する。判定結果が真の場合（ステップ６０２：Ｙｅｓ）、ステップ６０４へ進み、判定結果が偽の場合（ステップ６０２：Ｎｏ）、ステップ６０３へ進む。
　ステップ６０４：学習プログラム１６は、当該ファイルのデータ種別７６が“機密”か否かを判定する。判定結果が真の場合（ステップ６０４：Ｙｅｓ）、ステップ６０３へ進み、判定結果が偽の場合（ステップ６０４：Ｎｏ）、ステップ６０５へ進む。
　ステップ６０５：学習プログラム１６は、当該ファイルのデータ種別７６が“センサ”か否かを判定する。判定結果が真の場合（ステップ６０５：Ｙｅｓ）、ステップ６０６へ進み、判定結果が偽の場合（ステップ６０５：Ｎｏ）、ステップ６０７へ進む。
　ステップ６０７：学習プログラム１６は、当該ファイルを低価値と判定する、すなわち、当該ファイルのファイル名８２、データ価値８４“低”及び判定時刻８６を登録又は更新する。その後、ステップ６０８へ進む。
　ステップ６０６：学習プログラム１６は、当該ファイルを中価値と判定する、すなわち、当該ファイルのファイル名８２、データ価値８４“中”及び判定時刻８６を登録又は更新する。
　ステップ６０３：学習プログラム１６は、当該ファイルを高価値と判定する、すなわち、当該ファイルのファイル名８２、データ価値８４“高”及び判定時刻８６を登録又は更新する。
　ステップ６０８：学習プログラム１６は、低価値確定ファイル９０に、当該ファイルのファイル名９２及び判定理由９４を登録する。今回の場合は、判定理由９４は、例えば、“低価値判定”でよい。なお、今回の登録は、暫定的な登録である。後の処理において、当該ファイルについて、ユーザから格納断念（不要）の指定を受けた場合に、学習プログラム１６により確定時刻９６が登録され、一方、ユーザから格納許可の指定を受けた場合、今回登録されたファイル名９２及び判定理由９４は学習プログラム１６により低価値確定管理テーブル９０から削除されてよい。
　以上より、価値更新処理の完了となる。
　なお、図６に例示の価値更新処理の意義の一例は、以下の通りである。
　すなわち、アクセス回数（ライト回数７４又はリード回数７２）が基準値９１又は９３より多く、かつ、最終アクセス時刻７８が基準値９５を超えない（つまり、一定時間以内にアクセスされた）ファイルは、当該ファイルのデータ種別７６に関わらず高価値と判定される。すなわち、本実施例に係るデータ価値判定では、ライト回数７４、リード回数７２及び最終アクセス時刻７８といった実測値としてのデータアクセス状況が最も信頼される。
　アクセス回数が基準値９１又は９３以下、及び、一定時間経ってもアクセスされない、のうちのいずれかに該当するファイルについて、実測値としてのデータアクセス状況以外の属性、例えばデータ種別７６が考慮される。データ種別７６“機密”のファイルは、高価値と判定される。データ種別７６“センサ”のファイルは、中価値と判定される。その理由の一例として、センサデータは、一般に、或る程度蓄積された後に分析等で使用されることがある。データ種別７６が“機密”及び“センサ”のいずれにも該当しないファイルが、低価値と判定される。
　図７は、ホストＩ／Ｏ処理のフローを示す。ホストＩ／Ｏ処理は、ホストシステム３４からＩ／Ｏ要求を計算機システム３０が受信した場合に開始される。
　ステップ７０１：学習プログラム１６は、Ｉ／Ｏ要求がライト要求か否かを判定する。判定結果が真の場合（ステップ７０１：Ｙｅｓ）、ステップ７０３へ進み、判定結果が偽の場合（ステップ７０１：Ｎｏ）、ステップ７０２へ進む。
　ステップ７０２：学習プログラム１６は、リード処理、すなわち、当該リード要求に従うファイルをＰＤＥＶ２４から読み出してホストシステム３４へ送信することをストレージ制御プログラム１８に実施させる。
　ステップ７０３：学習プログラム１６は、ライト処理を実施する。詳細は図８に示す。
　図８は、ライト処理のフローを示す。なお、ライト処理の開始時点では、当該ファイル（当該ライト要求に従うファイル）は、キャッシュ領域６０に格納されており、ＰＤＥＶ２４には格納されていない。当該ファイルは、プロセッサ３６によりキャッシュ領域６０に格納されてもよいし、ＤＭＡ（Direct Memory Access）によりキャッシュ領域６０に格納されてもよい。
　ステップ８０１：学習プログラム１６は、当該ライト要求に従うファイル（データ）が格納済ファイルの更新データか否かを判定する。判定結果が真の場合（ステップ８０１：Ｙｅｓ）、ステップ８０２へ進み、判定結果が偽の場合（ステップ８０１：Ｎｏ）、ステップ８０３へ進む。
　ステップ８０２：学習プログラム１６は、更新ライト処理を実施する。詳細は図９に示す。
　ステップ８０３：学習プログラム１６は、新規ライト処理を実施する。詳細は図１０に示す。
　図９は、更新ライト処理のフローを示す。
　ステップ９０１：学習プログラム１６は、キャッシュ領域６０に格納されている当該ファイルのライト回数７４、データ種別７６及び最終アクセス時刻７８のうちの少なくとも１つといった実測値を基に、当該ファイルが高価値か否かを判定する。判定結果が真の場合（ステップ９０１：Ｙｅｓ）、ステップ９０２へ進み、判定結果が偽の場合（ステップ９０１：Ｎｏ）、ステップ９０３へ進む。なお、ステップ９０１では、事前価値更新処理とは異なり、実測値のみを基に当該ファイルのデータ価値が判定され、当該ファイルに対応した非更新ファイルのデータ種別７６は考慮されないでよい。実測値は変わることがあるため、データ価値が下がる又は上がることがあり得るが、データ種別７６は、典型的には変わらないためである。
　ステップ９０３：学習プログラム１６は、当該ファイルが低価値か否かを判定する。判定結果が真の場合（ステップ９０３：Ｙｅｓ）、ステップ９０４へ進み、判定結果が偽の場合（ステップ９０３：Ｎｏ）、当該ファイルが中価値のためステップ９０５へ進む。なお、ステップ９０３でも、ステップ９０１と同様、事前価値更新処理とは異なり、実測値のみを基に当該ファイルのデータ価値が判定されてよい。
　ステップ９０４：学習プログラム１６は、低価値データ整理提示１４（図１参照）を出す。具体的には、学習プログラム１６は、当該ファイルのファイル名９２及び判定理由９４と共にデータ整理するようホストシステム３４（つまりユーザ）へ通知を出す。その後、ステップ９０７へ進む。
　ステップ９０５：学習プログラム１６は、当該ファイルのデータ量削減処理（圧縮処理もしくは重複排除処理）を実施することをストレージ制御プログラム１８に命じる。ストレージ制御プログラム１８は、その命令に応じて、当該ファイルのデータ量削減処理を削減プログラム２０に実施させることで、当該ファイルのデータ容量を削減させる。その後、ステップ９０６へ進む。
　ステップ９０２：学習プログラム１６は、キャッシュ領域６０内の当該ファイルを高スペックＰＤＥＶ２４Ｈへ書き込むことをストレージ制御プログラム１８に実施させる。ストレージ制御プログラム１８が、キャッシュ領域６０内の当該ファイルを高スペックＰＤＥＶ２４Ｈへ書き込む。その後、ステップ９０７へ進む。
　ステップ９０６：学習プログラム１６は、キャッシュ領域６０内の当該ファイルを低スペックＰＤＥＶ２４Ｌへ書き込むことをストレージ制御プログラム１８に実施させる。ストレージ制御プログラム１８が、キャッシュ領域６０内の当該ファイルを低スペックＰＤＥＶ２４Ｌへ書き込む。その後、ステップ９０７へ進む。
　ステップ９０７：学習プログラム１６は、学習管理テーブル５８を更新する。例えば、学習プログラム１６は、当該ファイルのデータ価値８４及び判定時刻８６のうちの少なくとも１つを更新する。あるいは、例えば、ステップ９０４に応答してユーザから当該ファイルについて格納断念の指定を受けた場合、学習プログラム１６は、当該ファイルをキャッシュ領域６０から削除し、且つ、当該ファイルについて確定時刻９６（例えばユーザから当該ファイルについて格納断念を受けた時刻）を登録する。
　本実施例では、ファイル毎に整理通知（ステップ９０４）（低価値データ整理提示１４（図１参照））が実施されるが、複数ファイル分纏めて当該通知がされてもよい。
　図１０は、新規ライト処理のフローを示す。新規ライト処理は、上述したように、当該ライト要求に従うファイルに対応した格納済ファイルが計算機システム３０内に存在しないケースでのライト処理を意味する。
　ステップ１００１：学習プログラム１６は、キャッシュ領域６０に格納されている当該ファイルと類似した格納済ファイル（類似ファイル）が存在するか否かを、コンテンツ管理テーブル５２を参照して判定する。類似ファイルとは、例えば、当該ファイルのファイル名と一致又は類似しているファイル名を有すること、及び、当該ファイルのファイル内容との差分が所定値以下のファイル内容を含んでいることの少なくとも１つを満たす格納済ファイルである。判定結果が真の場合（ステップ１００１：Ｙｅｓ）、ステップ１００２へ進み、判定結果が偽の場合（ステップ１００１：Ｎｏ）、ステップ１００４へ進む。
　ステップ１００２：学習プログラム１６は、学習管理テーブル５８を参照し、類似ファイルのデータ価値８４が“低”か否かを判定する。判定結果が真の場合（ステップ１００２：Ｙｅｓ）、ステップ１００３へ進み、判定結果が偽の場合（ステップ１００２：Ｎｏ）、ステップ１００４へ進む。
　ステップ１００３：学習プログラム１６は、ステップ９０４と同様の処理を実施する。その後、ステップ１００８へ進む。
　ステップ１００４：学習プログラム１６は、当該ファイルのデータ種別を基に、当該ファイルが中価値か否かを判定する。判定結果が真の場合（ステップ１００４：Ｙｅｓ）、ステップ１００５へ進み、判定結果が偽の場合（ステップ１００４：Ｎｏ）、ステップ１００７へ進む。なお、ステップ１００４は、事前価値更新処理とは異なり、データ種別のみを基に当該ファイルのデータ価値が判定され、当該ファイルの実測値は考慮されないでよい。新規ファイルについて上述した実測値（ライト回数、リード回数及び最終アクセス時刻）は無いためである。
　ステップ１００５：学習プログラム１６は、ステップ９０５と同様の処理を実施する。その後、ステップ１００６へ進む。
　ステップ１００６：学習プログラム１６は、ステップ９０６と同様の処理を実施する。その後、ステップ１００８へ進む。
　ステップ１００７：学習プログラム１６は、ステップ９０２と同様の処理を実施する。その後、ステップ１００８へ進む。
　ステップ１００８：学習プログラム１６は、学習管理テーブル５８を更新する。例えば、学習プログラム１６は、当該ファイルのデータ価値８４及び判定時刻８６のうちの少なくとも１つを更新する。あるいは、例えば、ステップ１００３に応答してユーザから当該ファイルについて格納断念の指定を受けた場合、学習プログラム１６は、当該ファイルをキャッシュ領域６０から削除し、且つ、当該ファイルについてファイル名９２、判定理由９４及び確定時刻９６（例えばユーザから当該ファイルについて格納断念を受けた時刻）を登録する（当該ファイルは新規ファイルのため、低価値確定管理テーブル９０に初めて新規ファイルに対応したエントリが登録される）。
　図１１は、整理通知を受けたユーザが実施する格納判定処理のフローを示す。
　ステップ１１０１：ユーザは、低価値と判定された当該ファイルの格納を許可するか否かを判定する。判定結果が真の場合（ステップ１１０１：Ｙｅｓ）、ステップ１１０３へ進み、判定結果が偽の場合（ステップ１１０１：Ｎｏ）、ステップ１１０２へ進む。
　ステップ１１０２：ユーザは、計算機システム３０へ当該ファイルの格納断念を通知する。
　ステップ１１０３：ユーザは、計算機システム３０へ当該ファイルの格納許可を通知し、かつ、当該ファイルを再度計算機システム３０へ転送する。
　図１２は、格納許可を受けた学習プログラム１６が実施する許可受信処理のフローを示す。
　ステップ１２０１：学習プログラム１６は、ステップ９０５と同様の処理を実施する。その後、ステップ１２０２へ進む。
　ステップ１２０２：学習プログラム１６は、ステップ９０６と同様の処理を実施する。その後、ステップ１２０３へ進む。
　ステップ１２０３：学習プログラム１６は、当該ファイルのデータ価値８４を“低”から“中”に更新し、且つ、当該ファイルの判定時刻８６を、データ価値８４を“中”に更新した時刻に更新する。また、学習プログラム１６は、当該ファイル（又は当該ファイルの類似ファイル）に対応したエントリが低価値確定管理テーブル９０にあれば、当該エントリを当該テーブル９０から削除する。
　図１３は、格納断念を受けた学習プログラム１６が実施する断念受信処理のフローを示す。
　ステップ１３０１：学習プログラム１６は、当該ファイルをキャッシュ領域６０から削除し、当該ファイル（又は当該ファイルの類似ファイル）に対応したファイル名９２、判定理由９４及び確定時刻９６を登録する。
　以上が、実施例１の説明である。本実施例によれば、ファイルの格納前に、当該ファイルのデータ価値を判定し、その判定結果に応じて、必要なファイル（高価値又は中価値と判定されたファイル、或いは、低価値と判定されても格納がユーザにより許可されたファイル）のみをＰＤＥＶ２４へ格納することができ、格納が断念された低価値のファイルがＰＤＥＶ２４に格納されてしまうこと（又は残ってしまうこと）を回避することができる。故に、ＰＤＥＶ２４に格納されるファイルのデータ量が削減される。なお、データ価値の判定を、ファイルの格納後に行うのではなくファイルの格納前に行うことが実現される１つの工夫は、新規ファイルの類似ファイルを計算機システム３０から探し、見つかった類似ファイルのデータ価値を新規ファイルに関連付ける（引き継ぐ）ことが挙げられる。
　以下、実施例２を説明する。その際、実施例１との相違点を主に説明し、実施例１との共通点については説明を省略又は簡略する。
　図１４は、実施例２に係るライト処理のフローを示す。
　実施例２では、実施例１に加えて、学習プログラム１６において、当該ファイル（ライト要求に従うファイル）が格納ＮＧなファイルか否かも判定し、ＮＧと判定した場合は（判定結果が真の場合は）、計算機システム内に当該ファイルは格納させない旨をユーザへ通知する。「格納ＮＧファイル」とは、例えば社内インフラシステムの場合、業務とは関係のない私用ファイルや、ユーザが予めＮＧと設定しておくファイル名に一致するファイル名を有するファイルなどが該当する。以下、格納ＮＧファイルとみなすファイルの定義（格納ＮＧ定義）を表す情報であるＮＧ定義情報がメモリ４４に予め登録されているとする。
　具体的には、ステップ１４００は、ステップ８０１と同じである。ステップ１４０１は、ステップ８０２と同じである。ステップ１４０３は、ステップ８０３と同じである。ステップ１４０２、ステップ１４０４及びステップ１４０５が追加されたステップである。
　ステップ１４０２：学習プログラム１６は、当該ファイルが格納ＮＧファイルか否かを判定する。例えば、当該ファイルに対応したエントリが低価値確定管理テーブル９０に存在し、かつ、上述の格納ＮＧ定義情報が表すいずれかの格納ＮＧ定義に当該ファイルが該当する場合、判定結果が真となる。判定結果が真の場合（ステップ１４０２：Ｙｅｓ）、ステップ１４０４へ進み、判定結果が偽の場合（ステップ１４０２：Ｎｏ）、ステップ１４０３へ進む。
　ステップ１４０４：学習プログラム１６は、当該ファイルのファイル名９２と当該ファイルの判定理由９４と共にデータ格納ＮＧをホストシステム３４（つまりユーザ）へ通知する。その後、ステップ１４０５へ進む。
　ステップ１４０５：学習プログラム１６は、当該ファイルのデータ価値８４を“低”とし、当該ファイルの確定時刻９６を低価値確定管理テーブル９０に登録する。
　以上が、実施例２の説明である。
　本実施例によれば、低価値確定ファイルの変形例が示されている。すなわち、本実施例によれば、低価値と判定され、かつ、予め定められた格納ＮＧ定義に該当したファイルが、低価値確定ファイルとなる。従って、本実施例によれば、ユーザに格納断念／格納許可を問い合わせること無しに、低価値確定ファイルを見つけ、当該低価値確定ファイルをＰＤＥＶ２４に格納しない（又は残さない）ことができる。
　以下、実施例３を説明する。その際、実施例１及び２との相違点を主に説明し、実施例１及び２との共通点については説明を省略又は簡略する。
　図１５は、実施例３の概略を示す模式図である。図１と同じ部分には同じ符号を付してあり、構成及び動作が同じであるので、説明を省略する。
　実施例３では、格納後学習プログラム２１８が追加される。格納後学習プログラム２１８は、ライト要求１２の処理とは非同期に、ファイルのデータ価値を判定しユーザへデータ整理提示２２４を出す。学習プログラム１６と格納後学習プログラム２１８は、同じ（共通の）学習管理テーブル５８を参照及び更新することで、お互いにデータ価値判定結果を連携できる。格納後学習プログラム２１８により低価値と判定されたファイルは、削除対象データ２２０と判定され、削減プログラム２０によりデータ量削減処理が実施された後、最低スペックＰＤＥＶ２４ＭＬに一旦格納される。その後、格納後学習判定プログラム２１８が、ユーザから、当該ファイルの削除判定結果２２５（例えば、データ整理提示２２４に対する応答）を受ける。
　図１６は、格納後学習処理のフローを示す。
　ステップ１６０１：格納後学習プログラム２１８は、学習対象ファイルが有るか否かを判定する。判定結果が真の場合（ステップ１６０１：Ｙｅｓ）、ステップ１６０２へ進み、判定結果が偽の場合（ステップ１６０１：Ｎｏ）、処理完了となる。
　ステップ１６０２：格納後学習プログラム２１８は、当該ファイルが低価値か否かを、学習対象ファイルのライト回数７４、リード回数７２、データ種別７６及び最終アクセス時刻７８のうちの少なくとも１つに基づいて、又は、当該ファイルのデータ価値８４に基づいて判定する。判定結果が真の場合（ステップ１６０２：Ｙｅｓ）、ステップ１６０３へ進み、判定結果が偽の場合（ステップ１６０２：Ｎｏ）、ステップ１６０１へ戻る。
　ステップ１６０３：格納後学習プログラム２１８は、データ整理提示２２４（図１５参照）を出す。具体的には、格納後学習プログラム２１８は、当該ファイルのファイル名９２及び判定理由９４と共にデータ整理するようホストシステム３４（つまりユーザ）へ通知を出す。その後、ステップ１６０４へ進む。
　ステップ１６０４：格納後学習プログラム２１８は、学習管理テーブル５８を更新する。例えば、格納後学習プログラム２１８は、当該ファイルのデータ価値８４及び判定時刻８６のうちの少なくとも１つを更新する。あるいは、例えば、ステップ１６０３に応答してユーザから当該ファイルについて格納断念の指定を受けた場合、格納後学習プログラム２１８は、当該ファイルについて確定時刻９６（例えばユーザから当該ファイルについて格納断念を受けた時刻）を登録する。その後、ステップ１６０５へ進む。
　ステップ１６０５：格納後学習プログラム２１８は、当該ファイルのデータ量削減処理（圧縮処理もしくは重複排除処理）を実施することをストレージ制御プログラム１８に命じる。ストレージ制御プログラム１８は、その命令に応じて、当該ファイルのデータ量削減処理を削減プログラム２０に実施させることで、当該ファイルのデータ容量を削減させる。その後、ステップ１６０６へ進む。
　ステップ１６０６：格納後学習プログラム２１８は、当該ファイルを、当該ファイルを格納しているＰＤＥＶ２４から最低スペックＰＤＥＶ（例えばＳＡＴＡインターフェースを有するＨＤＤ）２４ＭＬへ移動することをストレージ制御プログラム１８に実施させる。ストレージ制御プログラム１８が、当該ファイルを、当該ファイルが格納されているＰＤＥＶ２４から最低スペックＰＤＥＶ２４ＭＬへ移動する。これにより、低価値と判定されたファイルを、最低スペックＰＤＥＶ２４ＭＬよりも高スペックのＰＤＥＶ２４に残ることを避けることができる。その後、ステップ１６０１へ戻る。
　図１７は、整理通知を受けたユーザが実施する削除判定処理のフローを示す。本処理は、図１６のステップ１６０３の通知を受けたユーザが、当該ファイルの処理方法を決定して計算機システム３０へ通知する処理である。ユーザは複数ファイルの処理方法を纏めて計算機システム３０に通知してもよい。
　ステップ１７０１：ユーザは、当該ファイル（通知されたファイル）を削除可であるか否かを判定する。判定結果が真の場合（ステップ１７０１：Ｙｅｓ）、ステップ１７０４へ進み、判定結果が偽の場合（ステップ１７０１：Ｎｏ）、ステップ１７０２へ進む。
　ステップ１７０４：ユーザは、当該ファイルを削除するよう計算機システム３０へ通知する。当該通知を受け取った計算機システム３０の格納後学習プログラム２１８は、当該ファイルをＰＤＥＶ２４から削除し、かつ、コンテンツ管理テーブル５２及び学習対象管理テーブル８０から、当該ファイルに対応したエントリを削除する。なお、格納後学習プログラム２１８は、当該ファイルに対応したエントリであって、低価値確定管理テーブル９０にあるエントリを、低価値確定管理テーブル９０に残したままにする。
　ステップ１７０２：ユーザは、当該ファイルを削除しないよう計算機システム３０へ通知する。当該通知を受け取った計算機システム３０の格納後学習プログラム２１８は、当該ファイルのデータ価値８４を“中”に更新する。その後、ステップ１７０３へ進む。
　ステップ１７０３：格納後学習プログラム２１８は、当該ファイルを、当該ファイルを格納している最低スペックＰＤＥＶ２４ＭＬから低スペックＰＤＥＶ２４Ｌへ移動することをストレージ制御プログラム１８に実施させる。ストレージ制御プログラム１８が、当該ファイルを、最低スペックＰＤＥＶ２４ＭＬから低スペックＰＤＥＶ２４Ｌへ移動する。これにより、当該ファイルについて自動判定されたデータ価値を、ユーザからの回答（通知）に応じた正しいデータ価値に更新でき、更新後のデータ価値に対応したスペックのＰＤＥＶ２４に、当該ファイルを移動することができる。
　以上が、実施例３の説明である。
　本実施例によれば、低価値と判定されたファイルは、ユーザから削除判定結果を受けるか否かに関わらず最低スペックＰＤＥＶ２４ＭＬに移動され、その後に、ユーザから削除する旨の通知を受けたか否かに応じて、当該ファイルが、最低スペックＰＤＥＶ２４ＭＬから削除されるか、あるいは、最低スペックＰＤＥＶ２４ＭＬから低スペック２４Ｌに移動される。
　なお、ファイルの移動は、低スペックＰＤＥＶ２４Ｌと最低スペックＰＤＥＶ２４ＭＬとの間で行われるが、移動元又は移動先は、ファイルのデータ価値に応じたＰＤＥＶ２４とされてよい。例えば、ファイルのデータ価値が“高”から“低”となった場合、高スペックＰＤＥＶ２４Ｈから最低スペックＰＤＥＶ２４ＭＬに当該ファイルが移動してもよい。
　以上、幾つかの実施例を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこれらの実施例にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
　例えば、事前学習処理又は格納後学習処理において、格納済ファイルのデータ価値の判定方法は、上述の例に限られない。例えば、或る格納済ファイルに類似したファイルの数が、閾値Ｋ（Ｋは１以上の整数）を超えていれば、当該格納済ファイルのデータ価値は“低”と判定されてもよく、閾値Ｋ以下であれば、当該格納済ファイルのデータ価値は“中”又は“高”と判定されてもよい。なお、事前学習処理も格納後学習処理も、Ｉ／Ｏ要求の処理とは非同期に実行される処理のため、それらの処理を、「非同期学習処理」と総称することができる。非同期学習処理は、当該処理が未実施の全ての格納済ファイルに代えて、判定時刻８６から一定時間超えた格納済ファイルについてのみ行われてもよい。
３０：計算機システム

Claims (13)

  1. 　１以上の記憶デバイスに対するデータの格納を制御する計算機システムであって、
    　管理情報を格納しキャッシュ領域を有する１以上のメモリを含んだ記憶部と、
    　前記記憶部に接続された１以上のプロセッサを含んだプロセッサ部と
    を有し、
    　前記管理情報は、前記１以上の記憶デバイスのいずれかに格納済のデータ毎のデータアクセス状況及びデータ種別を表す格納済データ管理情報を含み、
    　前記キャッシュ領域は、ライト要求に従うデータであるライト対象データが一時的に格納される記憶領域であり、
    　前記プロセッサ部は、前記ライト要求の処理であるライト処理において、
    　　（Ａ）前記キャッシュ領域に格納されているライト対象データを前記１以上の記憶デバイスのいずれかに格納する前に、前記管理情報を基に、当該ライト対象データのデータ価値を判定し、
    　　（Ｂ）当該ライト対象データについて判定されたデータ価値が所定の価値以上の場合、当該ライト対象データを前記１以上の記憶デバイスのいずれかに格納し、
    　　（Ｃ）当該ライト対象データについて判定されたデータ価値が前記所定の価値未満の場合、当該ライト対象データを前記１以上の記憶デバイスのいずれにも格納しない、
    計算機システム。
  2. 　前記プロセッサ部は、前記ライト処理と非同期の処理である非同期学習処理を実行し、
    　前記管理情報は、データ価値が判定されたデータ毎にそのデータのデータ価値を表す情報である学習管理情報を含み、
    　前記非同期学習集処理は、いずれかの記憶デバイスに格納済のデータである当該非同期学習処理が未実施のデータである学習対象データについて、
    　　前記格納済データ管理情報を参照して、当該学習対象データのデータアクセス状況及びデータ種別の少なくとも１つに基づいて、当該学習対象データのデータ価値を判定すること、及び、
    　　当該学習対象データについて判定されたデータ価値を前記学習管理情報に格納すること、
    を含み、
    　前記キャッシュ領域に格納されているライト対象データが、前記１以上のＰＤＥＶのいずれかに格納されているいずれのデータにも対応しない新たなデータである新規データの場合、前記プロセッサ部は、（Ａ）において、
    　　当該ライト対象データに類似した格納済データである類似データを探し、
    　　当該類似データが見つかれば、前記学習管理情報においてその類似データに関連付けられているデータ価値を、当該ライト対象データのデータ価値と判定する、
    請求項１記載の計算機システム。
  3. 　前記類似データは、前記新規データのデータ名と一致又は類似しているデータ名を有すること、及び、前記新規データのデータ内容との差分が所定値以下のデータ内容を含んでいることの少なくとも１つを満たす格納済データである、
    請求項２記載の計算機システム。
  4. 　前記非同期学習集処理は、前記学習対象データのデータアクセス状況及びデータ種別の両方に基づいて当該学習対象データのデータ価値を判定することを含み、
    　前記ライト対象データが前記新規データの場合、前記プロセッサ部は、（Ａ）において、前記類似データが見つからなければ、当該ライト対象データのデータ種別に基づいてデータ価値を判定する、
    請求項２記載の計算機システム。
  5. 　前記キャッシュ領域に格納されているライト対象データが、前記１以上のＰＤＥＶのいずれかに格納されているいずれかのデータを更新するためのデータである更新データの場合、前記プロセッサ部は、（Ａ）において、当該ライト対象データのデータアクセス状況に基づいてデータ価値を判定する、
    請求項４記載の計算機システム。
  6. 　前記非同期学習集処理は、前記学習対象データのデータアクセス状況及びデータ種別の両方に基づいて当該学習対象データのデータ価値を判定することを含み、
    　前記キャッシュ領域に格納されているライト対象データが、前記１以上のＰＤＥＶのいずれかに格納されているいずれかのデータを更新するためのデータである更新データの場合、前記プロセッサ部は、（Ａ）において、当該ライト対象データのデータアクセス状況に基づいてデータ価値を判定する、
    請求項２記載の計算機システム。
  7. 　前記プロセッサ部は、（Ｃ）において、前記ライト対象データについて判定されたデータ価値が前記所定の価値未満であり、且つ、当該ライト対象データが更なる所定の条件に該当した場合、当該ライト対象データを前記１以上の記憶デバイスのいずれにも格納しない、
    請求項１記載の計算機システム。
  8. 　前記プロセッサ部は、
    　　前記所定の価値未満と判定されたデータの格納制御に関する提示を出力し、
    　　前記提示に対して当該データを格納するか否かの回答を受け、
    　前記更なる所定の条件は、前記回答が、前記ライト対象データを格納しないことを意味することである、
    請求項７記載の計算機システム。
  9. 　前記記憶部は、格納されないデータに関する定義である格納ＮＧ定義を表す情報を格納し、
    　前記格納ＮＧ定義に該当した前記ライト対象データのデータ価値が、前記所定の価値未満である、
    請求項１記載の計算機システム。
  10. 　前記プロセッサ部は、前記非同期学習処理において、前記学習対象データのデータ価値が前記所定の価値未満と判定された場合、
    　　前記所定の価値未満と判定された前記学習対象データの格納制御に関する提示を出力し、
    　　前記学習対象データを、前記１以上の記憶デバイスのうちの、前記学習対象データが格納されている記憶デバイスから、前記１以上の記憶デバイスのうちの、前記所定値未満のデータ価値のデータの格納先とされる記憶デバイスである所定の記憶デバイスに移動し、
    　当該移動の後に、前記提示に対して当該データを格納しないことを意味する回答を受けた場合、前記プロセッサ部は、当該学習対象データを前記所定の記憶デバイスから削除する、
    請求項２記載の計算機システム。
  11. 　前記移動の後に、前記提示に対して当該データを格納することを意味する回答を受けた場合、前記プロセッサ部は、前記学習管理情報における、当該学習対象データのデータ価値を高める更新を実行し、その更新後のデータ価値に対応した記憶デバイスに、前記所定の記憶デバイスから、当該学習対象データを移動する、
    請求項１０記載の計算機システム。
  12. 　前記１以上の記憶デバイスの少なくとも１つを更に有する、
    請求項１記載の計算機システム。
  13. 　ライト要求の処理であるライト処理において、
    　　（Ａ）当該ライト要求に従うデータであってキャッシュ領域に格納されているライト対象データを、１以上の記憶デバイスのいずれかに格納する前に、前記１以上の記憶デバイスのいずれかに格納済のデータ毎のデータアクセス状況及びデータ種別を表す格納済データ管理情報を含んだ管理情報を基に、当該ライト対象データのデータ価値を判定し、
    　　（Ｂ）当該ライト対象データについて判定されたデータ価値が所定の価値以上の場合、当該ライト対象データを前記１以上の記憶デバイスのいずれかに格納し、
    　　（Ｃ）当該ライト対象データについて判定されたデータ価値が前記所定の価値未満の場合、当該ライト対象データを前記１以上の記憶デバイスのいずれにも格納しない、
    データ格納制御方法。
PCT/JP2016/086980 2016-12-13 2016-12-13 データの格納を制御する計算機システム及び方法 WO2018109818A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086980 WO2018109818A1 (ja) 2016-12-13 2016-12-13 データの格納を制御する計算機システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086980 WO2018109818A1 (ja) 2016-12-13 2016-12-13 データの格納を制御する計算機システム及び方法

Publications (1)

Publication Number Publication Date
WO2018109818A1 true WO2018109818A1 (ja) 2018-06-21

Family

ID=62559638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086980 WO2018109818A1 (ja) 2016-12-13 2016-12-13 データの格納を制御する計算機システム及び方法

Country Status (1)

Country Link
WO (1) WO2018109818A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0697962A (ja) * 1992-09-11 1994-04-08 Oki Electric Ind Co Ltd 電子メールシステム
JPH06243004A (ja) * 1993-02-19 1994-09-02 Toshiba Corp 逐次データ記憶装置
JP2006252354A (ja) * 2005-03-11 2006-09-21 Nec Corp データ管理装置、携帯電話、データ管理方法、プログラム、記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0697962A (ja) * 1992-09-11 1994-04-08 Oki Electric Ind Co Ltd 電子メールシステム
JPH06243004A (ja) * 1993-02-19 1994-09-02 Toshiba Corp 逐次データ記憶装置
JP2006252354A (ja) * 2005-03-11 2006-09-21 Nec Corp データ管理装置、携帯電話、データ管理方法、プログラム、記録媒体

Similar Documents

Publication Publication Date Title
US11099769B1 (en) Copying data without accessing the data
US20230376460A1 (en) Consistent file system semantics with cloud object storage
US9116913B2 (en) File storage system and file cloning method
JP5586718B2 (ja) 制御プログラム、ホスト装置の制御方法、情報処理装置およびホスト装置
US8843716B2 (en) Computer system, storage apparatus and data transfer method
US9740422B1 (en) Version-based deduplication of incremental forever type backup
US10725907B2 (en) Information processing apparatus for specifying data region of garbage collection, information processing system and information processing method
KR20210092361A (ko) 스토리지 장치 및 그것의 동작 방법
CN107924324A (zh) 数据访问加速器
US10936243B2 (en) Storage system and data transfer control method
US10346077B2 (en) Region-integrated data deduplication
US11416157B2 (en) Storage device and data migration method
US10089125B2 (en) Virtual machines accessing file data, object data, and block data
US8447944B2 (en) Information processing device and data shredding method
US10430287B2 (en) Computer
US10599340B1 (en) Policy driven IO scheduler to improve read IO performance in hybrid storage systems
WO2018109818A1 (ja) データの格納を制御する計算機システム及び方法
WO2017122313A1 (ja) オブジェクト履歴として表示される情報をクライアントに提供する計算機システム及び計算機
US10664442B1 (en) Method and system for data consistency verification in a storage system
US8977814B1 (en) Information lifecycle management for binding content
US10346054B1 (en) Policy driven IO scheduler resilient to storage subsystem performance
US20240176520A1 (en) Storage system and storage control method
US9646012B1 (en) Caching temporary data in solid state storage devices
US20230214142A1 (en) System configuration management device, system configuration management method, and system configuration management program
US20210014131A1 (en) Efficient way to perform location slo validation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16924048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16924048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP