WO2013178155A1 - 分布式文件系统的存储方法及装置 - Google Patents

分布式文件系统的存储方法及装置 Download PDF

Info

Publication number
WO2013178155A1
WO2013178155A1 PCT/CN2013/079813 CN2013079813W WO2013178155A1 WO 2013178155 A1 WO2013178155 A1 WO 2013178155A1 CN 2013079813 W CN2013079813 W CN 2013079813W WO 2013178155 A1 WO2013178155 A1 WO 2013178155A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage device
file
accesses
current
iops
Prior art date
Application number
PCT/CN2013/079813
Other languages
English (en)
French (fr)
Inventor
欧阳伟
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to RU2015104116A priority Critical patent/RU2653278C2/ru
Priority to US14/417,957 priority patent/US10572454B2/en
Priority to EP13797773.2A priority patent/EP2881854A4/en
Publication of WO2013178155A1 publication Critical patent/WO2013178155A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827—Management specifically adapted to NAS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Definitions

  • the present invention relates to the field of communications, and in particular to a storage method and apparatus for a distributed file system (DFS).
  • DFS distributed file system
  • BACKGROUND Distributed storage realizes mass storage and rapid deployment of data by storing data distribution on multiple disks of multiple servers.
  • storage device types are updated, new storage devices are continually added to the disk cluster, and distributed storage must support plug-and-play for those storage devices.
  • Different storage devices have different capacities and performances. How to maximize their space and performance is a problem that needs to be focused on.
  • the original disk read and write strategy focuses on the spatial balance between the disk and the file access server, or adopts a random round-robin strategy.
  • the present invention provides a storage method and apparatus for a distributed file system to at least solve the problem of disk load caused by high frequency access of hot files during file reading in the related art.
  • a storage method of a distributed file system including: determining a number of accesses to the same file within a preset time; and migrating the file to a storage device having higher performance than the current storage device according to the number of accesses .
  • the migrating the file to the storage device with higher performance than the current storage device according to the number of accesses includes: determining that the number of accesses exceeds a preset threshold; determining, among all storage devices, a storage device having higher performance than the current storage device, and the storage device exists Free block; migrate files to the storage device.
  • the method further includes: setting an access heat attribute of the file as a hot item.
  • the method before determining the number of accesses to the same file in the preset time, the method further includes: respectively determining an IOPS limit value and a current IOPS value of each storage device in the distributed file system; respectively calculating current IOPS of each storage device The ratio of the value to the IOPS limit value; the ratio is compared with the preset threshold value; if the ratio is greater than the threshold value, it is determined that the file in the current storage device with a number of access times higher than a preset threshold needs to be migrated.
  • the method further includes: receiving a read request for the file, and adding 1 to the number of accesses of the file.
  • the method before determining the number of accesses to the same file in the preset time, the method further includes: the file access server calculating an IOPS value of the corresponding storage device; and the file access server reporting the IOPS value to the metadata server according to a predetermined period.
  • the method further includes: checking whether the ratio of the current IOPS value of each storage device to the IOPS limit value is not greater than a critical value according to a predetermined period. If the value is not greater than the threshold, the migration of the files in the current storage device is stopped. If the value is greater than the threshold, the files in the current storage device with the number of accesses higher than the preset threshold are migrated.
  • a storage device for a distributed file system which is applied to a metadata server, and includes: a first determining module configured to determine a number of accesses to the same file within a preset time; a migration module, Set to migrate files to storage devices that are more performant than current storage devices based on the number of accesses.
  • the migration module includes: a first determining unit, configured to determine that the number of accesses exceeds a preset threshold; and a second determining unit configured to determine, in all storage devices, a storage device that is higher in performance than the current storage device, and the storage device is idle Block; migration unit, set to migrate files to the storage device.
  • the device further includes: a second determining module, configured to respectively determine an IOPS limit value and a current IOPS value of each storage device; and a calculating module configured to separately calculate a ratio of a current IOPS value of each storage device to an IOPS limit value; Comparing modules, set to compare the ratio and the preset threshold respectively; third determination The module is configured to determine that a file with a number of accesses in the current storage device that is higher than a preset threshold needs to be migrated if the ratio is greater than a threshold.
  • files in a distributed file system are hierarchically stored according to file access heat, that is, files with higher access frequency in a predetermined time are migrated to a storage device with high performance, and file segmentation is achieved through differentiated storage.
  • file access heat that is, files with higher access frequency in a predetermined time are migrated to a storage device with high performance, and file segmentation is achieved through differentiated storage.
  • the association between the storage location and the file slice access heat, so that the IOPS pressure between the storage devices is balanced and the overall performance is improved.
  • FIG. 1 is a flowchart of a storage method of a distributed file system according to an embodiment of the present invention
  • FIG. 2 is a system architecture diagram of a storage method of a distributed file system according to an embodiment of the present invention
  • FIG. 4 is a structural block diagram of a storage device of a distributed file system according to an embodiment of the present invention
  • FIG. 5 is a distributed file according to a preferred embodiment of the present invention.
  • FIG. 6 is a block diagram showing the structure of a storage device of a distributed file system according to a preferred embodiment of the present invention.
  • FIG. 1 is a flowchart of a method for storing a distributed file system according to an embodiment of the present invention. As shown in FIG. 1, the method includes the following steps S102 to
  • Step S102 Determine the number of accesses to the same file within a preset time.
  • Step S104 The file is migrated to a storage device with higher performance than the current storage device according to the number of accesses.
  • the problem of the disk load caused by the high frequency access of the hotspot file at the time of file reading is not solved.
  • the files in the distributed file system are hierarchically stored according to the file access heat, that is, the files with higher access frequency in a predetermined time are migrated to the storage device with high performance, and the files are implemented through differential storage. The association between the slice storage location and the file slice access heat, so that the IOPS pressure between the storage devices is balanced and the overall performance is improved.
  • Step S104 includes: determining that the number of accesses exceeds a preset threshold; determining, in all storage devices, a storage device that is higher than the current storage device, and having a free block in the high-performance storage device; migrating the file to the high-performance storage device in.
  • the storage device that can store the file is determined, and when the determined storage device has a free block, the migration is performed, and the accuracy of file migration can be ensured without There will be cases where the storage device has no free blocks but migrate files to the storage device, which may result in file loss.
  • the access heat attribute of the file may also be set to be hot. Display the accessibility of the file in an attribute manner for the user to view.
  • whether the current storage device needs to perform file migration is confirmed, that is, whether the current storage device load has exceeded a critical value (or becomes an alarm).
  • Value can be achieved by: determining the IOPS limit value and the current IOPS value of each storage device in the distributed file system respectively; respectively calculating the ratio of the current IOPS value of each storage device to the IOPS limit value; respectively comparing the ratio and the advance The set threshold value; if the ratio is greater than the threshold, it is determined that the files in the current storage device with a number of accesses higher than the preset threshold need to be migrated.
  • whether to migrate is determined according to the load condition of the current storage device and the access heat of files in the device.
  • the time and frequency of file access by users are random. Unreasonable migration of files will reduce the efficiency of storage devices and speed up the loss of storage devices.
  • the process of determining whether a migration is required according to the load of the storage device that is, the condition for initiating the hierarchical storage process (which may be referred to as a threshold algorithm), has two main factors affecting the initiation of the migration: (1) Whether the IOPS of the storage device reaches the specified Alarm value, when the IOPS is close to the critical value, the processing speed of the storage device will drop significantly, and tiered storage must be initiated; (2) Whether the system has enough spare capacity, high-performance storage shards are available, if not, ignore the tiered storage process .
  • the IOPS limit value of each storage device for example, a disk
  • the current IOPS statistics for example, CIOPS
  • the free block condition of the storage device E.g, Set whether to initiate the tiered storage identifier as y, the IOPS limit value of disk i is ⁇ &, the current IOPS statistics of disk i is CIOPS, and whether there is enough free block identifier as f, only when the file is a hot file and ClOPSi/IOPS.
  • the tiered storage process is initiated when the ratio is greater than the critical value a and the target storage device has enough free blocks.
  • the method further includes: receiving a read request for the file, and adding 1 to the number of accesses of the file.
  • the read request for the file of the current storage device is received, and the number of accesses of the file is calculated, which may be avoided to a certain extent.
  • the file of each storage device performs the statistics of the access heat, which adds a burden to the metadata server.
  • the tiered storage switch is set in the metadata server, and after the migration is determined, the switch is opened, and the number of accesses is counted.
  • the foregoing uses the storage device according to the load of the storage device to determine whether a migration is required.
  • the IOPS value which can be obtained by the following method:
  • the file access server calculates the IOPS value of its corresponding storage device; the file access server reports the IOPS value to the metadata server according to a predetermined period.
  • a storage device IOPS check timer is set in the service program of the file access server. Once the timer is turned on, the timer calls the operating system interface to calculate the IOPS parameter of the file accessing each storage device (for example, a disk) in the server.
  • the file access server uses the timer to report the IOPS value of each disk to the metadata server at regular intervals. After the step S104, it can be determined whether the load of the original storage device of the file is restored to a critical value after the file is migrated.
  • the access heat of the file is continuously monitored, and the file is migrated when the condition is met.
  • the following steps can be implemented: Check whether the ratio of the current IOPS value of each storage device to the IOPS limit value is not greater than a critical value according to a predetermined period; if not greater than the critical value, stop the migration of files in the current storage device; if greater than the critical value , Continue to migrate files in the current storage device with access times higher than the preset threshold.
  • the storage method of the above distributed file system optimizes the implementation scheme of the existing distributed file system storage, which can be understood as file grading and storage, and grading means storing files with high access frequency to a storage device with high performance, It is to divide the storage device into two levels: low-performance storage devices and high-performance storage devices.
  • the IOPS pressure between storage devices can be balanced, and the overall performance can be improved, and the compatibility and performance of different performance storage devices can be maximized.
  • the system architecture implementing the above solution includes a metadata server 22, a file access client 24, a file access server 26, and a storage device cluster 28, as shown in FIG.
  • the metadata server 22 is responsible for managing metadata such as file names and data blocks of all files in the distributed file system, and provides metadata access writing and query operations to the file access client 24; Based on the data file table, the access pressure weight value (that is, the number of accesses in the preset time) is increased. When the weight value of the file exceeds the configured threshold, all the low performance storage areas of the file are migrated to high performance. The storage area is guaranteed to not affect the current user's access.
  • the file access client 24 is responsible for providing an interface calling service similar to the standard file system for the application oriented by the distributed file system; initiating an access request, and obtaining the data and returning to the application; when the metadata server 22 initiates the migration request, Migrate the shards of the file to other file access servers based on the shard list in the request.
  • the file access server 26 is responsible for interacting with the storage device cluster 28 in the distributed file system to perform read and write operations on the actual data block; and reading the data read and write request from the client 24 in response to the file access, and reading from the storage device cluster 28 The data is returned to the file access client 24; the data is read from the file access client 24 and written to the storage device cluster 28.
  • FIG. 2 includes a file access server and a file access client.
  • the storage device cluster 28 may be a low-performance integrated drive electronics (IDE) disk or a Serial Advanced Technology Attachment (SATA) disk, or a high-performance solid state drive (Solid State Disk). , referred to as SSD), Serial Attached SCSI (SAS, where SCSI is short for Small Computer System Interface), SATA and other storage devices.
  • FIG. 3 is a flowchart of a method for storing a distributed file system according to a preferred embodiment of the present invention. As shown in FIG. 3, the method includes the following steps: Step S302: File Access Client (FAC) locates a file The File Location Register (FLR for short) initiates a read request for the file ffll.
  • FLR File Location Register
  • step S304 the FLR checks if the tiered storage switch has been turned on. If yes, go to step S308, otherwise go to step S306. Step S306, ending the shard migration process of the tiered storage. Step S308, the IOPS of each disk is reported by the file access server every other timer time, and the hierarchical storage state of the disk exceeding the tiered storage threshold is set to be on. Step S310, calculating the hotspot degree of the file according to the number of times of reading the request, the frequency. Step S312, whether it is a hot file. If yes, go to step S316, otherwise go to step S314. In step S314, the fragment is not migrated, and the fragment of the next read request is checked.
  • Step S316 the timer checks whether the IOPS of each disk is restored to below the alarm value. If yes, step S318 is performed, otherwise step S320 is performed. Step S318, stopping the migration of the fragment of the hotspot file on the disk. In step S320, the fragment is taken out for migration. It should be noted that, compared with the common fragment migration process for disk space balancing, the hierarchical storage initiated by the high access hotspot needs higher priority to ensure the smoothness of the user accessing the file.
  • Step 1 Observe the IOPS load of the disk on the network management interface, and record the initial value;
  • Step 2 Open the tiered storage switch on the network management interface, and immediately validate the parameters;
  • Step 4 Check whether the hot file migration has started and the migration ends.
  • Step 5 After the migration is complete, check the disk IOPS load on the NMS interface. The critical value of the load is compared with the post-migration load. If the migrated IOPS load falls below the critical value, the threshold setting is reasonable. If it is still above the critical value, repeat step 3 to lower the IOPS threshold.
  • FIG. 4 is A structural block diagram of a storage device of a distributed file system according to an embodiment of the present invention. As shown in FIG. 4, the device includes a first determining module 42 and a migration module 44. The structure is described in detail below.
  • the first determining module 42 is configured to determine the number of accesses to the same file in the preset time period; the migration module 44 is connected to the first determining module 42 and configured to migrate the file to the current ratio according to the number of accesses determined by the first determining module 42 A storage device with high storage device performance.
  • the problem of the disk load caused by the high frequency access of the hotspot file at the time of file reading is not solved.
  • the files in the distributed file system are hierarchically stored according to the file access heat, that is, the files with higher access frequency in a predetermined time are migrated to the storage device with high performance, and the files are implemented through differential storage.
  • the migration module 44 includes: a first determining unit 442, configured to determine that the number of accesses exceeds a preset threshold; and a second determining unit 444, connected to the first determining unit 442, configured to determine a ratio in all storage devices The storage device with high performance of the current storage device, and the storage device has a free block; the migration unit 446 is connected to the second determining unit 444, and is configured to migrate the file to the storage device determined by the second determining unit 444.
  • the migration module 44 further includes: a setting unit, connected to the first determining unit 442, configured to set the access heat attribute of the file to be hot.
  • the foregoing apparatus further includes: a second determining module 46, configured to respectively determine an IOPS limit value and a current IOPS value of each storage device; and a calculating module 47, connected to the second determining module 46, configured to separately calculate each The ratio of the current IOPS value of the storage device to the IOPS limit value; the comparison module 48 is connected to the calculation module 47, and is configured to compare the ratio with the preset threshold value respectively; the third determining module 49 is connected to the comparison module 48, and is set to In the case that the ratio is greater than the threshold, it is determined that the file in the current storage device with a number of accesses higher than a preset threshold needs to be migrated.
  • the apparatus further includes: a receiving module, connected to the third determining module 49, configured to receive a read request for the file, and increase the number of accesses of the file by one.
  • the apparatus further includes: an checking module, configured to check whether a ratio of a current IOPS value of each storage device to an IOPS limit value is not greater than a critical value according to a predetermined period; the first processing module is connected to the inspection module, and is set to be If the value is not greater than the threshold, the migration of the files in the current storage device is stopped; the second processing module is connected to the inspection module, and is set to continue to access the current storage device more than when the threshold is greater than the threshold. Files with preset thresholds are migrated.
  • the storage device of the distributed file system described in the device embodiment corresponds to the foregoing method embodiment, and the specific implementation process has been described in detail in the method embodiment, and details are not described herein again. It should be noted that the above solution is only applicable to a distributed file system with a metadata server, and is not applicable to a general storage system.
  • a storage method and apparatus for a distributed file system are provided. The present invention tiers the files in the distributed file system according to the heat of file access, that is, the files with higher access frequency in a predetermined time are migrated to the storage device with high performance, and the file storage location is achieved through differentiated storage.
  • the invention is not limited to any specific combination of hardware and software.
  • the above is only the preferred embodiment of the present invention, and is not intended to limit the present invention, and various modifications and changes can be made to the present invention. Any modifications, equivalent substitutions, improvements, etc. made within the spirit and scope of the present invention are intended to be included within the scope of the present invention.

Abstract

本发明公开了一种分布式文件系统的存储方法及装置，该方法包括：确定预设时间内对同一文件的访问次数；根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。通过本发明，对分布式文件系统中的文件按文件访问热度进行分级存储，即，将预定时间内访问频次较高的文件迁移到性能高的存储设备中，通过差异化存储做到文件分片存储位置与文件分片访问热度的关联，从而使存储设备间的IOPS压力达到均衡并实现整体性能的提升。

Description

分布式文件系统的存储方法及装置 技术领域 本发明涉及通信领域， 具体而言， 涉及一种分布式文件系统 （Distributed File System, 简称为 DFS) 的存储方法及装置。 背景技术 分布式存储通过将数据分布保存在多个服务器的多个磁盘上来实现数据的海量存 储和快速部署。随着存储设备的类型更新， 新的存储设备会不断地加入到磁盘集群中， 分布式存储必须支持对这些存储设备的即插即用。 不同的存储设备的容量和性能各不相同， 如何让它们的空间和性能得到最大程度 的利用是需要着重关注的问题。 原有的磁盘读写策略主要关注磁盘与文件访问服务器 之间的空间均衡， 或采用随机轮选策略。 现有的其他负载均衡技术主要关注文件写入 时根据文件访问服务器的负荷信息决定写文件时文件访问服务器的选取。 但是， 现有的负载均衡策略并没有解决文件读出时热点文件的高频次访问带来的 磁盘负载的问题， 系统存在以下不足： 不同的存储设备能够承受的每秒进行读写操作 的次数 （Input/Output Operation Per Second, 简称为 IOPS) 不同。 最初， 存储文件分 片是根据磁盘空间均衡策略或随机策略选取的， 同样的负荷在高性能存储设备上能稳 定运行， 在低性能存储设备上却可能导致读延迟现象。 在高低性能存储设备共存的条件下， 低性能的存储设备将成为分布式存储设备的 短板， 在进行文件读取操作时表现尤为明显。 正是由于低性能存储设备的短板效应， 不同存储设备间的性能差异将使磁盘集群的整体性能降低， 导致高性能存储设备的性 能不能得到最大化的利用。 发明内容 本发明提供了一种分布式文件系统的存储方法及装置， 以至少解决相关技术中， 文件读出时热点文件的高频次访问带来的磁盘负载的问题。 根据本发明的一个方面， 提供了一种分布式文件系统的存储方法， 包括： 确定预 设时间内对同一文件的访问次数； 根据访问次数将文件迁移到比当前存储设备性能高 的存储设备中。 优选地， 根据访问次数将文件迁移到比当前存储设备性能高的存储设备中包括： 确定访问次数超过预设阈值； 在所有存储设备中确定比当前存储设备性能高的存储设 备， 并且存储设备存在空闲块； 将文件迁移到存储设备中。 优选地， 在确定访问次数超过预设阈值之后， 上述方法还包括： 将文件的访问热 度属性设置为热门。 优选地， 在确定预设时间内对同一文件的访问次数之前， 上述方法还包括： 分别 确定分布式文件系统内的各个存储设备的 IOPS极限值与当前 IOPS值；分别计算各个 存储设备的当前 IOPS值与 IOPS极限值的比值； 分别比较比值与预先设定的临界值； 如果比值大于临界值， 确定需要对当前存储设备中的访问次数高于预设阈值的文件进 行迁移。 优选地， 在确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移 之后， 上述方法还包括： 接收到对文件的读请求， 将文件的访问次数加 1。 优选地， 在确定预设时间内对同一文件的访问次数之前， 上述方法还包括： 文件 访问服务器计算其对应的存储设备的 IOPS值； 文件访问服务器按照预定周期向元数 据服务器上报 IOPS值。 优选地，在根据访问次数将文件迁移到比当前存储设备性能高的存储设备中之后， 上述方法还包括：按照预定周期检查各个存储设备的当前 IOPS值与 IOPS极限值的比 值是否不大于临界值； 如果不大于临界值， 停止对当前存储设备中的文件进行迁移； 如果大于临界值， 继续对当前存储设备中的访问次数高于预设阈值的文件进行迁移。 根据本发明的另一个方面， 提供了一种分布式文件系统的存储装置， 应用于元数 据服务器， 包括： 第一确定模块， 设置为确定预设时间内对同一文件的访问次数； 迁 移模块， 设置为根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。 优选地， 迁移模块包括： 第一确定单元， 设置为确定访问次数超过预设阈值； 第 二确定单元， 设置为在所有存储设备中确定比当前存储设备性能高的存储设备， 并且 存储设备存在空闲块； 迁移单元， 设置为将文件迁移到存储设备中。 优选地， 上述装置还包括： 第二确定模块， 设置为分别确定各个存储设备的 IOPS 极限值与当前 IOPS值； 计算模块， 设置为分别计算各个存储设备的当前 IOPS值与 IOPS极限值的比值； 比较模块， 设置为分别比较比值与预先设定的临界值； 第三确定 模块， 设置为在比值大于临界值的情况下， 确定需要对当前存储设备中的访问次数高 于预设阈值的文件进行迁移。 通过本发明， 对分布式文件系统中的文件按文件访问热度进行分级存储， 即， 将 预定时间内访问频次较高的文件迁移到性能高的存储设备中， 通过差异化存储做到文 件分片存储位置与文件分片访问热度的关联， 从而使存储设备间的 IOPS压力达到均 衡并实现整体性能的提升。 附图说明 此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一部分， 本发 明的示意性实施例及其说明用于解释本发明， 并不构成对本发明的不当限定。 在附图 中： 图 1是根据本发明实施例的分布式文件系统的存储方法的流程图； 图 2是根据本发明实施例的分布式文件系统的存储方法的系统架构图； 图 3是根据本发明优选实施例的分布式文件系统的存储方法的流程图； 图 4是根据本发明实施例的分布式文件系统的存储装置的结构框图； 图 5是根据本发明优选实施例的分布式文件系统的存储装置的结构框图一； 图 6是根据本发明优选实施例的分布式文件系统的存储装置的结构框图二。 具体实施方式 需要说明的是， 在不冲突的情况下， 本申请中的实施例及实施例中的特征可以相 互组合。 下面将参考附图并结合实施例来详细说明本发明。 本发明实施例提供了一种分布式文件系统的存储方法， 图 1是根据本发明实施例 的分布式文件系统的存储方法的流程图， 如图 1所示， 包括如下的步骤 S102至步骤
步骤 S102， 确定预设时间内对同一文件的访问次数。 步骤 S104， 根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。 相关技术中，没有解决文件读出时热点文件的高频次访问带来的磁盘负载的问题。 本发明实施例中， 对分布式文件系统中的文件按文件访问热度进行分级存储， 即， 将 预定时间内访问频次较高的文件迁移到性能高的存储设备中， 通过差异化存储做到文 件分片存储位置与文件分片访问热度的关联， 从而使存储设备间的 IOPS压力达到均 衡并实现整体性能的提升。 需要说明的是， 也可以将预定时间内访问频次较低的文件迁移到性能低的存储设 备中， 以避免占用高性能的存储设备太多存储空间。 步骤 S104包括：确定访问次数超过预设阈值；在所有存储设备中确定比当前存储 设备性能高的存储设备， 并且该性能高的存储设备中存在空闲块； 将文件迁移到该性 能高的存储设备中。 本优选实施例中， 在访问次数超过预设阈值的情况下， 确定可以 存储该文件的存储设备， 并且在确定的存储设备存在空闲块时， 进行迁移， 可以保证 文件迁移的准确性， 而不会出现存储设备没有空闲块， 却将文件迁移至该存储设备的 情况， 可能会导致文件丢失。 在一个优选实施方式中， 在确定访问次数超过预设阈值之后， 还可以将文件的访 问热度属性设置为热门。 以属性的方式显示文件的访问热度， 方便用户查看。 在另一个优选实施方式中， 在确定预设时间内对同一文件的访问次数之前， 对当 前存储设备是否需要进行文件迁移进行确认， 即确定当前存储设备的负载是否已超过 临界值（或者成为告警值）， 可以通过以下操作实现： 分别确定分布式文件系统内的各 个存储设备的 IOPS极限值与当前 IOPS值； 分别计算各个存储设备的当前 IOPS值与 IOPS极限值的比值； 分别比较比值与预先设定的临界值； 如果比值大于临界值， 确定 需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移。本优选实施方式中， 结合当前存储设备的负载情况以及该设备内的文件的访问热度， 决定是否迁移。 用户 对文件访问的时间和频次都是随机的， 不合理的对文件进行迁移会降低存储设备的使 用效率， 加快存储设备的损耗程度。 上述根据存储设备的负载确定是否需要迁移的过程， 也就是发起分级存储流程的 条件 （可称为临界值算法）， 影响发起迁移的因素主要有两个： （1 ) 存储设备的 IOPS 是否到达指定的告警值， 当 IOPS接近临界值后， 存储设备的处理速度将出现明显的 下降， 必须发起分级存储； （2) 系统是否有足够的空余高性能存储分片可用， 如果没 有， 忽略分级存储流程。 在实际应用中， 根据文件访问热度、 每个存储设备 （例如， 磁盘） 的 IOPS 极限 值与当前 IOPS 统计值、 存储设备的空闲块情况判断是否需要发起分级存储。 例如， 设是否发起分级存储标识为 y， 磁盘 i的 IOPS极限值为 ΙΟΡ&， 磁盘 i的当前 IOPS统 计值为 CIOPS,, 是否有足够空闲块标识为 f， 只有当文件是热门文件且 ClOPSi/IOPS, 的比值大于临界值 a， 且目标存储设备有足够空闲块时， 才发起分级存储流程。 优选地， 在确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移 之后， 上述方法还包括： 接收到对文件的读请求， 将文件的访问次数加 1。 本优选实 施方式中， 在根据当前存储设备的负载情况， 确定需要进行文件迁移的情况下， 接收 到对当前存储设备的文件的读请求， 计算该文件的访问次数， 可以在一定程度上避免 对每个存储设备的文件都进行访问热度的统计， 给元数据服务器增加负担。 在实际应 用中， 在元数据服务器中设置分级存储开关， 确定需要进行迁移后， 打开该开关， 再 进行访问次数的统计。 优选地， 上述根据存储设备的负载确定是否需要迁移的过程中用到了存储设备的
IOPS值， 该 IOPS值可以通过以下方法获得： 文件访问服务器计算其对应的存储设备 的 IOPS值； 文件访问服务器按照预定周期向元数据服务器上报 IOPS值。 在实际应用中， 文件访问服务器的服务程序中设置有存储设备 IOPS检查定时器， 一旦打开该定时器，定时器调用操作系统接口计算本文件访问服务器内各存储设备（例 如， 磁盘） 的 IOPS参数， 文件访问服务器使用该定时器将各个磁盘每隔一定时间内 的 IOPS值上报给元数据服务器。 在步骤 S104之后，可以判断将文件迁移后，该文件的原存储设备的负载是否恢复 到临界值以下， 如果仍未恢复， 继续对其中的文件的访问热度进行监控， 符合条件时 迁移该文件， 可以通过以下步骤实现： 按照预定周期检查各个存储设备的当前 IOPS 值与 IOPS 极限值的比值是否不大于临界值； 如果不大于临界值， 停止对当前存储设 备中的文件进行迁移； 如果大于临界值， 继续对当前存储设备中的访问次数高于预设 阈值的文件进行迁移。 上述分布式文件系统的存储方法优化了现有的分布式文件系统存储的实现方案， 可以理解为文件分片分级存储， 分级是指将访问频次高的文件存储到性能高的存储设 备中， 也就是将存储设备分为两级： 性能低的存储设备和性能高的存储设备。 通过上 述方案， 可以使存储设备间的 IOPS压力达到均衡， 并提升整体性能， 实现了对不同 性能存储设备的兼容和性能的最大化利用。 为了使本发明的技术方案和实现方法更加清楚， 下面将结合优选的实施例对其实 现过程进行详细描述。 实现上述方案的系统架构， 包括元数据服务器 22、文件访问客户端 24、 文件访问 服务器 26和存储设备集群 28， 如图 2所示， 下面分别对其进行描述。 元数据服务器 22， 负责管理本分布式文件系统内所有文件的文件名、 数据块等元 数据信息， 并向文件访问客户端 24提供元数据写入和查询等操作； 本发明实施例在在 元数据文件表的基础上增加访问压力权重值（即预设时间内的访问次数）， 当该文件的 权重值超过配置的阈值时，将该文件的所有低性能存储区的分片迁移到高性能存储区， 并保证不影响当前用户的访问。 文件访问客户端 24， 负责为本分布式文件系统面向的应用程序提供类似于标准文 件系统的接口调用服务； 发起访问请求， 获取数据后返回给应用程序； 在元数据服务 器 22发起迁移请求时，根据请求中的分片列表将文件的分片迁移到其他文件访问服务 器上。 文件访问服务器 26， 负责与本分布式文件系统内的存储设备集群 28进行交互， 进行实际数据块的读写操作； 响应文件访问客户端 24的数据读写请求， 从存储设备集 群 28上读取数据并返回给文件访问客户端 24; 从文件访问客户端 24读取数据并写入 存储设备集群 28。 图 2所示的文件访问服务器 26中包括文件访问服务器和文件访问 客户端。 存储设备集群 28， 可以是低性能的电子集成驱动器 （Integrated Drive Electronics, 简称为 IDE)磁盘或串行高级技术附件（Serial Advanced Technology Attachment, 简称 为 SATA) 磁盘、 高性能的固态硬盘 （Solid State Disk, 简称为 SSD)、 串行连接 SCSI ( Serial Attached SCSI, 简称为 SAS， 其中， SCSI 是小型计算机系统接口 （Small Computer System Interface) 的简称）、 SATA等存储设备。 图 3是根据本发明优选实施例的分布式文件系统的存储方法的流程图， 如图 3所 示， 包括如下步骤： 步骤 S302， 文件访问客户端 （File Access Client, 简称为 FAC) 向文件定位寄存 器 （File Location Register, 简称为 FLR) 发起对文件 fflel的读请求。 步骤 S304， FLR检查是否已经打开分级存储开关。 如果是， 执行步骤 S308， 否 则执行步骤 S306。 步骤 S306， 结束分级存储的分片迁移流程。 步骤 S308， 每隔一个定时器时间由文件访问服务器上报每个磁盘的 IOPS， 将超 过分级存储阈值的磁盘的分级存储状态设置为打开。 步骤 S310， 根据读请求次数、 频次、 计算文件的热点程度。 步骤 S312， 是否为热点文件。 如果是， 执行步骤 S316， 否则执行步骤 S314。 步骤 S314， 不对该分片进行迁移， 检查下一读请求的分片。 步骤 S316， 定时器检查每个磁盘的 IOPS是否恢复到告警值以下。 如果是， 则执 行步骤 S318， 否则执行步骤 S320。 步骤 S318， 停止对该磁盘上热点文件的分片进行迁移。 步骤 S320， 取出该分片进行迁移。 需要说明的是， 与普通的用于磁盘空间均衡的分片迁移流程相比， 因访问热点高 而发起的分级存储需要更高的优先级以保证用户访问文件的流畅性。 在另外一个优选实施例中， 步骤如下： 步骤 1， 在网管界面上观察磁盘的 IOPS负载， 记录下初始值； 步骤 2， 在网管界面上打开分级存储开关， 立即生效参数； 步骤 3， 在网管界面上配置磁盘 IOPS阈值， 立即生效参数； 步骤 4， 在日志中查看热点文件迁移是否已开始， 迁移何时结束； 步骤 5， 迁移结束后， 到网管界面上观察磁盘的 IOPS负载， 对之前超过临界值的 负载与迁移后的负载进行对比， 若迁移后的 IOPS 负载降低到临界值以下， 说明该阈 值的设置较为合理， 若仍在临界值以上， 重复步骤 3， 将 IOPS阈值调低。 需要说明的是， 在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的 计算机系统中执行， 并且， 虽然在流程图中示出了逻辑顺序， 但是在某些情况下， 可 以以不同于此处的顺序执行所示出或描述的步骤。 本发明实施例还提供了一种分布式文件系统的存储装置， 应用于元数据服务器， 该分布式文件系统的存储装置可以用于实现上述分布式文件系统的存储方法。 图 4是 根据本发明实施例的分布式文件系统的存储装置的结构框图， 如图 4所示， 该装置包 括第一确定模块 42和迁移模块 44。 下面对其结构进行详细描述。 第一确定模块 42， 设置为确定预设时间内对同一文件的访问次数； 迁移模块 44， 连接至第一确定模块 42， 设置为根据第一确定模块 42确定的访问次数将文件迁移到 比当前存储设备性能高的存储设备中。 相关技术中，没有解决文件读出时热点文件的高频次访问带来的磁盘负载的问题。 本发明实施例中， 对分布式文件系统中的文件按文件访问热度进行分级存储， 即， 将 预定时间内访问频次较高的文件迁移到性能高的存储设备中， 通过差异化存储做到文 件分片存储位置与文件分片访问热度的关联， 从而使存储设备间的 IOPS压力达到均 衡并实现整体性能的提升。 如图 5所示， 迁移模块 44包括： 第一确定单元 442， 设置为确定访问次数超过预 设阈值； 第二确定单元 444， 连接至第一确定单元 442， 设置为在所有存储设备中确定 比当前存储设备性能高的存储设备， 并且该存储设备存在空闲块； 迁移单元 446， 连 接至第二确定单元 444， 设置为将文件迁移到第二确定单元 444确定的存储设备中。 优选地， 迁移模块 44还包括： 设置单元， 连接至第一确定单元 442， 设置为将文 件的访问热度属性设置为热门。 如图 6所示， 上述装置还包括： 第二确定模块 46， 设置为分别确定各个存储设备 的 IOPS极限值与当前 IOPS值； 计算模块 47， 连接至第二确定模块 46， 设置为分别 计算各个存储设备的当前 IOPS值与 IOPS极限值的比值； 比较模块 48，连接至计算模 块 47， 设置为分别比较比值与预先设定的临界值； 第三确定模块 49， 连接至比较模块 48， 设置为在比值大于临界值的情况下， 确定需要对当前存储设备中的访问次数高于 预设阈值的文件进行迁移。 优选地， 上述装置还包括： 接收模块， 连接至第三确定模块 49， 设置为接收对文 件的读请求， 将文件的访问次数加 1。 优选地， 在上述装置还包括： 检查模块， 设置为按照预定周期检查各个存储设备 的当前 IOPS值与 IOPS极限值的比值是否不大于临界值； 第一处理模块， 连接至检查 模块， 设置为在不大于临界值的情况下， 停止对当前存储设备中的文件进行迁移； 第 二处理模块， 连接至检查模块， 设置为在大于临界值的情况下， 继续对当前存储设备 中的访问次数高于预设阈值的文件进行迁移。 需要说明的是， 装置实施例中描述的分布式文件系统的存储装置对应于上述的方 法实施例， 其具体的实现过程在方法实施例中已经进行过详细说明， 在此不再赘述。 需要说明的是， 上述方案仅适用于有元数据服务器的分布式文件系统中， 不适用 于一般的存储系统。 综上所述， 根据本发明的上述实施例， 提供了一种分布式文件系统的存储方法及 装置。 本发明对分布式文件系统中的文件按文件访问热度进行分级存储， 即， 将预定 时间内访问频次较高的文件迁移到性能高的存储设备中， 通过差异化存储做到文件分 片存储位置与文件分片访问热度的关联， 从而使存储设备间的 IOPS压力达到均衡并 实现整体性能的提升。 实现了对不同性能存储设备的兼容和性能的最大化利用， 通过 将热点度高的文件迁移到更高性能的存储设备上， 极大缓解了现有存储方式在混合存 储设备环境下的短板问题， 做到了不同存储设备间的负载均衡， 使异构存储模式下的 存储设备的整体性能得到提升。 显然， 本领域的技术人员应该明白， 上述的本发明的各模块或各步骤可以用通用 的计算装置来实现， 它们可以集中在单个的计算装置上， 或者分布在多个计算装置所 组成的网络上， 可选地， 它们可以用计算装置可执行的程序代码来实现， 从而， 可以 将它们存储在存储装置中由计算装置来执行， 或者将它们分别制作成各个集成电路模 块， 或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。 这样， 本发明 不限制于任何特定的硬件和软件结合。 以上所述仅为本发明的优选实施例而已， 并不用于限制本发明， 对于本领域的技 术人员来说， 本发明可以有各种更改和变化。 凡在本发明的精神和原则之内， 所作的 任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求 书
1. 一种分布式文件系统的存储方法， 包括：
确定预设时间内对同一文件的访问次数；
根据所述访问次数将所述文件迁移到比当前存储设备性能高的存储设备 中。
2. 根据权利要求 1所述的方法， 其中， 根据所述访问次数将所述文件迁移到比当 前存储设备性能高的存储设备中包括：
确定所述访问次数超过预设阈值；
在所有存储设备中确定所述比当前存储设备性能高的存储设备， 并且所述 存储设备存在空闲块；
将所述文件迁移到所述存储设备中。
3. 根据权利要求 2所述的方法， 其中， 在确定所述访问次数超过预设阈值之后， 所述方法还包括：
将所述文件的访问热度属性设置为热门。
4. 根据权利要求 1所述的方法， 其中， 在确定预设时间内对同一文件的访问次数 之前， 所述方法还包括：
分别确定分布式文件系统内的各个存储设备的每秒进行读写操作的次数 IOPS极限值与当前 IOPS值；
分别计算所述各个存储设备的所述当前 IOPS值与所述 IOPS极限值的比 值；
分别比较所述比值与预先设定的临界值；
如果所述比值大于所述临界值， 确定需要对当前存储设备中的访问次数高 于预设阈值的文件进行迁移。
5. 根据权利要求 4所述的方法， 其中， 在确定需要对当前存储设备中的访问次数 高于预设阈值的文件进行迁移之后， 所述方法还包括：
接收到对文件的读请求， 将所述文件的访问次数加 1。
6. 根据权利要求 1所述的方法， 其中， 在确定预设时间内对同一文件的访问次数 之前， 所述方法还包括：
文件访问服务器计算其对应的存储设备的 IOPS值；
所述文件访问服务器按照预定周期向元数据服务器上报所述 IOPS值。
7. 根据权利要求 1至 6中任一项所述的方法， 其中， 在根据所述访问次数将所述 文件迁移到比当前存储设备性能高的存储设备中之后， 所述方法还包括： 按照预定周期检查各个存储设备的当前 IOPS值与 IOPS极限值的比值是否 不大于临界值；
如果不大于所述临界值， 停止对当前存储设备中的所述文件进行迁移； 如果大于所述临界值， 继续对所述当前存储设备中的访问次数高于预设阈 值的文件进行迁移。
8. 一种分布式文件系统的存储装置， 应用于元数据服务器， 包括：
第一确定模块， 设置为确定预设时间内对同一文件的访问次数； 迁移模块， 设置为根据所述访问次数将所述文件迁移到比当前存储设备性 能高的存储设备中。
9. 根据权利要求 8所述的装置， 其中， 所述迁移模块包括：
第一确定单元， 设置为确定所述访问次数超过预设阈值；
第二确定单元， 设置为在所有存储设备中确定所述比当前存储设备性能高 的存储设备， 并且所述存储设备存在空闲块；
迁移单元， 设置为将所述文件迁移到所述存储设备中。
10. 根据权利要求 8所述的装置， 其中， 所述装置还包括：
第二确定模块， 设置为分别确定各个存储设备的每秒进行读写操作的次数 IOPS极限值与当前 IOPS值；
计算模块， 设置为分别计算所述各个存储设备的所述当前 IOPS值与所述 IOPS极限值的比值；
比较模块， 设置为分别比较所述比值与预先设定的临界值； 第三确定模块， 设置为在所述比值大于所述临界值的情况下， 确定需要对 当前存储设备中的访问次数高于预设阈值的文件进行迁移。
PCT/CN2013/079813 2012-08-03 2013-07-22 分布式文件系统的存储方法及装置 WO2013178155A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2015104116A RU2653278C2 (ru) 2012-08-03 2013-07-22 Способ и устройство хранения для распределенной файловой системы
US14/417,957 US10572454B2 (en) 2012-08-03 2013-07-22 Storage method and apparatus for distributed file system
EP13797773.2A EP2881854A4 (en) 2012-08-03 2013-07-22 STORAGE PROCESS AND DEVICE FOR A DISTRIBUTED FILE SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210275170.1 2012-08-03
CN2012102751701A CN102841931A (zh) 2012-08-03 2012-08-03 分布式文件系统的存储方法及装置

Publications (1)

Publication Number Publication Date
WO2013178155A1 true WO2013178155A1 (zh) 2013-12-05

Family

ID=47369294

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/079813 WO2013178155A1 (zh) 2012-08-03 2013-07-22 分布式文件系统的存储方法及装置

Country Status (5)

Country Link
US (1) US10572454B2 (zh)
EP (1) EP2881854A4 (zh)
CN (1) CN102841931A (zh)
RU (1) RU2653278C2 (zh)
WO (1) WO2013178155A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810144A (zh) * 2018-06-14 2018-11-13 北京中飞艾维航空科技有限公司 一种数据传输方法、服务器及存储介质

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841931A (zh) 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN103091707B (zh) * 2012-12-31 2016-06-22 中国石油集团川庆钻探工程有限公司地球物理勘探公司 地震数据分级存储装置及方法
CN103973583B (zh) * 2013-01-28 2017-11-07 中兴通讯股份有限公司 分布式文件系统优化负载均衡的方法及系统
CN103198027A (zh) * 2013-02-27 2013-07-10 天脉聚源(北京)传媒科技有限公司 一种存储文件和提供文件的方法和装置
CN104142953B (zh) * 2013-05-10 2017-12-08 中国电信股份有限公司 元数据动态管理方法及系统
CN103220367A (zh) * 2013-05-13 2013-07-24 深圳市中博科创信息技术有限公司 数据复制方法及数据存储系统
CN104346291B (zh) * 2013-08-05 2017-08-01 炬芯（珠海）科技有限公司 一种存储器的存储方法及存储系统
CN103593460A (zh) * 2013-11-25 2014-02-19 方正国际软件有限公司 数据分级存储系统和数据分级存储方法
CN103645860B (zh) * 2013-11-27 2017-01-25 华为技术有限公司 存储空间的管理方法和存储管理装置
CN103618804A (zh) * 2013-12-16 2014-03-05 北京航空航天大学 一种基于性能差异的分布式键值存储系统负载均衡方法
CN103744620B (zh) * 2013-12-31 2017-11-07 百度在线网络技术（北京）有限公司 一种用于数据存储的方法与设备
CN103793475B (zh) * 2014-01-06 2017-06-06 无锡城市云计算中心有限公司 一种分布式文件系统数据迁移的方法
CN103841185B (zh) * 2014-02-24 2017-05-17 北京二六三企业通信有限公司 负载均衡方法和装置
CN104869140B (zh) * 2014-02-25 2018-05-22 阿里巴巴集团控股有限公司 多集群系统和控制多集群系统的数据存储的方法
CN104978362B (zh) * 2014-04-11 2019-11-29 南京中兴新软件有限责任公司 分布式文件系统的数据迁移方法、装置及元数据服务器
CN105279166B (zh) * 2014-06-20 2019-01-25 中国电信股份有限公司 文件管理方法和系统
CN104268099B (zh) * 2014-08-29 2017-06-13 浪潮(北京)电子信息产业有限公司 一种管理数据读写的方法及装置
CN104376094A (zh) * 2014-11-24 2015-02-25 浪潮电子信息产业股份有限公司 一种考虑访问随机性的文件分级存储方法和系统
CN105701029B (zh) * 2014-11-25 2018-11-06 华为技术有限公司 一种异构存储优化方法及装置
CN105763508B (zh) * 2014-12-16 2019-12-10 阿里巴巴集团控股有限公司 一种数据访问方法和应用服务器
CN104462577B (zh) * 2014-12-29 2018-04-13 北京奇艺世纪科技有限公司 一种数据存储方法及装置
CN105808620B (zh) * 2014-12-31 2019-11-26 华为技术有限公司 一种管理磁盘文件的方法和装置
CN105868218B (zh) * 2015-01-23 2019-08-30 中国移动通信集团河北有限公司 一种数据处理方法及电子设备
CN106453461A (zh) * 2015-08-12 2017-02-22 中兴通讯股份有限公司 资源缓存方法及装置
CN106502576B (zh) * 2015-09-06 2020-06-23 中兴通讯股份有限公司 迁移策略调整方法及装置
CN105224473A (zh) * 2015-09-15 2016-01-06 浪潮(北京)电子信息产业有限公司 一种固态硬盘缓存数据的更新方法及装置
CN105306578A (zh) * 2015-11-11 2016-02-03 中国联合网络通信集团有限公司 一种内容存储的方法及装置
CN105653642A (zh) * 2015-12-25 2016-06-08 曙光信息产业股份有限公司 分布式文件系统的数据管理方法和装置
CN107132991B (zh) * 2016-02-26 2020-11-20 深信服科技股份有限公司 虚拟存储系统的分层存储方法及虚拟存储系统
US10032115B2 (en) * 2016-05-03 2018-07-24 International Business Machines Corporation Estimating file level input/output operations per second (IOPS)
CN106227466B (zh) * 2016-07-15 2019-03-15 浪潮(北京)电子信息产业有限公司 一种数据段迁移方法及系统
CN106371762A (zh) * 2016-08-19 2017-02-01 浪潮(北京)电子信息产业有限公司 一种存储数据优化方法及系统
CN106775494B (zh) * 2017-01-06 2023-05-12 南京普天通信股份有限公司 一种基于分布式软件定义存储的数据存储装置及存储方法
CN108347459A (zh) * 2017-01-25 2018-07-31 贵州白山云科技有限公司 一种云端数据快速存储方法及装置
CN107092443B (zh) * 2017-04-28 2020-04-07 杭州宏杉科技股份有限公司 数据迁移方法及装置
CN109144895B (zh) * 2017-06-15 2023-11-14 中兴通讯股份有限公司 一种数据存储方法及装置
CN107844275A (zh) * 2017-11-22 2018-03-27 郑州云海信息技术有限公司 一种数据的迁移方法、装置及介质
TWI672647B (zh) * 2018-03-20 2019-09-21 緯穎科技服務股份有限公司 管理方法及其相關儲存系統
WO2019183958A1 (zh) * 2018-03-30 2019-10-03 华为技术有限公司 数据写入方法、客户端服务器和系统
CN109284258A (zh) * 2018-08-13 2019-01-29 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于hdfs的分布式多级存储系统及方法
CN109284073B (zh) * 2018-09-30 2020-03-06 北京金山云网络技术有限公司 数据存储方法、装置、系统、服务器、控制节点及介质
CN111258748B (zh) * 2018-12-03 2023-09-05 中国移动通信集团上海有限公司 分布式文件系统及控制方法
CN109669636B (zh) * 2018-12-20 2020-04-21 深圳领络科技有限公司 一种分布式智能存储系统
CN112311689B (zh) * 2019-07-31 2024-03-05 上海幻电信息科技有限公司 突发流量的分流方法、计算机设备及可读存储介质
CN110489378B (zh) * 2019-08-25 2023-07-04 山东融兴合智能科技有限公司 一种在互联网中进行文件迁移的方法及系统
CN110781129B (zh) * 2019-09-12 2022-02-22 苏州浪潮智能科技有限公司 一种fpga异构加速卡集群中的资源调度方法、设备及介质
CN111026337A (zh) * 2019-12-30 2020-04-17 中科星图股份有限公司 一种基于机器学习和ceph思想的分布式储存方法
CN111352591B (zh) * 2020-02-26 2023-03-14 上海市胸科医院 医疗影像文件的存储方法及设备
CN111158613B (zh) * 2020-04-07 2020-07-31 上海飞旗网络技术股份有限公司 基于访问热度的数据块存储方法、装置及存储设备
CN113407513B (zh) * 2020-11-24 2024-03-12 腾讯科技（深圳）有限公司 特征库的调度方法、装置和特征库检索方法、装置
CN113377725B (zh) * 2021-08-13 2021-11-12 苏州浪潮智能科技有限公司 一种内核客户端的预读方法、系统及计算机可读存储介质
CN113784170B (zh) * 2021-11-11 2022-03-22 深圳市名竹科技有限公司 内容数据预热方法、装置、计算机设备及存储介质
CN116431081B (zh) * 2023-06-13 2023-11-07 广州图灵科技有限公司 分布式数据存储方法、系统、装置及存储介质
CN116614323B (zh) * 2023-07-21 2023-11-14 银河麒麟软件(长沙)有限公司 一种基于Rclone的云存储企业网盘管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582013A (zh) * 2009-06-10 2009-11-18 成都市华为赛门铁克科技有限公司 一种在分布式存储中处理存储热点的方法、装置及系统
WO2011055976A2 (ko) * 2009-11-03 2011-05-12 (주)피스페이스 분산 저장 시스템에서 파일을 관리하는 장치 및 방법
CN102411542A (zh) * 2011-10-26 2012-04-11 上海文广互动电视有限公司 动态分级存储系统和方法
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313631A (en) * 1991-05-21 1994-05-17 Hewlett-Packard Company Dual threshold system for immediate or delayed scheduled migration of computer data files
US5495607A (en) * 1993-11-15 1996-02-27 Conner Peripherals, Inc. Network management system having virtual catalog overview of files distributively stored across network domain
US6119151A (en) * 1994-03-07 2000-09-12 International Business Machines Corp. System and method for efficient cache management in a distributed file system
US7788335B2 (en) * 2001-01-11 2010-08-31 F5 Networks, Inc. Aggregated opportunistic lock and aggregated implicit lock management for locking aggregated files in a switched file system
US20020124137A1 (en) * 2001-01-29 2002-09-05 Ulrich Thomas R. Enhancing disk array performance via variable parity based load balancing
JP2004318743A (ja) * 2003-04-21 2004-11-11 Hitachi Ltd ファイル移送装置
US7698517B2 (en) * 2004-12-02 2010-04-13 Storagedna, Inc. Managing disk storage media
US8688904B1 (en) * 2005-05-23 2014-04-01 Hewlett-Packard Development Company, L.P. Method for managing data storage
JP2007102452A (ja) * 2005-10-04 2007-04-19 Fujitsu Ltd システム管理プログラムおよびシステム管理方法
US20070083482A1 (en) * 2005-10-08 2007-04-12 Unmesh Rathi Multiple quality of service file system
JP2010015446A (ja) * 2008-07-04 2010-01-21 Hitachi Ltd ストレージ装置及び電源の制御方法
CN101334797B (zh) * 2008-08-04 2010-06-02 中兴通讯股份有限公司 一种分布式文件系统及其数据块一致性管理的方法
JP2010257094A (ja) * 2009-04-23 2010-11-11 Hitachi Ltd 階層ストレージ管理システムにおける移動候補ファイルの抽出方法
US8918585B2 (en) * 2010-01-28 2014-12-23 Hitachi, Ltd. Management system calculating storage capacity to be installed/removed
US8307014B2 (en) * 2010-08-25 2012-11-06 International Business Machines Corporation Database rebalancing in hybrid storage environment
WO2012053040A1 (en) * 2010-10-22 2012-04-26 Hitachi, Ltd. File server for migration of file and method for migrating file based on file's attributes and storage apparatuses ' attributes
US8904121B2 (en) * 2011-09-22 2014-12-02 Hitachi, Ltd. Computer system and storage management method
WO2014016866A1 (en) * 2012-07-24 2014-01-30 Hitachi, Ltd. Storage system, storage control method and storage control program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582013A (zh) * 2009-06-10 2009-11-18 成都市华为赛门铁克科技有限公司 一种在分布式存储中处理存储热点的方法、装置及系统
WO2011055976A2 (ko) * 2009-11-03 2011-05-12 (주)피스페이스 분산 저장 시스템에서 파일을 관리하는 장치 및 방법
CN102411542A (zh) * 2011-10-26 2012-04-11 上海文广互动电视有限公司 动态分级存储系统和方法
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2881854A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810144A (zh) * 2018-06-14 2018-11-13 北京中飞艾维航空科技有限公司 一种数据传输方法、服务器及存储介质

Also Published As

Publication number Publication date
EP2881854A4 (en) 2016-01-20
EP2881854A1 (en) 2015-06-10
CN102841931A (zh) 2012-12-26
US10572454B2 (en) 2020-02-25
RU2653278C2 (ru) 2018-05-07
RU2015104116A (ru) 2016-09-27
US20150169621A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
WO2013178155A1 (zh) 分布式文件系统的存储方法及装置
JP6564082B2 (ja) バーチャル環境におけるダイナミックストレージ階層化
WO2018099397A1 (zh) 数据库集群中数据迁移的方法、装置及存储介质
US9613040B2 (en) File system snapshot data management in a multi-tier storage environment
US9830101B2 (en) Managing data storage in a set of storage systems using usage counters
US9128826B2 (en) Data storage architecuture and system for high performance computing hash on metadata in reference to storage request in nonvolatile memory (NVM) location
US9720606B2 (en) Methods and structure for online migration of data in storage systems comprising a plurality of storage devices
WO2014087518A1 (ja) ネットワークシステム及びその運用方法
US10356150B1 (en) Automated repartitioning of streaming data
US11841861B1 (en) Constrained query execution
CN106406759B (zh) 一种数据存储方法及装置
WO2012080001A1 (en) Extent migration for paired storage
US20140075111A1 (en) Block Level Management with Service Level Agreement
US9984139B1 (en) Publish session framework for datastore operation records
WO2019148841A1 (zh) 一种分布式存储系统、数据处理方法和存储节点
EP4030273A1 (en) Data storage method and device
WO2014094568A1 (zh) 一种数据存储规划方法及装置
US20210081123A1 (en) Cluster controller selection for shared storage clusters
US11409456B2 (en) Methods to reduce storage capacity
CN107422989A (zh) 一种Server SAN系统多副本读取方法及存储架构
JP6060276B2 (ja) 監視レコード管理方法及びデバイス
EP3349416B1 (en) Relationship chain processing method and system, and storage medium
KR102376152B1 (ko) 클라우드 서비스 제공을 위한 스토리지 제공 장치 및 방법
JP2011070464A (ja) 計算機システム及び計算機システムの性能管理方法
WO2017045545A1 (zh) 多存储盘负载管理方法、装置、文件系统及存储网络系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13797773

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14417957

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013797773

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2015104116

Country of ref document: RU

Kind code of ref document: A