WO2015085747A1 - 一种数据访问存储方法及装置 - Google Patents

一种数据访问存储方法及装置 Download PDF

Info

Publication number
WO2015085747A1
WO2015085747A1 PCT/CN2014/080432 CN2014080432W WO2015085747A1 WO 2015085747 A1 WO2015085747 A1 WO 2015085747A1 CN 2014080432 W CN2014080432 W CN 2014080432W WO 2015085747 A1 WO2015085747 A1 WO 2015085747A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
access
request
vertex
graph
Prior art date
Application number
PCT/CN2014/080432
Other languages
English (en)
French (fr)
Inventor
王志坤
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2015085747A1 publication Critical patent/WO2015085747A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to the field of computers and information communication technologies, and in particular, to a data access storage method and apparatus.
  • BACKGROUND OF THE INVENTION Green energy conservation is a trend of current data center development. In a data center, the server is still the main equipment for the largest power consumption and cooling problems, and the storage system is closely followed. Research shows that the power consumption of the storage system generally accounts for the entire data. The central power consumption is about 27%, of which the disk is the main energy-consuming device in the storage system. In a typical Redundant Array of Independent Disks (RAID) system, the energy consumption of the disk array card can be 80. %about.
  • RAID Redundant Array of Independent Disks
  • DPM Dynamic power management
  • Massive Array of Idle Disks (MAID) storage systems. These methods divide the disks in the system into active and inactive classes, by accessing data in the system. The statistics of the heat cache or frequently migrate the frequently accessed data to a small number of active disks, thereby converting a large number of infrequently accessed disks to a low-energy state, thereby achieving the goal of energy saving.
  • the existing energy-saving method based on data access popularity mainly starts from the local characteristics of data access, and stores the hotspot data in the active disk to reduce the number of times the inactive disk is started and the time when it is active.
  • the energy-saving effect of these methods is directly related to the data hit accuracy, but the mechanical characteristics of the disk determine the energy saving and performance improvement methods.
  • the access behavior of the missed data will also have a great impact on the energy saving effect of the storage system.
  • the cache disk is not evenly distributed, it will cause most of the inactive disks to be idle for too short a time to switch to a power-saving state.
  • the inactive disk is in the off state, once the requested data is not in the cache disk, the shutdown disk needs to be booted to the active state before the corresponding data service can be performed, which brings a large time delay and energy consumption. . Therefore, frequent stops and starts of inactive disks also reduce their useful life.
  • an embodiment of the present invention provides a data access storage method, including the steps of: obtaining a data read/write access request; constructing a data access relationship map according to the data read/write access request; and according to the data access relationship diagram Obtaining a data movement policy; moving the data on the storage medium according to the data movement policy.
  • the step of obtaining a data read/write access request is: intercepting, by the block device driver layer, a data read/write access request sent by the upper layer application.
  • the step of constructing a data access relationship map according to the data read/write access request comprises: dividing each data read/write access request according to a starting logical block address and a data size of the requested data, Corresponding to the preset block granularity, each block granularity represents a vertex in the relation graph; according to the vertex, constructing the access graph by constructing the directed edge between the vertex.
  • the step of generating an access relationship graph based on the vertices between the vertices according to the vertices is specifically: for a data request sequence occurring within the same preset time period, the block size of the corresponding data request is Connect a directed edge between the nodes that appear first from the node that appears first.
  • the step of constructing a data access relationship map according to the data read/write access request further includes: obtaining an access heat of a data block corresponding to each vertex.
  • the step of obtaining the access heat of the data block corresponding to each vertex is specifically: calculating the access heat according to the access frequency and the access time of each data block, and using the weight of the corresponding vertex in the access relationship graph as the data block. .
  • the time of each data read and write access request, F ( x ) is a decrement function.
  • the step of constructing a data access relationship map according to the data read/write access request further comprises: storing the access relationship map by using an adjacency list structure.
  • the step of obtaining a data movement policy according to the data access relationship diagram comprises: cutting the data access relationship graph; sorting the tailored access relationship graph; according to the sorting result, according to the data block access Heat and access the associated information to derive a data movement strategy.
  • the step of cutting the data access relationship diagram is specifically: Using the support and confidence of the edge to crop the edges in the association graph to form a number of small subgraphs, wherein the support of the edge is the weight of the edge, and the confidence of the edge is (3 ⁇ 4), where
  • the step of sorting the cut access relationship graph is specifically: selecting, in each access subgraph, a vertex with the largest weight as a starting node, and marking the vertex, adding the marked vertex to the sorting chain L According to the degree of vertex association, other vertices with larger weights in the access relation graph are sequentially added to the sorting chain L.
  • the embodiment of the present invention further provides a data access storage device, including: a request acquisition module, configured to obtain a data read and write access request; a relationship graph construction module, configured to construct a data access relationship map according to the data read and write access request; An analysis module is configured to obtain a data movement policy according to the data access relationship diagram; and an execution module configured to move data on the storage medium according to the data movement policy.
  • a request acquisition module configured to obtain a data read and write access request
  • a relationship graph construction module configured to construct a data access relationship map according to the data read and write access request
  • An analysis module is configured to obtain a data movement policy according to the data access relationship diagram
  • an execution module configured to move data on the storage medium according to the data movement policy.
  • the relationship diagram construction module comprises: a construction unit, configured to read and write access requests for each data, perform block according to the starting logical block address and data size of the request data, and preset blocks Corresponding to the granularity, each block granularity represents a vertex in the relation graph, and an access graph is generated according to the vertex and the directed edge between the constructed vertex.
  • the relationship diagram construction module further includes: a calculation unit, configured to calculate an access heat of the data block corresponding to each vertex.
  • the analyzing module specifically includes: a cropping unit configured to perform cutting on the data access relationship graph; and a sorting unit configured to sort the cropped access relationship graph;
  • the planning unit is set to obtain a data movement strategy according to the ranking result and according to the access heat of the data block and the access association information.
  • FIG. 1 is a general flowchart of a method according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a specific implementation of a method according to an embodiment of the present invention.
  • DETAILED DESCRIPTION OF THE INVENTION The technical problems, technical solutions, and advantages of the present invention will become more apparent from the following detailed description.
  • an embodiment of the present invention provides a data access storage method and device for the problem that the energy saving effect of the existing storage system energy saving technology is poor and the I/O (input/output) access performance is greatly affected.
  • an embodiment of the present invention provides a data access storage method, including: Step 10: Obtain a data read/write access request; Step 20: Construct a data access relationship map according to the data read/write access request; Step 30 Obtaining a data movement policy according to the data access relationship diagram; Step 40: moving data on the storage medium according to the data movement policy.
  • the above embodiment of the present invention uses a disk as a cache of the entire system, and has the following advantages: (1) The disk is cheap and has a large storage space, and after the inactive disk is started, more data is transferred to the cache disk according to the data association degree. Therefore, the time and number of consecutive data hits are increased, and the opportunities for other disks to be closed are prolonged; (2) Unlike volatile memory, the disk acts as a data cache to prevent data loss caused by accidental power failure and has high data reliability.
  • the foregoing embodiment of the present invention collects an access request to form an access relationship diagram, and then analyzes the access relationship diagram to formulate a data movement policy, and moves the data on the disk according to the data movement policy, and sequentially stores the data.
  • the step 10 is specifically: intercepting, by the block device driver layer, a data read/write access request sent by the upper layer application.
  • the data read/write access request may be a data read access request, a data write access request, or an access request for data read and write simultaneously.
  • the foregoing embodiment of the present invention by tracking and recording the I/O request sent by the upper layer application, intercepts the I/O request sent by the upper layer application at the block device driver layer, and lays a foundation for the subsequent generation of the data access relationship diagram.
  • the step 20 includes: dividing each data read/write access request according to a starting logical block address and a data size of the requested data, and performing a predetermined block granularity.
  • each block granularity represents a vertex in the relation graph; according to the vertex, constructing an access graph by constructing a directed edge between the vertex.
  • the method reveals the access relationship between the I/O request (the I/O request described herein is a data read and write request for the storage system).
  • the adjacency list structure For the access graph, use the adjacency list structure to store, specifically defined as: typedef struct arc—node int adj_vex;/* another vertex of the arc*/ int node_w; /* vertex weight*/ struct arcNode *next_arc ; / * points to the next arc * / int arc_w; / * side weight * /
  • ⁇ Arc_Node /*Arc vertex*/ Since each I/O request starts with a different LB A (Logical Block Address) and size, a block-size Chunk value is defined for easy processing, and each I/O request starts the LBA according to its request.
  • the request size is chunked and aligned to the Chunk boundary, and each Chunk is represented as a vertex in the diagram.
  • the observation window is used to assist in constructing the access graph, that is, the requests appearing in an observation window have a certain relationship, and the corresponding Chunk vertices are connected with a directed edge, and the vertices appearing from the first appearing node .
  • the Time Window is used as the observation window.
  • the time window maintains a sequence of requests within N seconds, between which requests occur within the time window. It is considered to be related.
  • the size of the time window has a great influence on the extraction of the access relationship. If the time window value is set too small, many associated I/O information will be lost, and if the value is set too large, irrelevant related information will be introduced.
  • the access heat of the data block corresponding to each vertex needs to be calculated, so as to comprehensively consider the access heat of the data block when the data is cached. Access related information.
  • the step 20 further includes: obtaining an access heat of the data block corresponding to each vertex.
  • the data block popularity (Popularity) calculation method is used to calculate the heat value according to the access frequency and access time of each data block, and as the weight of the corresponding vertex in the relationship diagram of the block, the specific formula is:
  • the specific algorithm for constructing the access graph is as follows: Input: Chunk request V i ; Output: Access graph G (V, E);
  • V g Vthen Add vertex 3 ⁇ 4 to V; set vertex initial weight p_ ; ; else update vertex weight p_3 ⁇ 4; end if for each 3 ⁇ 4do if in observation window ⁇ ⁇ ,&&e 51 ⁇ Ethen constructs the edge and adds it to E; Initial weight w_e ; else update edge weight w_ ; end if
  • the step 30 is specifically as follows: Step 31: Accessing the relationship diagram for cropping; Step 32: Sorting the clipped access relationship graph; Step 33, according to the sorting result, according to the access heat of the data block and the access association information, the data movement strategy is obtained.
  • e (vi, vj ) represents an edge from vertex Vi to Vj
  • the support of e (vi, vj ) is defined as the weight of edge e ( Vi , /SupOO, where Sup ⁇ 3 ⁇ 4)
  • the support degree and the confidence level are respectively set to a support degree threshold and a confidence threshold, and all edges smaller than the support degree threshold or the confidence threshold are deleted from the access relationship diagram, and the obtained sub-picture is each access association.
  • the request aggregates. From the above processing, the support threshold and the confidence threshold have a great influence on the result. When the two values are selected smaller, too many unrelated edges are introduced, thereby reducing the accuracy of the association; and when the two thresholds are When the setting is large, some edges with intrinsic links are lost, so that the extracted access associations are less, which is not conducive to optimization. In the specific implementation, two thresholds are weighed to obtain a reasonable access association request aggregation. .
  • the vertices in the graph need to be sorted according to the weight of the edge to determine the layout of the data block corresponding to the vertex on the cache disk.
  • This process involves accessing the vertices in the association graph. Traversal.
  • the traversal of the graph generally adopts Depth First Search (DFS) or Breadth First Search (BFS).
  • DFS Depth First Search
  • BFS Breadth First Search
  • the weights of each vertex are calculated globally and sorted accordingly.
  • the concrete implementation is as follows: Input: access graph G (V, E); output: request aggregate chain L to cancel the mark of all nodes in V; select the vertex with the largest weight value ⁇ as the starting node; mark the vertex v s ; Into the chain L; for each unmarked adjacent vertex v n do ⁇ ⁇ into the chain L; mark v n ; end for return to the aggregate chain L; further described as: In each access subgraph, First, select the request with the highest popularity, that is, the vertex with the largest weight as the starting node, mark the vertex, add the vertices of the mark to the sorting chain L, and then select the weight of the edge in the access graph in turn according to the degree of association. The other vertices add them to the sort chain L, respectively.
  • the time complexity of this algorithm is 0 (n+mlog 2 m), where n is the number of vertices, and m is the number
  • the I/O access request sent by the upper layer application is obtained at the block device driver layer (that is, the access load is tracked and recorded); then, the access mode is extracted, including: statistics on the access heat and Constructing an access graph; then analyzing the access graph, including: cropping the access graph and sorting the cropped submap; and then generating a data caching strategy based on the sorted access submap. Finally, the actual data movement is performed according to the established data caching strategy.
  • the storage energy saving method proposed by the embodiment of the present invention is suitable for various network storage system structures such as DAS (Direct Connected Storage of Open System), NAS (Network Access Server), and SAN (Storage Area Network), and can be used for In a single storage system composed of multiple disks, it may also be a large-scale storage system composed of a plurality of storage units, and data is redistributed according to data access heat and association between different units to achieve the goal of energy saving.
  • the frequently accessed and highly correlated data is sequentially stored in the cache disk, and the time locality and spatial locality of the data in the active disk are utilized, and the number of times the inactive disk is closed is increased.
  • the embodiment of the present invention further provides a data access storage device, including: a request acquisition module, configured to obtain a data read and write access request; a relationship graph construction module, configured to construct a data access relationship map according to the data read and write access request; An analysis module is configured to obtain a data movement policy according to the data access relationship diagram; and an execution module configured to move data on the storage medium according to the data movement policy.
  • the above embodiment of the present invention performs an access relationship diagram construction on an access request obtained by the requesting module, and then performs a series of analysis by the analysis module according to the constructed access relationship graph to obtain a data movement strategy, and finally, when data movement is required, execution is performed.
  • the module moves the data and stores the data in an orderly manner on the active cache disk. This way of storing data enables the cache disk to obtain more continuous access opportunities, thereby prolonging the time when the inactive disk is in the closed state.
  • the storage of data in the cache disk can shorten the moving distance of the head arm in the disk, thereby shortening the I/O request response time and reducing energy consumption.
  • the relationship diagram construction module includes: a construction unit configured to perform a read/write access request for each data, and perform block according to a starting logical block address and a data size of the requested data, and Corresponding to the preset block granularity, each block granularity represents a vertex in the relation graph, and an access relationship graph is generated according to the vertex and the directed edge between the constructed vertex.
  • the relationship diagram construction module further includes: a calculation unit configured to calculate an access heat of the data block corresponding to each vertex.
  • the analyzing module specifically includes: a cropping unit configured to perform cutting on the data access relationship graph; and a sorting unit configured to sort the cropped access relationship graph; Set to calculate the data movement plan based on the access association and popularity of the data according to the sorting result.
  • the device embodiment is a device corresponding to the above method, and all implementations of the foregoing methods are applicable to the device embodiment, and the same technical effects as the above method can be achieved.
  • the above is a preferred embodiment of the present invention, and it should be noted that those skilled in the art can also make several improvements and retouchings without departing from the principles of the present invention. These improvements and retouchings should also be considered. It is the scope of protection of the present invention.
  • a data access storage method and apparatus provided by an embodiment of the present invention have the following beneficial effects: By sequentially storing data that is frequently accessed and associated with a high degree of relevance to a cache disk, the active disk is utilized.
  • the temporal locality and spatial locality of the data increase the number and time of inactive disk shutdown, and store the associated data sequentially in the cache disk, effectively reducing the energy consumption and seek latency of the head arm movement. , while improving disk access performance, further reducing energy consumption.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

一种数据访问存储方法及装置，所述方法包括步骤：获得数据读写访问请求；根据所述数据读写访问请求，构造数据访问关系图；根据所述数据访问关系图，获得数据移动策略；根据所述数据移动策略对存储介质上的数据进行移动。上述方案解决了现有存储系统节能技术中存在的节能效果不佳、对I/O访问性能影响大的问题，通过将经常访问且关联度较高的数据按顺序存到缓存磁盘中，禾I」用了活动磁盘中数据的时间局部性和空间局部性，增加了非活动磁盘关闭的次数和时间，在提高磁盘访问性能的同时，进一步减少了能量的消耗。

Description

一种数据访问存储方法及装置
技术领域 本发明涉及计算机及信息通信技术领域，特别涉及一种数据访问存储方法及装置。 背景技术 绿色节能是当前数据中心发展的趋势， 在一个数据中心内， 服务器依然还是最大 的电能消耗和冷却问题的主要设备， 存储系统紧随其后， 研究表明， 存储系统电能消 耗一般占整个数据中心电能消耗的 27%左右，其中磁盘是存储系统中主要的耗能设备， 典型的磁盘阵列独立磁盘冗余阵列 （Redundant Array of Independent Disks, RAID) 系 统中， 磁盘阵列卡能耗可占到 80%左右。 一个存储设备从投入使用到最终淘汰， 整个 使用过程中所消耗的能源很可能会超过其本身的购买价格。 磁盘阵列在闲置时仍然会 使用超过峰值功率 80%的能耗， 因此在构建大规模磁盘存储系统时， 需要将节能问题 考虑进来。 能耗问题的研究最初是为了延长便携式设备中电池的使用时间， 一般采用动态电 源管理 （Dynamic Power Management, DPM) 节能方法， 其首先监控系统中磁盘的空 闲时间， 当能耗管理算法预测到将磁盘转换至低能耗状态时可以节能时， 就将磁盘转 换至低能耗状态， 以便节约能耗。 但在磁盘有相应新的请求前必须重新加速到全速旋 转模式， 这一加速过程会带来显著的能量消耗和时间开销。 为了弥补这个开销， 磁盘 处于停顿模式所节省的能耗应该大于重新启动硬盘带来的能耗开销， 这是有在后续请 求达到时间间隔足够长时才行。 然而与便携式设备不同， 在企业级数据中心环境中进行节能存在如下一些挑战：
( 1 )在服务器存储环境中， 由于 I/O (输入 /输出）访问比较密集， 磁盘空闲时间较短， 采用 DPM节能方法来关闭磁盘带来的节能效果十分有限； （2) 为了追求最大的数据 并行度和可靠性， 数据中心部署的多为并行磁盘系统， 如 RAID方式， 这意味着大部 分磁盘都在被访问， 所有设备始终都在工作， 并没有闲置的设备， 从而无法进行空闲 状态切换； （3 ) 当关闭磁盘进行节能时， 还会对存储系统的性能和可靠性带来较大影 响， 这与企业级存储系统的高性能、 高可靠的目标相悖。 在大规模企业级磁盘存储系统中， 采用热点数据布局的方式来节约能耗是一种比 较有效的方法， 如空闲磁盘的大规模阵列 （Massive Array of Idle Disks, MAID) 存储 系统等。 这些方法将系统中的磁盘划分为活动和非活动两类， 通过对系统中数据访问 热度的统计， 将经常访问的数据缓存或迁移到少部分活动磁盘中， 从而将大量不经常 访问的磁盘转换到低能耗状态， 进而达到节能的目标。 现有的基于数据访问热度的节能方法主要从数据访问的时间局部性特点出发， 将 热点数据存放在活动磁盘中， 以减少非活动磁盘的启动次数和处于活动状态的时间。 表面上看， 这些方法的节能效果与数据命中精度直接相关， 但磁盘的机械特性决定了 节能与提高性能方法不同， 不命中数据的访问行为也会对存储系统节能效果带来很大 影响。 如果缓存磁盘缺失分布较为均匀时， 会导致大多数非活动磁盘空闲时间过短， 而无法切换到节能状态。 而且， 非活动磁盘处于关闭状态时， 一旦请求数据不在缓存 磁盘中时， 就需要将关闭磁盘启动到活动状态， 然后才能进行相应的数据服务， 这个 过程会带来较大的时间延迟和能量消耗。 因此， 非活动磁盘频繁地停止和启动也会降 低其使用寿命。 发明内容 本发明实施例要解决的技术问题是提供一种数据访问存储方法及装置， 用以克服 现有存储系统节能技术中存在的节能效果不佳、 对 I/O (输入 /输出） 访问性能影响大 的问题。 为了解决上述技术问题， 本发明实施例提供一种数据访问存储方法， 包括步骤： 获得数据读写访问请求； 根据所述数据读写访问请求， 构造数据访问关系图； 根据所述数据访问关系图， 获得数据移动策略； 根据所述数据移动策略对存储介质上的数据进行移动。 优选地， 所述获得数据读写访问请求的步骤具体为： 在块设备驱动层截获上层应用下发的数据读写访问请求。 优选地， 所述根据所述数据读写访问请求， 构造数据访问关系图的步骤包括： 将每个数据读写访问请求， 依据其请求数据的起始逻辑区块地址和数据大小进行 分块， 并与预设的分块粒度相对应， 每个分块粒度在关系图中表示一个顶点； 根据所述顶点， 构造顶点之间的有向边生成访问关系图。 优选地， 所述根据所述顶点， 构造顶点之间的有向边生成访问关系图的步骤具体 为： 对于在同一预设时间段内出现的数据请求序列， 将对应的数据请求的分块粒度之 间连接一条有向边， 从先出现的节点指向后出现的节点。 优选地， 所述根据所述数据读写访问请求， 构造数据访问关系图的步骤还包括： 获得每个顶点所对应数据块的访问热度。 优选地， 所述获得每个顶点所对应数据块的访问热度的步骤具体为： 根据每个数据块的访问频率、 访问时间来计算访问热度， 并作为数据块在访问关 系图中对应顶点的权重。
优选地， 根据公式： ,s^ = d * ≤ +∑^= F ( tc - t ) 计算访问热度；
其中， w是上次统计的热度值， 3是衰减因子， ΐε是当前时间， t3是当前时间片
中每次数据读写访问请求的时间， F ( x ) 为一个递减函数。 优选地， 所述根据所述数据读写访问请求， 构造数据访问关系图的步骤还包括： 使用邻接表结构来存储所述访问关系图。 优选地， 所述根据所述数据访问关系图， 获得数据移动策略的步骤包括： 对所述数据访问关系图进行裁剪； 对裁剪后的访问关系图进行排序； 按照排序结果， 根据数据块的访问热度和访问关联信息， 得出数据移动策略。 优选地， 所述对所述数据访问关系图进行裁剪的步骤具体为： 使用边的支持度和置信度来对关联图中的边进行裁剪， 形成若干小的子图，其中， 所述边的支持度为边的权重， 所述边的置信度为
Figure imgf000006_0001
(¾)， 其中
S，( )是顶点 出现的频率。 优选地， 所述对裁剪后的访问关系图进行排序的步骤具体为： 在各个访问子图中， 选取权重最大的顶点作为起始节点， 并标记顶点， 将所述标 记的顶点加入排序链 L中； 按照顶点关联程度来依次选取访问关系图中边的权重较大的其它顶点加入排序链 L中。 本发明实施例还提供一种数据访问存储装置， 包括： 请求获取模块， 设置为获得数据读写访问请求； 关系图构造模块， 设置为根据所述数据读写访问请求， 构造数据访问关系图； 分析模块， 设置为根据所述数据访问关系图， 获得数据移动策略； 执行模块， 设置为根据所述数据移动策略对存储介质上的数据进行移动。 优选地， 所述关系图构造模块包括： 构造单元， 设置为对每个数据读写访问请求， 依据其请求数据的起始逻辑区块地 址和数据大小进行分块， 并与预设的分块粒度相对应， 每个分块粒度在关系图中表示 一个顶点， 并根据所述顶点， 构造顶点之间的有向边生成访问关系图。 优选地， 所述关系图构造模块还包括： 计算单元， 设置为计算获得每个顶点所对应数据块的访问热度。 优选地， 所述分析模块具体包括： 裁剪单元， 设置为对所述数据访问关系图进行裁剪； 排序单元， 设置为对裁剪后的访问关系图进行排序； 计划制定单元， 设置为按照排序结果， 根据数据块的访问热度和访问关联信息， 得出数据移动策略。 本发明实施例的上述技术方案的有益效果如下： 上述方案中， 通过将经常访问且关联度较高的数据按顺序存放到缓存磁盘中， 利 用了活动磁盘中数据的时间局部性和空间局部性， 增加了非活动磁盘关闭的次数和时 间， 并且在缓存磁盘中将关联数据依次存放， 有效地减少了磁头臂移动带来的能量消 耗和寻道等待延时， 在提高磁盘访问性能的同时， 进一步减少了能量的消耗。 附图说明 图 1为本发明实施例的方法总体流程图； 图 2为本发明实施例所述方法的一具体实现流程图。 具体实肺式 为使本发明要解决的技术问题、 技术方案和优点更加清楚， 下面将结合附图及具 体实施例进行详细描述。 本发明实施例针对现有的存储系统节能技术中存在的节能效果不佳、对 I/O (输入 /输出） 访问性能影响大的问题， 提供一种数据访问存储方法及装置。 如图 1所示， 本发明实施例提供一种数据访问存储方法， 包括： 步骤 10， 获得数据读写访问请求； 步骤 20， 根据所述数据读写访问请求， 构造数据访问关系图； 步骤 30， 根据所述数据访问关系图， 获得数据移动策略； 步骤 40， 根据所述数据移动策略对存储介质上的数据进行移动。 本发明上述实施例使用磁盘作为整个系统的缓存， 具有以下优点： （1 ) 磁盘价格 便宜、 存储空间大， 可以在非活动磁盘启动后， 按照数据关联度， 传输更多的数据到 缓存磁盘中， 从而增加数据连续命中的时间和次数， 延长其它磁盘关闭的机会； （2) 与易失内存不同， 磁盘作为数据缓存可以防止意外掉电带来的数据丢失， 具有较高的 数据可靠性。 本发明上述实施例通过对访问请求进行收集， 形成访问关系图， 再对所述访问关 系图进行分析制定出数据移动策略，按照所述数据移动策略对磁盘上的数据进行移动， 有顺序的存入缓存磁盘中， 可缩短磁盘中磁头臂移动的距离， 在缩短 I/O请求响应时 间的同时减少了能量的消耗。 本发明的另一实施例中，所述步骤 10具体为：在块设备驱动层截获上层应用下发 的数据读写访问请求。 应当说明的是， 所述数据读写访问请求可以为数据读访问请求， 也可以为数据写 访问请求， 也可以为数据读和写同时进行的访问请求。 本发明上述实施例， 通过跟踪、 记录上层应用发送的 I/O请求， 并在块设备驱动 层截获上层应用下发的 I/O请求， 为后续的生成数据访问关系图奠定基础。 本发明的又一实施例中， 所述步骤 20包括： 将每个数据读写访问请求， 依据其请求数据的起始逻辑区块地址和数据大小进行 分块， 并与预设的分块粒度相对应， 每个分块粒度在关系图中表示一个顶点； 根据所述顶点， 构造顶点之间的有向边生成访问关系图。 考虑到在服务器环境下， 上层多个应用的并发访问， 导致存储系统收到的请求之 间相互交叉， 从而使得有关联的请求之间并不总是相连存放， 因此采用有向访问关系 图的方法来揭示 I/O请求 （这里所述 I/O请求对于存储系统来说便是数据读写请求） 之间的访问关系。 对于访问关系图， 使用邻接表 （Adjacency List) 结构来存储， 具体 定义为： typedef struct arc—node int adj_vex;/*弧的另一顶点 */ int node_w; /*顶点权重 */ struct arcNode *next_arc; /*指向下一个弧 */ int arc_w; /*边的权重 */
}Arc_Node; /*弧顶点 */ 由于每个 I/O请求起始 LB A (Logical Block Address, 逻辑块地址） 和大小不同， 为了便于处理， 定义了一个分块粒度 Chunk值， 将每个 I/O请求依据其请求起始 LBA 和请求大小进行分块， 并对齐到 Chunk边界上， 每个 Chunk在关系图中表示为一个顶 点。 采用观测窗口来协助构造访问关系图， 即在一个观测窗口中出现的请求之间具有 一定的关系， 其对应的 Chunk顶点之间便连接一条有向边， 从先出现的节点指向后出 现的顶点。 因为存储系统中 I/O访问请求的突发性， 这里采用时间窗口 （Time Window)作为 观察窗口， 时间窗口维护了一个 N秒之内的请求序列， 在该时间窗口内出现的请求之 间都认为是有关联的。 时间窗口的大小对访问关系的提取有较大的影响， 若时间窗口 值设置的过小， 会丢失许多有关联的 I/O信息， 而该值设置过大则又会引入无关的关 联信息。 在构造访问关系图时， 除了构造访问关系图中顶点之间的 "有向边"， 还需计算每 个顶点所对应数据块的访问热度， 以便在数据缓存时综合考虑数据块的访问热度和访 问关联信息。 因此本发明的又一实施例中， 所述步骤 20还包括： 获得每个顶点所对应 数据块的访问热度。 这里采用数据块流行度 （Popularity) 计算方法， 根据每个数据块的访问频率、 访 问时间等特征， 来计算其热度值， 并作为块在关系图中对应顶点的权重， 具体公式为：
¾ew =: & * d +∑:f= F i tc - t, ) ， 其中 是上次统计的热度值， 3是衰减
因子，这里选 d=0.5， t:是当前时间， t:i是当前时间片中每次数据读写访问请求的时间，
F ( x ) 为一个递减函数， 这里取 F(x) = (i/:2):K。 构造访问关系图的具体算法如下： 输入： Chunk请求 Vi ; 输出： 访问关系图 G (V, E);
If V, g Vthen 将顶点 ¾添加到 V中； 设置顶点初始权重 p_ ;; else 更新顶点权重 p_¾; end if for观察窗口中的每个 ¾do if ≠ ¥,&&e51 ί Ethen 构造边 并加入到 E中； 设置边的初始权重 w_e ; else 更新边的权重 w_ ； end if
end for
更新观察窗口中的最旧的项； return G 对以上构造方法作具体说明， 对于观测窗口中出现的每一个请求， 如果其在访问 关系图中没有出现过， 则首先在访问关系图中增加一个新的顶点， 并设置该顶点的初 始权重。 如果该请求在访问关系图中已存在， 则只需要更新该顶点在访问关系图中的 权重； 然后依次与观测窗口中之前的顶点之间建立边， 两个请求所对应的点之间没有 边， 则新建一个并赋值为 1， 如果这两者之间有边， 则只需增加该边的权重即可； 重 复以上过程， 直到所有 I/O请求都处理完毕， 就建立一个完整的访问关系图。 通过以上方法便构建出在预设时间窗口内的基于 I/O访问请求的访问关系图， 对 于以上构建的访问关系图， 其中必然包含了大量的无访问关联的边， 如果不对其进行 相应处理， 一方面图结构会占用大量的内存空间， 并降低运行效率， 另一方面会降低 预测的精度， 因此本发明的又一实施例中， 所述步骤 30具体为： 步骤 31， 对所述数据访问关系图进行裁剪； 步骤 32， 对裁剪后的访问关系图进行排序； 步骤 33， 按照排序结果， 根据数据块的访问热度和访问关联信息， 得出数据移动 策略。 上述方案， 为了减少关联图的处理开销并提高预测精度，在构建好访问关系图后， 使用支持度和置信度两个概念来对关联图中的边进行裁剪， 并形成若干小的子图， 具 体为： e (vi, vj )表示从顶点 Vi到 Vj的一条边， 则 e (vi, vj ) 的支持度定义为边 e (Vi， 的权重， /SupOO，其中 Sup{¾)
是顶点 ¾出现的频率。 将所述支持度与置信度分别设置一支持度阈值和置信度阈值， 所有小于支持度阈 值或置信度阈值的边， 都从访问关系图中删去， 这样得到的子图就是各个有访问关联 的请求聚集。 从以上处理过程来看， 支持度阈值和置信度阈值对结果影响较大， 当这两个值选 取较小时， 会引入过多的无关边， 从而降低关联度的精度； 而当这两个阈值设定较大 时， 又会丢失一些有内在联系的边， 使得提取出的访问关联较少， 不利于进行优化， 在具体实施时要权衡两个阈值， 以得出较为合理的访问关联请求聚集。 在将访问关系图裁剪形成各子图后，需要根据边的权重对图中各项顶点进行排序， 以决定顶点所对应数据块在缓存磁盘上的布局， 这个过程涉及到访问关联图中各顶点 的遍历。 在访问子图中， 首先选取访问热度最高的请求， 即权重最大的顶点作为起始 节点， 然后按关联程度来依次选取访问关系图中边的权重较大的其它顶点。 对图的遍 历一般采取深度优先 （Depth First Search, DFS ) 或宽度优先 （Breadth First Search, BFS ) 方式， 考虑到边的权重， 采用一种全局均衡的遍历方法， 其通过边权重的迭代， 来全局计算各顶点的权重， 并按此进行排序。 具体实现为： 输入： 访问关系图 G (V, E); 输出： 请求聚集链 L 取消 V中所有节点的标记； 选择权重值最大的顶点 ^作为起始节点； 标记顶点 vs; 将顶点 vJP入到链 L中； for每一个未标记的相邻顶点 vn do 将 ν^Π入到链 L; 标记 vn; end for 返回聚集链 L; 进一步地描述为： 在各个访问子图中， 首先选取访问热度最高的请求， 即权重最 大的顶点作为起始节点， 标记顶点， 将所述标记的顶点加入排序链 L中， 然后按照关 联程度来依次选取访问关系图中边的权重较大的其它顶点分别将其加入排序链 L中。 此算法的时间复杂度为 0 (n+mlog2m)， 其中 n是顶点数， 而 m是图中边的条数， 0
( n) 是找到最大权重顶点的时间， 而 0 ( mlog2m) 则是对其他边进行排序的时间， 此算法有效降低了时间复杂度。 在对子图中的各顶点进行排序后， 当需要进行数据移动时， 根据指定的数据移动 策略， 将排序好的有关联的数据一次性复制到活动缓存磁盘上， 并按顺序组织存放。 以数据访问之间的关联进行聚集， 可以使得缓存磁盘获得更多的连续访问机会， 从而 延长了非活动磁盘处于关闭状态的时间； 而按顺序将数据在缓存磁盘中进行组织， 可 以缩短磁盘中磁头臂移动的距离， 在缩短 I/O请求响应的同时减少了能量的消耗。 如图 2所示， 在块设备驱动层获得上层应用下发的 I/O访问请求 （即对访问负载 进行跟踪、 记录）； 接着便是对访问模式进行提取， 包括： 对访问热度的统计以及构造 访问关系图； 然后便是对访问关系图的分析， 包括： 对访问关系图进行裁剪， 以及对 裁剪后的子图进行排序； 接下来便是根据排序后的访问子图生成数据缓存策略， 最后 根据所制定的数据缓存策略进行实际的数据移动。 本发明实施例提出的存储节能方法适合于 DAS (开放系统的直连式存储）、 NAS (网络接入服务器）和 SAN (存储区域网络） 等各种网络存储系统结构中， 并且其既 可以用于由多磁盘构成的单个存储系统内部， 也可以是由多个存储单元组成的大规模 存储系统， 数据在不同单元之间按照数据访问热度和关联进行重分布， 以达到节能的 目标。 本发明实施例上述方案， 通过将经常访问且关联度较高的数据按顺序存到到缓存 磁盘中， 利用了活动磁盘中数据的时间局部性和空间局部性， 增加了非活动磁盘关闭 的次数和时间， 并且在缓存磁盘中将关联数据依次存放， 有效地减少了磁头臂移动带 来的能量消耗和寻道等待延时， 在提高磁盘访问性能的同时， 进一步减少了能量的消 耗， 达到了节能的效果。 本发明实施例还提供一种数据访问存储装置， 包括： 请求获取模块， 设置为获得数据读写访问请求； 关系图构造模块， 设置为根据所述数据读写访问请求， 构造数据访问关系图； 分析模块， 设置为根据所述数据访问关系图， 获得数据移动策略； 执行模块， 设置为根据所述数据移动策略对存储介质上的数据进行移动。 本发明上述实施例通过对请求模块获取的访问请求进行访问关系图构造， 再根据 构造的访问关系图由分析模块进行一系列的分析， 获得数据移动策略， 最后在需要进 行数据移动时， 由执行模块对数据进行移动， 将数据有序的存放在活动缓存磁盘上， 此种数据存放方式， 使得缓存磁盘能够获得更多的连续访问机会， 从而延长了非活动 磁盘处于关闭状态的时间； 有序的存放缓存磁盘中的数据， 可以缩短磁盘中磁头臂的 移动距离， 进而缩短了 I/O请求响应时间， 减少了能量的消耗。 本发明的又一实施例中， 所述关系图构造模块包括： 构造单元， 设置为对每个数据读写访问请求， 依据其请求数据的起始逻辑区块地 址和数据大小进行分块， 并与预设的分块粒度相对应， 每个分块粒度在关系图中表示 一个顶点， 并根据所述顶点， 构造顶点之间的有向边生成访问关系图。 本发明又一实施例中， 所述关系图构造模块还包括： 计算单元， 设置为计算获得每个顶点所对应数据块的访问热度。 本发明的又一实施例中， 所述分析模块具体包括： 裁剪单元， 设置为对所述数据访问关系图进行裁剪； 排序单元， 设置为对裁剪后的访问关系图进行排序； 计划制定单元， 设置为按照排序结果根据数据的访问关联和热度， 制定出数据移 动计划。 需要说明的是， 该装置实施例是与上述方法相对应的装置， 上述方法的所有实现 方式均适用于该装置实施例中， 也能达到与上述方法相同的技术效果。 以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说， 在不脱离本发明所述原理前提下， 还可以作出若干改进和润饰， 这些改进和润饰也应 视为本发明的保护范围。
IDlk实用性 如上所述， 本发明实施例提供的一种数据访问存储方法及装置具有以下有益 效果： 通过将经常访问且关联度较高的数据按顺序存放到缓存磁盘中， 利用了活动 磁盘中数据的时间局部性和空间局部性， 增加了非活动磁盘关闭的次数和时间， 并 且在缓存磁盘中将关联数据依次存放， 有效地减少了磁头臂移动带来的能量消耗和 寻道等待延时， 在提高磁盘访问性能的同时， 进一步减少了能量的消耗。

Claims

权 利 要 求 书
1. 一种数据访问存储方法， 包括步骤： 获得数据读写访问请求；
根据所述数据读写访问请求， 构造数据访问关系图；
根据所述数据访问关系图， 获得数据移动策略； 根据所述数据移动策略对存储介质上的数据进行移动。
2. 根据权利要求 1所述的数据访问存储方法， 其中， 所述获得数据读写访问请求 的步骤具体为：
在块设备驱动层截获上层应用下发的数据读写访问请求。
3. 根据权利要求 1所述的数据访问存储方法， 其中， 所述根据所述数据读写访问 请求， 构造数据访问关系图的步骤包括： 将每个数据读写访问请求， 依据其请求数据的起始逻辑区块地址和数据大 小进行分块， 并与预设的分块粒度相对应， 每个分块粒度在关系图中表示一个 顶点；
根据所述顶点， 构造顶点之间的有向边生成访问关系图。
4. 根据权利要求 3所述的数据访问存储方法， 其中， 所述根据所述顶点， 构造顶 点之间的有向边生成访问关系图的步骤具体为：
对于在同一预设时间段内出现的数据请求序列， 将对应的数据请求的分块 粒度之间连接一条有向边， 从先出现的节点指向后出现的节点。
5. 根据权利要求 3所述的数据访问存储方法， 其中， 所述根据所述数据读写访问 请求， 构造数据访问关系图的步骤还包括： 获得每个顶点所对应数据块的访问热度。
6. 根据权利要求 5所述的数据访问存储方法， 其中， 所述获得每个顶点所对应数 据块的访问热度的步骤具体为：
根据每个数据块的访问频率、 访问时间来计算访问热度， 并作为数据块在 访问关系图中对应顶点的权重。 根据权利要求 6 所述的数据访问存储方法， 其中， 根据公式：
计算访问热度； 其中，
统计的热度值， β是衰减因子， ^是当前时间， ^ '是当前时间片中每次数据读写
访问请求的时间， ' ' 为一个递减函数。
8. 根据权利要求 7所述的数据访问存储方法， 其中， 所述根据所述数据读写访问 请求， 构造数据访问关系图的步骤还包括： 使用邻接表结构来存储所述访问关系图。
9. 根据权利要求 8所述的数据访问存储方法， 其中， 所述根据所述数据访问关系 图， 获得数据移动策略的步骤包括：
对所述数据访问关系图进行裁剪； 对裁剪后的访问关系图进行排序；
按照排序结果， 根据数据块的访问热度和访问关联信息， 得出数据移动策 略。
10. 根据权利要求 9所述的数据访问存储方法， 其中， 所述对所述数据访问关系图 进行裁剪的步骤具体为：
使用边的支持度和置信度来对关联图中的边进行裁剪，形成若干小的子图， 其 中 ， 所述边 的支持度为 边 的权重 ， 所述边 的 置信度 为
S p(v , ^)/Sup( )， 其中 SupC¾)是顶点 出现的频率。
11. 根据权利要求 10所述的数据访问存储方法，其中，所述对裁剪后的访问关系图 进行排序的步骤具体为： 在各个访问子图中， 选取权重最大的顶点作为起始节点， 并标记顶点， 将 所述标记的顶点加入排序链 L中； 按照顶点关联程度来依次选取访问关系图中边的权重较大的其它顶点加入 排序链 L中。
12. 一种数据访问存储装置， 包括： 请求获取模块， 设置为获得数据读写访问请求；
关系图构造模块， 设置为根据所述数据读写访问请求， 构造数据访问关系 图；
分析模块， 设置为根据所述数据访问关系图， 获得数据移动策略； 执行模块， 设置为根据所述数据移动策略对存储介质上的数据进行移动。
13. 根据权利要求 12所述的数据访问存储装置， 其中， 所述关系图构造模块包括： 构造单元， 设置为对每个数据读写访问请求， 依据其请求数据的起始逻辑 区块地址和数据大小进行分块， 并与预设的分块粒度相对应， 每个分块粒度在 关系图中表示一个顶点， 并根据所述顶点， 构造顶点之间的有向边生成访问关 系图。
14. 根据权利要求 13所述的数据访问存储装置，其中，所述关系图构造模块还包括: 计算单元， 设置为计算获得每个顶点所对应数据块的访问热度。
15. 根据权利要求 14所述的数据访问存储装置， 其中， 所述分析模块具体包括： 裁剪单元， 设置为对所述数据访问关系图进行裁剪； 排序单元， 设置为对裁剪后的访问关系图进行排序；
计划制定单元， 设置为按照排序结果， 根据数据块的访问热度和访问关联 信息， 得出数据移动策略。
PCT/CN2014/080432 2013-12-12 2014-06-20 一种数据访问存储方法及装置 WO2015085747A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310681928.6A CN104714753A (zh) 2013-12-12 2013-12-12 一种数据访问存储方法及装置
CN201310681928.6 2013-12-12

Publications (1)

Publication Number Publication Date
WO2015085747A1 true WO2015085747A1 (zh) 2015-06-18

Family

ID=53370579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/080432 WO2015085747A1 (zh) 2013-12-12 2014-06-20 一种数据访问存储方法及装置

Country Status (2)

Country Link
CN (1) CN104714753A (zh)
WO (1) WO2015085747A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297699A (zh) * 2018-03-23 2019-10-01 华为技术有限公司 调度方法、调度器、存储介质及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630871B (zh) * 2015-12-16 2017-09-22 广州神马移动信息科技有限公司 搜索结果显示方法、装置及搜索系统
CN105743975B (zh) * 2016-01-28 2019-03-05 深圳先进技术研究院 基于数据访问分布的缓存放置方法及系统
CN106709068B (zh) * 2017-01-22 2020-11-20 苏州浪潮智能科技有限公司 一种热点数据识别方法及其装置
CN106898368B (zh) * 2017-02-15 2019-04-16 北京蓝杞数据科技有限公司天津分公司 光盘库开关控制装置、方法、设备及光盘式数据中心
CN107291635B (zh) * 2017-06-16 2021-06-29 郑州云海信息技术有限公司 一种缓存替换方法和装置
CN107450862A (zh) * 2017-08-18 2017-12-08 郑州云海信息技术有限公司 一种固态硬盘读操作的仲裁方法
CN108170254B (zh) * 2017-12-30 2019-12-06 广东技术师范大学 一种基于零星请求的策略调度方法
CN110324366B (zh) * 2018-03-28 2022-07-29 阿里巴巴集团控股有限公司 数据处理方法、装置及系统
TWI694463B (zh) 2019-04-18 2020-05-21 祥碩科技股份有限公司 資料儲存設備及其資料預測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617100A (zh) * 2003-08-20 2005-05-18 微软公司 确定连续介质优先级的存储调度程序
US20080082752A1 (en) * 2006-09-29 2008-04-03 Ram Chary Method and apparatus for saving power for a computing system by providing instant-on resuming from a hibernation state
CN103412794A (zh) * 2013-08-08 2013-11-27 南京邮电大学 一种面向流计算的动态调度分配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831087B (zh) * 2012-07-27 2016-05-11 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据读写处理方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617100A (zh) * 2003-08-20 2005-05-18 微软公司 确定连续介质优先级的存储调度程序
US20080082752A1 (en) * 2006-09-29 2008-04-03 Ram Chary Method and apparatus for saving power for a computing system by providing instant-on resuming from a hibernation state
CN103412794A (zh) * 2013-08-08 2013-11-27 南京邮电大学 一种面向流计算的动态调度分配方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297699A (zh) * 2018-03-23 2019-10-01 华为技术有限公司 调度方法、调度器、存储介质及系统
US11190618B2 (en) * 2018-03-23 2021-11-30 Huawei Technologies Co., Ltd. Scheduling method, scheduler, storage medium, and system

Also Published As

Publication number Publication date
CN104714753A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
WO2015085747A1 (zh) 一种数据访问存储方法及装置
WO2020103506A1 (zh) 基于混合存储的数据管理系统、方法、终端及介质
Pinheiro et al. Energy conservation techniques for disk array-based servers
Zhu et al. Reducing energy consumption of disk storage using power-aware cache management
CN102222085B (zh) 一种基于相似性与局部性结合的重复数据删除方法
Narayanan et al. Migrating server storage to SSDs: analysis of tradeoffs
US9021189B2 (en) System and method for performing efficient processing of data stored in a storage node
US9092321B2 (en) System and method for performing efficient searches and queries in a storage node
WO2018019119A1 (zh) 一种面向连续数据存储的动态局部并行数据布局方法及装置
WO2012174888A1 (zh) 一种分布式缓存系统中的数据写入及读取方法及装置
Meister et al. Block locality caching for data deduplication
Ganesh et al. Optimizing Power Consumption in Large Scale Storage Systems.
CN104657461A (zh) 基于内存与ssd协作式的文件系统元数据搜索缓存方法
CN102982122A (zh) 一种适用于海量存储系统的重复数据删除方法
Kim et al. CAUSE: Critical application usage-aware memory system using non-volatile memory for mobile devices
CN108089825B (zh) 一种基于分布式集群的存储系统
CN107422989B (zh) 一种Server SAN系统多副本读取方法及存储系统
CN109388341A (zh) 一种基于Device Mapper的系统存储优化方法
CN103916459A (zh) 一种大数据归档存储系统
CN101853218B (zh) 用于磁盘阵列的读取方法和系统
Useche et al. EXCES: External caching in energy saving storage systems
Hui et al. E-HASH: An energy-efficient hybrid storage system composed of one SSD and multiple HDDs
CN104765572A (zh) 一种节能的虚拟存储服务器系统及其调度方法
Abhari et al. Web object-based storage management in proxy caches
Zhizhuo et al. An energy-efficient storage for video surveillance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14868972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14868972

Country of ref document: EP

Kind code of ref document: A1