WO2012174888A1 - 一种分布式缓存系统中的数据写入及读取方法及装置 - Google Patents

一种分布式缓存系统中的数据写入及读取方法及装置 Download PDF

Info

Publication number
WO2012174888A1
WO2012174888A1 PCT/CN2012/072212 CN2012072212W WO2012174888A1 WO 2012174888 A1 WO2012174888 A1 WO 2012174888A1 CN 2012072212 W CN2012072212 W CN 2012072212W WO 2012174888 A1 WO2012174888 A1 WO 2012174888A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
memory
written
information
read
Prior art date
Application number
PCT/CN2012/072212
Other languages
English (en)
French (fr)
Inventor
韩银俊
高洪
郭斌
李豪伟
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2012174888A1 publication Critical patent/WO2012174888A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches

Definitions

  • the present invention relates to the field of cloud computing technologies, and in particular, to a method and apparatus for data writing and reading in a distributed cache system. Background technique
  • Cloud Computing is Grid Computing, Distributed Computing, Parallel Computing, Utility Computing, Network Storage Technologies, and Virtualization. ), load balancing (Load Balance) and other traditional computer technology and network technology development products. It aims to integrate multiple relatively low-cost computing entities into a system with powerful computing power through the network.
  • Distributed caching is an area in the field of cloud computing. Its role is to provide distributed storage services for massive data and high-speed read and write access.
  • the distributed cache system is composed of a plurality of server nodes and clients interconnected.
  • the server node is responsible for data storage, and the client can perform operations such as writing, reading, updating, and deleting data to the server.
  • the characteristics of the distributed cache system are high concurrency and low latency.
  • the hard disk adopts a method of mechanical seek and head data reading, the random access performance of the random access is very low, and the read/write delay is high, therefore, in order to improve the performance of the system, most of the distribution
  • the cache system relies on increasing the use of memory to improve the performance of the system, but the memory capacity is much smaller than that of the hard disk.
  • the data that can be stored in the memory is affected by the capacity, and the distribution of large capacity (such as TB level) cannot be satisfied.
  • the requirements of the cache, and the price of the memory is very expensive compared to the hard disk, which undoubtedly increases the cost. Summary of the invention
  • the present invention provides a method and a device for writing and reading data in a distributed cache system, which are used to solve the problem that the distributed cache system in the prior art accesses data through a memory, and the memory buffer capacity is small. Meet the problem of large-capacity cache requirements.
  • the present invention provides a data writing method in a distributed cache system, the method comprising: determining, according to a received write operation instruction, whether index information of a data to be written is stored in a memory;
  • the storage area corresponding to the index information in the own disk is searched, the data to be written is written into the storage area, and the to-be-written is written in the memory.
  • the index information corresponding to the data is updated;
  • the data to be written is written into the storage area in the disk, and the index information of the data to be written is saved in the memory.
  • the present invention provides a data reading method in a distributed cache system, the method comprising: determining, according to a received read operation instruction, whether the data to be read is cached in its own memory;
  • the data to be read is read from the memory
  • the storage space of the data to be read is saved in the disk according to the index information of the data to be read stored in the memory, and the to-be-read is read from the storage space. Take data.
  • the present invention provides a data writing device in a distributed cache system, the device comprising: a determining module, configured to determine, according to the received write operation instruction, whether the index information of the data to be written is stored in the memory;
  • the first writing module is configured to: when determining that the index information of the data to be written is stored in the memory, search for a storage area corresponding to the index information in the disk, and write the data to be written Entering the storage area, and updating the index information corresponding to the data to be written in the memory;
  • the second writing module is configured to: when determining that the index information of the data to be written is not saved in the memory, the The write data is written to the storage area in the disk, and the index information of the data to be written is saved in the memory according to the storage area written in the disk by the data to be written.
  • the present invention provides a data reading apparatus in a distributed cache system, including:
  • the determining module is configured to determine whether the data to be read is cached in the memory according to the received read operation instruction
  • a first reading module configured to read the data to be read from the memory when it is determined that the data to be read is cached in the memory
  • a second reading module configured to: when determining that the data to be read is not cached in the memory, searching for the storage space of the data to be read in the disk according to the index information of the data to be read stored in the memory, from the The data to be read is read in the storage space.
  • the present invention provides a method and apparatus for data writing and reading in a distributed cache system.
  • data is written and read through a combination of a memory and a hard disk, and the memory is only used for saving.
  • Index information combined with memory and hard disk during data read and write operations, so you can avoid saving all data in memory, can meet the needs of large-capacity data cache, and write and read data.
  • DRAWINGS When combined with memory and hard disk, it can improve data reading and writing efficiency.
  • FIG. 1 is a schematic diagram of a data writing process in a distributed cache system according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a detailed process of data writing in a distributed cache system according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a data reading process in a distributed cache system according to an embodiment of the present invention
  • 4 is a schematic diagram of a detailed process of data reading in a distributed cache system according to an embodiment of the present invention
  • FIG. 5 is a schematic structural diagram of a data writing apparatus in a distributed cache system according to an embodiment of the present disclosure
  • FIG. 6 is a schematic structural diagram of a data reading apparatus in a distributed cache system according to an embodiment of the present invention. detailed description
  • the invention provides a method and device for writing and reading data in a distributed cache system in order to meet the demand for large-capacity cache in a distributed cache system, improve data read and write efficiency, and improve system reliability.
  • a distributed cache system improves data read and write efficiency, and improve system reliability.
  • Memory is only used to store index information, and combined with memory and hard disk during data read and write operations, so you can avoid saving all data in memory.
  • it can meet the needs of large-capacity data caching, and combines memory and hard disk when data is written and read, thereby improving data reading and writing efficiency and improving system reliability.
  • FIG. 1 is a data writing process in a distributed cache system according to an embodiment of the present invention, where the writing process includes the following steps:
  • step S102 Determine, according to the received write operation instruction, whether the index information of the data to be written is stored in the memory, and if the determination result is YES, proceed to step S103; otherwise, proceed to step S104.
  • the index information includes: length information of the key value, content information of the key value, storage area information of the disk where the data is written, offset information, length information of the write data, and writing Content information of the data.
  • S103 Search a storage area corresponding to the index information in the disk, write the data to be written into the storage area, and update the index information corresponding to the data to be written in the memory.
  • S104 Write the data to be written to a storage area in the disk, and save the index information of the data to be written in the memory according to the storage area written in the disk by the data to be written.
  • the index information of the data to be written when it is determined that the index information of the data to be written is not saved in the memory, it is also determined whether there is available storage space in the memory, and when it is determined that there is available storage space in the memory, Writing the data to be written to the storage area in the disk, and storing the index information of the data to be written in the memory according to the storage area written in the disk to be written data; when determining the memory in the self The write operation fails when there is no available storage space.
  • the data to be written is written into the storage area of the disk, and According to the storage area written in the disk to be written data, before storing the index information of the data to be written in the memory, it is determined whether the memory in the memory contains the collected index information storage space, and the memory contains the collected index information. When the space is stored, the index information of the data to be written is saved in the storage space. Otherwise, an unused storage space is allocated in the memory for the index information of the data to be written and the index information is saved.
  • the storage area in the disk is divided into a plurality of sub-areas, and the data to be written is sequentially written to each sub-area.
  • the storage area in the disk is divided into multiple sub-areas, and an active sub-area is maintained, and the data to be written is sequentially written into the active sub-area.
  • the capacity of the data stored in the sub-area reaches the set storage threshold
  • another sub-area is activated, and data is written in another sub-area of the activation. Since the writing process of the data is sequentially performed, that is, each storage sub-area is sequentially written, the data writing process does not require the seek of the disk, so that the data writing speed is faster, and the data is improved. The efficiency of writing.
  • all operations such as adding, deleting, and changing data become data sequence writes, which greatly improves the concurrent access of the system and reduces the delay.
  • the index information stored in the memory may be directly mapped to the storage area of the disk.
  • the system takes a snapshot of the data information of the memory and the hard disk at a certain moment, and when the system recovers from the fault, acquires a snapshot of the index information and the data information in the disk. According to the obtained snapshot, the index information in the memory and the data information on the disk are restored.
  • the index information mapped to the disk is obtained, and the index information is written into the memory. If the system unexpectedly fails to obtain the index information mapped to the disk, the index is obtained.
  • step S201 determining, according to the received write operation instruction, whether the index information of the data to be written is stored in the memory, and when the determination result is yes, proceeding to step S202; otherwise, performing the step S203.
  • S202 Search a storage area corresponding to the index information in the disk, write the data to be written into the storage area, and update the index information corresponding to the data to be written in the memory.
  • step S203 Determine whether the stored index information storage space is included in the memory, and if the determination result is no, proceed to step S204; when the determination result is yes, proceed to step S205.
  • step S204 Determine whether there is available storage space in the memory, and when the determination result is yes, proceed to step S205; otherwise, the data writing process ends.
  • S205 Write the data to be written into the storage area, and save the index information of the data to be written in the memory according to the storage area written in the disk by the data to be written.
  • the memory Since the data is written by the combination of the memory and the hard disk in the embodiment of the present invention, the memory is only used to store the index information, and is combined with the memory and the hard disk during the data writing operation, thereby avoiding saving all the data. In the memory, it can meet the needs of large-capacity data cache, and when data is written and read, combined with memory and hard disk, which can improve data read and write efficiency and improve system reliability.
  • FIG. 3 is a data reading process in a distributed cache system according to an embodiment of the present invention, where the reading process includes the following steps:
  • step S302 Determine, according to the received read operation instruction, whether the data to be read is cached in the memory, and if the determination result is yes, proceed to step S303; otherwise, proceed to step S304.
  • some data is cached in the memory, and the data is frequently used, and is constantly read by different clients or the same client at different times, so that the data will be read according to the frequency at which the data is read.
  • the higher frequency of data is cached in memory.
  • S304 Searching, according to the index information of the data to be read stored in the memory, a storage space in the disk that stores the data to be read, and reading the data to be read from the storage space.
  • a pre-reading manner may be adopted, and the pre-reading manner includes:
  • the current information of the data to be read is read, and subsequent information of the data to be read is saved in the memory.
  • the storage areas in the disk are periodically cleaned and merged according to the set time interval, including:
  • the access record saved for the data information in the disk is counted, and the data information on the disk is cleaned according to the access record.
  • the set time can be any time. In order to ensure the reliability of the distributed cache system and improve the efficiency of the cleanup, the idle time with less operation is generally adopted.
  • the method further includes:
  • the data information written in the different sub-areas is merged according to the capacity of the data information written in each sub-area in the storage area of the disk.
  • a specific threshold is set for the capacity of the data information written in each sub-area in the storage area of the disk, and the ratio of the capacity of the data information written in the sub-area to the maximum capacity of the sub-area is smaller than When the threshold is set, the sub-areas are merged.
  • the set threshold may be any value, and the generally set threshold may be 80%.
  • a separate thread cleans and merges data information in an idle time period every day, and releases the storage space of the disk.
  • the access record of the data information is counted and saved in the memory, and the access record saved in the memory is updated when the data information is written or deleted in the disk;
  • the capacity of the data information written in each sub-area in the storage area, when the data letter is written in the sub-area When the ratio of the capacity of the maximum capacity to the maximum capacity is less than 80%, the sub-areas are merged.
  • the priority ratio is prioritized. small.
  • FIG. 4 is a detailed process of data reading in a distributed cache system according to an embodiment of the present invention, where the process includes the following steps:
  • step S401 Determine, according to the received read operation instruction, whether the data to be read is buffered in the memory, and if the determination result is yes, proceed to step S402; otherwise, proceed to step S403.
  • S404 Determine current information and subsequent information of the data to be read according to the found data information in the storage space, read current information of the data to be read, and save subsequent information of the data to be read. Into the memory.
  • the data is read by the combination of the memory and the hard disk, and the memory is only used to store the index information, and the memory and the hard disk are combined in the data read operation, so that all the data can be saved.
  • the memory it can meet the needs of large-capacity data cache, and when data is read, combined with memory and hard disk, which can improve data reading efficiency and improve system reliability.
  • FIG. 5 is a schematic structural diagram of a data writing apparatus in a distributed cache system according to an embodiment of the present disclosure, where the writing apparatus includes:
  • the determining module 51 is configured to determine, according to the received write operation instruction, whether the index information of the data to be written is stored in the memory;
  • the first writing module 52 is configured to: when determining that the index information of the data to be written is stored in the memory, search for a storage area corresponding to the index information in the disk, and write the data to be written into the storage area. And updating the index information corresponding to the data to be written in the memory;
  • the second writing module 53 is configured to: when determining that the index information of the data to be written is not saved in the memory, write the data to be written into a storage area in the disk, and according to the data to be written The storage area written in the disk, and the index information of the data to be written is saved in the memory.
  • the second writing module 53 is specifically configured to determine whether the stored index information storage space is included in the memory; when the memory includes the collected index information storage space, the index information of the data to be written is saved to the In the storage space, otherwise, an unused storage space is allocated in the memory for the index information of the data to be written and the index information is saved.
  • the first writing module 51 is specifically configured to divide the storage area in the disk into a plurality of sub-areas according to the capacity of the data to be written, and sequentially write the data to be written into each sub-area.
  • the memory Since the data is written by the combination of the memory and the hard disk in the embodiment of the present invention, the memory is only used to store the index information, and is combined with the memory and the hard disk during the data writing operation, thereby avoiding saving all the data. In the memory, it can meet the needs of the large-capacity data cache, and when the data is written, combined with the memory and the hard disk, the efficiency of the data write operation can be improved.
  • the writing device further includes:
  • the recovery module 54 is used to obtain index information mapped to the disk when the system recovers from a failure, and write the index information into the memory.
  • the writing device further includes:
  • the recovery module 54 is configured to obtain a snapshot of the index information and the data information on the disk when the system recovers from a failure; and recover the index information in the memory and the data information on the disk according to the acquired snapshot.
  • FIG. 6 is a schematic structural diagram of a data reading apparatus in a distributed cache system according to an embodiment of the present disclosure, where the reading apparatus includes:
  • the determining module 61 is configured to determine, according to the received read operation instruction, whether the data to be read is cached in its own memory; a first read block 4, configured to read the data to be read from the memory when it is determined that the data to be read is buffered in the memory;
  • a second read block 4 is configured to: when determining that the data to be read is not cached in the memory, searching for the storage space in the disk to save the data to be read according to the index information of the data to be read stored in the memory , reading the data to be read from the storage space.
  • the second reading module 63 is configured to determine current information and subsequent information of the data to be read according to the data information stored in the searched storage space; and read current information of the data to be read, The subsequent information of the data to be read is saved in the memory.
  • the data is read by the combination of the memory and the hard disk, and the memory is only used to store the index information, and the memory and the hard disk are combined in the data read operation, so that all the data can be saved.
  • the memory it can meet the needs of large-capacity data cache, and when data is read, combined with memory and hard disk, which can improve data reading efficiency.
  • the reading device further includes:
  • the cleaning module 64 is configured to collect an access record saved for the data information in the disk according to the set time interval; and clean the data information on the disk according to the access record.
  • the reading device further includes:
  • the merging module 65 is configured to combine data information written in different sub-areas according to the capacity of the data information written in each sub-area in the storage area of the disk.

Abstract

本发明公开了一种分布式緩存系统中的数据写入和读取的方法及装置，在该分布式緩存系统中，在该内存中保存数据的索引信息，而在硬盘中保存数据信息，当在进行数据的写入和读取时，内存中保存的索引信息，对硬盘进行相应的操作。由于在本发明实施例中通过内存和硬盘的结合，实现数据的写入和读取，内存只用于保存索引信息，并在数据的读、写操作时结合内存和硬盘进行，因此可以避免将所有的数据都保存在内存上，可以满足大容量数据緩存的需要，并且在进行数据的写入和读取时，结合内存和硬盘进行，从而可以提高数据读写效率，提升系统的可靠性。

Description

一种分布式緩存系统中的数据写入及读取方法及装置 技术领域
本发明涉及云计算技术领域， 尤其涉及一种分布式緩存系统中的数据 写入及读取的方法及装置。 背景技术
云计算（ Cloud Computing )是网格计算（ Grid Computing )、 分布式计 算（ Distributed Computing )、并行计算（ Parallel Computing )、效用计算（ Utility Computing )、 网络存 者 （ Network Storage Technologies )、 虚拟化 ( Virtualization ), 负载均衡（ Load Balance )等传统计算机技术和网络技术 发展融合的产物。 它旨在通过网络把多个成本相对较低的计算实体整合成 一个具有强大计算能力的系统。 分布式緩存是云计算范畴中的一个领域， 其作用是提供海量数据的分布式存储服务以及高速读写访问的能力。
分布式緩存系统是由若干服务器节点和客户端互相连接构成的， 服务 器节点负责数据的存储， 客户端可以对服务器做数据的写入、 读取、 更新、 删除等操作。 分布式緩存系统的特性是并发性高、 延迟小。
但是， 在现有技术中， 硬盘采用机械寻道及磁头数据读取的方法， 其 随机访问的并发性能非常低， 而且读写的延时较高， 因此， 为了提升系统 的性能， 大多数分布式緩存系统依靠增大内存的使用， 来提升系统的性能， 但是内存的容量相比硬盘也要小得多， 内存能够存放的数据受容量的影响， 满足不了大容量（如 TB级别 )的分布式緩存的要求， 并且内存的价格相比 硬盘是非常昂贵的， 这无疑增加了成本。 发明内容
有鉴于此， 本发明提供一种分布式緩存系统中的数据写入及读取的方 法及装置， 用以解决现有技术中分布式緩存系统通过内存存取数据， 内存 的緩存容量小， 无法满足大容量緩存需求的问题。
本发明提供一种分布式緩存系统中的数据写入方法， 所述方法包括： 根据接收到的写入操作指令， 判断内存中是否保存有待写入数据的索 引信息；
当确定自身内存中保存有该待写入数据的索引信息时， 查找自身磁盘 中对应该索引信息的存储区域， 将该待写入数据写入该存储区域中， 并对 内存中该待写入数据对应的索引信息进行更新；
当确定自身内存中未保存该待写入数据的索引信息时， 将该待写入数 据写入到磁盘中的存储区域中， 并在内存中保存该待写入数据的索引信息。
本发明提供一种分布式緩存系统中的数据读取方法， 所述方法包括： 根据接收到的读取操作指令， 判断自身内存中是否緩存有该待读取数 据；
当确定内存中緩存有该待读取数据时， 从所述内存中读取该待读取数 据；
当确定内存中未緩存该待读取数据时， 根据内存中保存的该待读取数 据的索引信息， 查找磁盘中保存该待读取数据的存储空间， 从该存储空间 中读取该待读取数据。
本发明提供一种分布式緩存系统中的数据写入装置 , 所述装置包括： 判断模块， 设置为根据接收到的写入操作指令， 判断自身内存中是否 保存有待写入数据的索引信息；
第一写入模块， 设置为当确定自身内存中保存有该待写入数据的索引 信息时， 查找自身磁盘中对应该索引信息的存储区域， 将该待写入数据写 入该存储区域中， 并对内存中该待写入数据对应的索引信息进行更新； 第二写入模块， 设置为当确定自身内存中未保存该待写入数据的索引 信息时， 将该待写入数据写入到磁盘中的存储区域中， 并根据该待写入数 据在磁盘中写入的存储区域， 在内存中保存该待写入数据的索引信息。
本发明提供一种分布式緩存系统中的数据读取装置， 包括：
判断模块， 设置为根据接收到的读取操作指令， 判断自身内存中是否 緩存有该待读取数据；
第一读取模块， 设置为当确定内存中緩存有该待读取数据时， 从所述 内存中读取该待读取数据；
第二读取模块， 设置为当确定内存中未緩存该待读取数据时， 根据内 存中保存的该待读取数据的索引信息， 查找磁盘中保存该待读取数据的存 储空间， 从该存储空间中读取该待读取数据。
本发明提供一种分布式緩存系统中的数据写入和读取的方法及装置， 由于在本发明实施例中通过内存和硬盘的结合， 实现数据的写入和读取， 内存只用于保存索引信息， 并在数据的读、 写操作时结合内存和硬盘进行， 因此可以避免将所有的数据都保存在内存上， 能够满足大容量数据緩存的 需要， 并且在进行数据的写入和读取时， 结合内存和硬盘进行， 从而可以 提高数据读写效率。 附图说明
图 1 为本发明实施例提供的一种分布式緩存系统中的数据写入过程的 示意图；
图 2为本发明实施例提供的一种分布式緩存系统中数据写入的详细过 程的示意图；
图 3 为本发明实施例提供的一种分布式緩存系统中的数据读取过程的 示意图； 图 4为本发明实施例提供的一种分布式緩存系统中的数据读取的详细 过程的示意图；
图 5 为本发明实施例提供的一种分布式緩存系统中的数据写入装置的 结构示意图；
图 6为本发明实施例提供的一种分布式緩存系统中的数据读取装置的 结构示意图。 具体实施方式
本发明为了满足分布式緩存系统中大容量緩存需求， 同时提高数据读 写效率、 提升系统的可靠性， 提供了一种分布式緩存系统中数据的写入和 读取的方法及装置。 通过内存和硬盘的结合， 实现数据的写入和读取， 内 存只用于保存索引信息， 并在数据的读、 写操作时结合内存和硬盘进行， 因此可以避免将所有的数据都保存在内存上， 能够满足大容量数据緩存的 需要， 并且在进行数据的写入和读取时， 结合内存和硬盘进行， 从而可以 提高数据读写效率， 提升系统的可靠性。
为了使本发明所要解决的技术问题、 技术方案及有益效果更加清楚、 明白， 以下结合附图和实施例， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并不用于限定本发明。
图 1 为本发明实施例提供的一种分布式緩存系统中的数据写入过程， 该写入过程包括以下几个步驟：
S101 : 接收写入操作指令。
S102: 根据接收到的写入操作指令， 判断自身内存中是否保存有待写 入数据的索引信息， 当判定结果为是时， 进行步驟 S103 , 否则， 进行步驟 S104。
其中， 所述索引信息包括： 键值的长度信息、 键值的内容信息、 写入 数据所在磁盘的存储区域信息、 偏移量信息、 写入数据的长度信息及写入 数据的内容信息。
S103: 查找自身磁盘中对应该索引信息的存储区域， 将该待写入数据 写入该存储区域中， 并对内存中该待写入数据对应的索引信息进行更新。
S104: 将该待写入数据写入到磁盘中的存储区域中， 并根据该待写入 数据在磁盘中写入的存储区域， 在内存中保存该待写入数据的索引信息。
另外， 在本发明实施例中当确定自身内存中未保存该待写入数据的索 引信息时， 还可以判断自身内存中是否存在可用的存储空间， 当确定自身 内存中存在可用的存储空间时， 将该待写入数据写入到磁盘中的存储区域 中， 并根据该待写入数据在磁盘中写入的存储区域， 在内存中保存该待写 入数据的索引信息； 当确定自身内存中无可用的存储空间时， 则该写入操 作失败。
在本发明实施例中为了提高内存中存储空间的利用率， 当确定自身内 存中未保存该待写入数据的索引信息时， 将该待写入数据写入到磁盘中的 存储区域中， 并根据该待写入数据在磁盘中写入的存储区域， 在内存中保 存该待写入数据的索引信息之前， 判断自身内存中是否含有回收的索引信 息存储空间， 当内存中含有回收的索引信息存储空间时， 将该待写入数据 的索引信息保存到所述存储空间内， 否则， 在内存中为该待写入数据的索 引信息分配一个未使用过的存储空间并保存该索引信息。
另外， 在本发明实施例中为了进一步提高数据写入效率， 减少写入操 作的响应时间， 当将该待写入数据写入到磁盘中的存储区域时， 根据待写 入数据的容量， 将磁盘中的存储区域划分为多个子区域， 依次将该待写入 数据写入每个子区域。
具体的， 根据待写入数据的容量， 将磁盘中的存储区域划分为多个子 区域， 保持一个处于活动状态的子区域， 将待写入数据依次写入到该处于 活动状态的子区域中， 当该子区域中存储数据的容量达到设定的存储阈值 时， 关闭该子区域， 同时激活另一个子区域， 在该激活的另一个子区域中 进行数据的写入。 由于该数据的写入过程是依次进行的， 即每个存储子区 域是顺序被写入的， 因此该数据写入过程不需要磁盘的寻道， 使数据的写 入速度较快， 提高了数据写入的效率。 并且， 所有对数据的增、 删、 改等 操作都变成了数据顺序的写入， 大大提升了系统访问的并发量和减少了时 延。
在本发明实施例中为了提高分布式緩存系统的可靠性， 使系统尽快从 故障中恢复， 可以定期将内存中保存的索引信息直接映射到磁盘的存储区 域中， 当系统从故障中恢复时， 获取映射到磁盘中的索引信息， 并将该索 引信息写入内存。
或者， 在系统中为了进一步缩短系统从故障中恢复的时间， 系统将某 一时刻， 内存及硬盘的数据信息生成快照， 当系统从故障中恢复时， 获取 索引信息及磁盘中数据信息的快照， 根据获取的快照， 恢复内存中的索引 信息， 及磁盘中的数据信息。
具体的， 当系统出现故障后恢复时， 获取映射到磁盘中的索引信息， 并将该索引信息写入内存， 如果系统意外宕机， 未能获取映射到磁盘中的 索引信息时， 通过获取索引信息及磁盘中数据信息的快照， 根据获取的快 照， 恢复内存中的索引信息， 及磁盘中的数据信息。
另外， 在本发明实施例中为了提高当系统出现故障时， 对内存中的索 引信息恢复的准确性及效率， 在针对磁盘中的数据进行删除操作时， 删除 磁盘中保存的该数据， 并对该数据在内存对应的索引信息进行删除。
图 2为本发明实施例提供的一种分布式緩存系统中数据写入的详细过 程， 该过程包括以下步驟：
S201 : 根据接收到的写入操作指令， 判断自身内存中是否保存有待写 入数据的索引信息， 当判断结果为是时， 进行步驟 S202; 否则， 进行步驟 S203。
S202: 查找自身磁盘中对应该索引信息的存储区域， 将该待写入数据 写入该存储区域中， 并对内存中该待写入数据对应的索引信息进行更新。
S203: 判断自身内存中是否含有回收的索引信息存储空间， 当判断结 果为否时， 进行步驟 S204; 当判断结果为是时， 进行步驟 S205。
S204: 判断自身内存中是否存在可用的存储空间， 当判断结果为是时， 进行步驟 S205; 否则， 数据写入过程结束。
S205: 将该待写入数据写入该存储区域中， 并根据该待写入数据在磁 盘中写入的存储区域， 在内存中保存该待写入数据的索引信息。
由于在本发明实施例中通过内存和硬盘的结合， 实现数据的写入， 内 存只用于保存索引信息， 并在数据的写操作时结合内存和硬盘进行， 因此 可以避免将所有的数据都保存在内存上， 可以满足大容量数据緩存的需要， 并且在进行数据的写入和读取时， 结合内存和硬盘进行， 从而可以提高数 据读写效率， 提升系统的可靠性。
图 3 为本发明实施例提供的一种分布式緩存系统中的数据读取过程， 该读取过程包括以下几个步驟：
S301 : 接收读取操作指令。
S302: 根据接收到的读取操作指令， 判断自身内存中是否緩存有该待 读取数据， 当判断结果为是时， 进行步驟 S303; 否则， 进行步驟 S304。
S303: 从所述内存中读取该待读取数据。
其中， 所述内存中緩存有部分数据， 该数据的使用频率比较高， 不断 的被不同的客户端或相同客户端在不同时刻读取， 因此可以根据数据被读 取的频率， 将被读取的频率比较高的数据緩存在内存中。
S304: 根据内存中保存的该待读取数据的索引信息， 查找磁盘中保存 该待读取数据的存储空间， 从该存储空间中读取该待读取数据。 另外， 本发明实施例为了进一步提高数据读取的效率， 增加内存的利 用率， 在进行数据读取时， 可以采用预读的方式， 该预读方式包括：
根据查找到的所述存储空间中保存的数据信息， 确定该待读取数据的 当前信息及后续信息；
读取该待读取数据的当前信息， 并将待读取数据的后续信息保存到内 存中。
在本发明实施例中为了提高磁盘中存储区域的利用率， 提升系统的性 能， 根据设定的时间间隔， 定期对磁盘中的存储区域进行清理及合并， 包 括：
根据设定的时间间隔， 统计针对磁盘中的数据信息保存的访问记录， 根据该访问记录， 对磁盘中的数据信息进行清理。
其中， 设定的时间可以为任意时间， 为了保证分布式緩存系统的可靠 性， 提高清理的效率， 一般采用操作量较少的空闲时间。
所述方法还包括：
根据磁盘的存储区域中每个子区域中写入的数据信息的容量， 对不同 子区域中写入的数据信息进行合并。
具体的针对磁盘的存储区域中每个子区域中写入的数据信息的容量， 占自身最大容量的比例设定一个阈值， 当子区域中写入的数据信息的容量 占自身最大容量的比例值小于设定的阈值时， 对该子区域进行合并。 其中， 设定的阈值可以是任意值， 一般设定的阈值可以为 80%。
以一个具体实施例进行说明， 单独线程在每天空闲时间段进行数据信 息的清理合并， 释放磁盘的存储空间。 针对磁盘中每个子存储区域中保存 的数据信息， 在内存中统计并保存该数据信息的访问记录， 当在磁盘中写 入或删除数据信息时、 对内存中保存的访问记录进行更新； 根据磁盘的存 储区域中每个子区域中写入的数据信息的容量， 当子区域中写入的数据信 息的容量占自身最大容量的比例值小于 80%时， 对该子区域进行合并， 合 并时， 根据子区域中写入的数据信息的容量占自身最大容量的比例值大小， 优先合并比例值较小的。
图 4为本发明实施例提供的一种分布式緩存系统中的数据读取的详细 过程， 该过程包括以下步驟：
S401 : 根据接收到的读取操作指令， 判断自身内存中是否緩存有该待 读取数据， 当判断结果为是时， 进行步驟 S402; 否则， 进行步驟 S403。
S402: 从所述内存中读取该待读取数据。
S403: 根据内存中保存的该待读取数据的索引信息， 查找磁盘中保存 该待读取数据的存储空间。
S404: 根据查找到的所述存储空间中保存的数据信息， 确定该待读取 数据的当前信息及后续信息， 读取该待读取数据的当前信息， 并将待读取 数据的后续信息保存到内存中。
由于在本发明实施例中通过内存和硬盘的结合， 实现数据的读取， 内 存只用于保存索引信息， 并在数据的读操作时结合内存和硬盘进行， 因此 可以避免将所有的数据都保存在内存上， 可以满足大容量数据緩存的需要， 并且在进行数据的读取时， 结合内存和硬盘进行， 从而可以提高数据读取 效率， 提升系统的可靠性。
图 5 为本发明实施例提供的一种分布式緩存系统中的数据写入装置的 结构示意图， 所述写入装置包括：
判断模块 51 , 用于根据接收到的写入操作指令， 判断自身内存中是否 保存有待写入数据的索引信息；
第一写入模块 52, 用于当确定自身内存中保存有该待写入数据的索引 信息时， 查找自身磁盘中对应该索引信息的存储区域， 将该待写入数据写 入该存储区域中， 并对内存中该待写入数据对应的索引信息进行更新； 第二写入模块 53 , 用于当确定自身内存中未保存该待写入数据的索引 信息时， 将该待写入数据写入到磁盘中的存储区域中， 并根据该待写入数 据在磁盘中写入的存储区域， 在内存中保存该待写入数据的索引信息。
所述第二写入模块 53 , 具体用于判断自身内存中是否含有回收的索引 信息存储空间； 当内存中含有回收的索引信息存储空间时， 将该待写入数 据的索引信息保存到所述存储空间内， 否则， 在内存中为该待写入数据的 索引信息分配一个未使用过的存储空间并保存该索引信息。
所述第一写入模块 51 , 具体用于根据待写入数据的容量， 将磁盘中的 存储区域划分为多个子区域， 依次将该待写入数据写入每个子区域。
由于在本发明实施例中通过内存和硬盘的结合， 实现数据的写入， 内 存只用于保存索引信息， 并在数据的写操作时结合内存和硬盘进行， 因此 可以避免将所有的数据都保存在内存上， 能够满足大容量数据緩存的需要， 并且在进行数据的写入时， 结合内存和硬盘进行， 从而可以提高数据写操 作的效率。
所述写入装置还包括：
恢复模块 54, 用于当系统出现故障后恢复时， 获取映射到磁盘中的索 引信息， 并将该索引信息写入内存。
所述写入装置还包括：
恢复模块 54, 用于当系统出现故障后恢复时， 获取索引信息及磁盘中 数据信息的快照； 根据获取的快照， 恢复内存中的索引信息， 及磁盘中的 数据信息。
图 6为本发明实施例提供的一种分布式緩存系统中的数据读取装置的 结构示意图， 所述读取装置包括：
判断模块 61 , 用于根据接收到的读取操作指令， 判断自身内存中是否 緩存有该待读取数据； 第一读耳 4莫块 62, 用于当确定内存中緩存有该待读取数据时， 从所述 内存中读取该待读取数据；
第二读耳 4莫块 63 , 用于当确定内存中未緩存该待读取数据时， 根据内 存中保存的该待读取数据的索引信息， 查找磁盘中保存该待读取数据的存 储空间， 从该存储空间中读取该待读取数据。
所述第二读取模块 63 , 具体用于根据查找到的所述存储空间中保存的 数据信息， 确定该待读取数据的当前信息及后续信息； 读取该待读取数据 的当前信息， 并将待读取数据的后续信息保存到内存中。
由于在本发明实施例中通过内存和硬盘的结合， 实现数据的读取， 内 存只用于保存索引信息， 并在数据的读操作时结合内存和硬盘进行， 因此 可以避免将所有的数据都保存在内存上， 能够满足大容量数据緩存的需要， 并且在进行数据的读取时， 结合内存和硬盘进行， 从而可以提高数据读取 效率。
所述读取装置还包括：
清理模块 64, 用于根据设定的时间间隔， 统计针对磁盘中的数据信息 保存的访问记录； 根据该访问记录， 对磁盘中的数据信息进行清理。
所述读取装置还包括：
合并模块 65 , 用于根据磁盘的存储区域中每个子区域中写入的数据信 息的容量， 对不同子区域中写入的数据信息进行合并。
上述说明示出并描述了本发明的优选实施例， 但如前所述， 应当理解 本发明并非局限于本文所披露的形式， 不应看作是对其他实施例的排除， 而可用于各种其他组合、 修改和环境， 并能够在本文所述发明构想范围内， 通过上述教导或相关领域的技术或知识进行改动。 而本领域人员所进行的 改动和变化不脱离本发明的精神和范围， 则都应在本发明所附权利要求的 保护范围内。

Claims

权利要求书
1、 一种分布式緩存系统中的数据写入方法， 所述方法包括： 根据接收到的写入操作指令， 判断内存中是否保存有待写入数据的 索引信息；
当确定自身内存中保存有该待写入数据的索引信息时， 查找自身磁 盘中对应该索引信息的存储区域， 将该待写入数据写入该存储区域中， 并对内存中该待写入数据对应的索引信息进行更新；
当确定自身内存中未保存该待写入数据的索引信息时， 将该待写入 数据写入到磁盘中的存储区域中， 并在内存中保存该待写入数据的索引 信息。
2、 如权利要求 1所述的方法， 其中， 所述索引信息包括： 键值的长度信息、 键值的内容信息、 写入数据所在磁盘的存储区域 信息、 偏移量信息、 写入数据的长度信息及写入数据的内容信息。
3、 如权利要求 1 所述的方法， 其中， 所述在内存中保存该待写入数 据的索引信息包括：
判断自身内存中是否含有回收的索引信息存储空间；
当内存中含有回收的索引信息存储空间时， 将该待写入数据的索引 信息保存到所述存储空间内； 否则， 在内存中为该待写入数据的索引信 息分配一个未使用过的存储空间并保存该索引信息。
4、 如权利要求 1所述的方法， 其中， 所述将该待写入数据写入该存 储区域中， 包括：
根据待写入数据的容量， 将磁盘中的存储区域划分为多个子区域， 依次将该待写入数据写入每个子区域。
5、 如权利要求 1所述的方法， 其中， 所述方法还包括：
当系统出现故障后恢复时， 获取映射到磁盘中的索引信息， 并将该 索引信息写入内存。
6、 如权利要求 1所述的方法， 其中， 所述方法还包括：
当系统出现故障后恢复时， 获取索引信息及磁盘中数据信息的快照； 根据获取的快照， 恢复内存中的索引信息， 及磁盘中的数据信息。
7、 一种分布式緩存系统中的数据读取方法， 所述方法包括： 根据接收到的读取操作指令， 判断自身内存中是否緩存有该待读取 数据；
当确定内存中緩存有该待读取数据时， 从所述内存中读取该待读取 数据；
当确定内存中未緩存该待读取数据时， 根据内存中保存的该待读取 数据的索引信息， 查找磁盘中保存该待读取数据的存储空间， 从该存储 空间中读取该待读取数据。
8、 如权利要求 7所述的方法， 其中， 从该存储空间中读取该待读取 数据包括：
根据查找到的所述存储空间中保存的数据信息， 确定该待读取数据 的当前信息及后续信息；
读取该待读取数据的当前信息， 并将待读取数据的后续信息保存到 内存中。
9、 如权利要求 7所述的方法， 其中， 所述方法还包括：
根据设定的时间间隔， 统计针对磁盘中的数据信息保存的访问记录； 根据该访问记录， 对磁盘中的数据信息进行清理。
10、 如权利要求 7所述的方法， 其中， 所述方法还包括：
根据磁盘的存储区域中每个子区域中写入的数据信息的容量， 对不 同子区域中写入的数据信息进行合并。
11、 一种分布式緩存系统中的数据写入装置， 所述装置包括： 判断模块， 设置为根据接收到的写入操作指令， 判断自身内存中是 否保存有待写入数据的索引信息；
第一写入模块， 设置为当确定自身内存中保存有该待写入数据的索 引信息时， 查找自身磁盘中对应该索引信息的存储区域， 将该待写入数 据写入该存储区域中， 并对内存中该待写入数据对应的索引信息进行更 新；
第二写入模块， 设置为当确定自身内存中未保存该待写入数据的索 引信息时， 将该待写入数据写入到磁盘中的存储区域中， 并根据该待写 入数据在磁盘中写入的存储区域， 在内存中保存该待写入数据的索引信
12、 如权利要求 11所述的写入装置， 其中， 第二写入模块， 设置为 判断自身内存中是否含有回收的索引信息存储空间； 当内存中含有回收 的索引信息存储空间时， 将该待写入数据的索引信息保存到所述存储空 间内， 否则， 在内存中为该待写入数据的索引信息分配一个未使用过的 存储空间并保存该索引信息。
13、 如权利要求 11所述的写入装置， 其中， 第一写入模块， 设置为 据待写入数据的容量， 将磁盘中的存储区域划分为多个子区域， 依次将 该待写入数据写入每个子区域。
14、 如权利要求 11所述的写入装置， 其中， 所述写入装置还包括： 恢复模块， 设置为当系统出现故障后恢复时， 获取映射到磁盘中的 索引信息， 并将该索引信息写入内存。
15、 如权利要求 11所述的写入装置， 其中， 所述写入装置还包括： 恢复模块， 设置为当系统出现故障后恢复时， 获取索引信息及磁盘 中数据信息的快照； 根据获取的快照， 恢复内存中的索引信息， 及磁盘 中的数据信息。
16、 一种分布式緩存系统中的数据读取装置， 所述读取装置包括： 判断模块， 设置为根据接收到的读取操作指令， 判断自身内存中是 否緩存有该待读取数据；
第一读取模块， 设置为当确定内存中緩存有该待读取数据时， 从所 述内存中读取该待读取数据；
第二读取模块， 设置为当确定内存中未緩存该待读取数据时， 根据 内存中保存的该待读取数据的索引信息， 查找磁盘中保存该待读取数据 的存储空间， 从该存储空间中读取该待读取数据。
17、 如权利要求 16所述的读取装置， 其中， 所述第二读取模块， 设 置为根据查找到的所述存储空间中保存的数据信息， 确定该待读取数据 的当前信息及后续信息； 读取该待读取数据的当前信息， 并将待读取数 据的后续信息保存到内存中。
18、 如权利要求 16所述的读取装置， 其中， 所述读取装置还包括： 清理模块， 设置为根据设定的时间间隔， 统计针对磁盘中的数据信 息保存的访问记录； 根据该访问记录， 对磁盘中的数据信息进行清理。
19、 如权利要求 16所述的读取装置， 其中， 所述读取装置还包括： 合并模块， 设置为根据磁盘的存储区域中每个子区域中写入的数据 信息的容量， 对不同子区域中写入的数据信息进行合并。
PCT/CN2012/072212 2011-06-22 2012-03-12 一种分布式缓存系统中的数据写入及读取方法及装置 WO2012174888A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110170053.4A CN102843396B (zh) 2011-06-22 2011-06-22 一种分布式缓存系统中的数据写入及读取方法及装置
CN201110170053.4 2011-06-22

Publications (1)

Publication Number Publication Date
WO2012174888A1 true WO2012174888A1 (zh) 2012-12-27

Family

ID=47370456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/072212 WO2012174888A1 (zh) 2011-06-22 2012-03-12 一种分布式缓存系统中的数据写入及读取方法及装置

Country Status (2)

Country Link
CN (1) CN102843396B (zh)
WO (1) WO2012174888A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933288A (zh) * 2019-03-11 2019-06-25 北京安信易德科技有限公司 走时表分布式存储方法及装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150232B (zh) * 2013-02-01 2016-06-01 浪潮(北京)电子信息产业有限公司 存储快照创建方法和装置
CN103518364B (zh) * 2013-03-19 2016-03-09 华为技术有限公司 分布式存储系统的数据更新方法及服务器
CN103488772A (zh) * 2013-09-27 2014-01-01 珠海金山网络游戏科技有限公司 一种通过外存对文件进行缓存的方法、系统及设备
CN104361009B (zh) * 2014-10-11 2017-10-31 北京中搜网络技术股份有限公司 一种基于倒排索引的实时索引方法
CN104461378B (zh) * 2014-10-30 2017-09-26 华为技术有限公司 将数据对象写入ip硬盘的方法、装置及系统
CN106156065B (zh) * 2015-03-30 2019-09-20 华为技术有限公司 一种文件持久化方法、删除方法以及相关装置
CN104899249B (zh) * 2015-05-04 2018-07-13 中国科学院信息工程研究所 一种海量数据下可靠索引更新系统及方法
CN105549911B (zh) * 2015-12-14 2019-01-25 曙光信息产业股份有限公司 Nvram的数据传输方法和装置
CN105701219B (zh) * 2016-01-14 2019-04-02 北京邮电大学 一种分布式缓存的实现方法
CN105787124A (zh) * 2016-03-28 2016-07-20 中国建设银行股份有限公司 应用于数据库的数据处理方法、装置及数据存储系统
CN106294603B (zh) * 2016-07-29 2019-07-23 北京奇虎科技有限公司 文件存储方法及装置
CN108021333B (zh) * 2016-11-03 2021-08-24 阿里巴巴集团控股有限公司 随机读写数据的系统、装置及方法
CN106802774A (zh) * 2017-01-18 2017-06-06 广东睿江云计算股份有限公司 写请求处理方法和装置、读请求处理方法和装置
CN107066527B (zh) * 2017-02-24 2019-10-29 湖南蚁坊软件股份有限公司 一种基于堆外内存的缓存索引的方法及系统
CN107506156B (zh) * 2017-09-28 2020-05-12 焦点科技股份有限公司 一种块设备的io优化方法
CN108595459B (zh) * 2017-12-30 2022-02-15 北京百度网讯科技有限公司 关系索引更新方法、装置和电子设备
CN108197456B (zh) * 2018-01-16 2020-05-19 飞天诚信科技股份有限公司 一种设备数据的缓存方法及装置
CN110703981A (zh) * 2018-07-10 2020-01-17 中兴通讯股份有限公司 一种数据读写方法、终端及计算机可读存储介质
CN109144416B (zh) * 2018-08-03 2020-04-28 华为技术有限公司 查询数据的方法和装置
CN111221467A (zh) * 2018-11-26 2020-06-02 深圳市茁壮网络股份有限公司 数据写入、读取方法及对应的装置
CN109783523B (zh) * 2019-01-24 2022-02-25 广州虎牙信息科技有限公司 一种数据处理方法、装置、设备和存储介质
CN110516479B (zh) * 2019-08-16 2021-08-10 济南浪潮数据技术有限公司 一种数据写入方法及相关装置
CN110825575B (zh) * 2019-11-13 2023-04-04 重庆秦嵩科技有限公司 一种内存检测方法
CN111274456B (zh) * 2020-01-20 2023-09-12 中国科学院计算技术研究所 基于nvm主存的数据索引方法及数据处理系统
CN111400350B (zh) * 2020-03-13 2023-05-02 上海携程商务有限公司 配置数据读取方法、系统、电子设备和存储介质
CN111563052B (zh) * 2020-04-30 2023-08-08 深圳忆联信息系统有限公司 降低读延时的缓存方法、装置、计算机设备及存储介质
CN111290973B (zh) * 2020-05-11 2020-11-27 深圳市科信通信技术股份有限公司 数据写入方法、装置、计算机设备及存储介质
CN113297309B (zh) * 2021-05-31 2023-11-10 平安证券股份有限公司 流数据写入方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090119261A1 (en) * 2005-12-05 2009-05-07 Collarity, Inc. Techniques for ranking search results
CN101841438A (zh) * 2010-04-02 2010-09-22 中国科学院计算技术研究所 一种访问存储海量并发tcp流的流记录的方法或系统
CN102014158A (zh) * 2010-11-29 2011-04-13 北京兴宇中科科技开发股份有限公司 一种云存储服务客户端高效细粒度数据缓存系统与方法
CN102024020A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统中高效的元数据访存方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187901B (zh) * 2007-12-20 2012-07-18 康佳集团股份有限公司 一种实现文件访问的高速缓存系统和方法
CN101686209B (zh) * 2008-09-24 2013-10-09 阿里巴巴集团控股有限公司 消息转发系统中存储消息的方法和装置
CN101644996A (zh) * 2009-09-25 2010-02-10 杭州华三通信技术有限公司 索引数据的存储方法和存储控制装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090119261A1 (en) * 2005-12-05 2009-05-07 Collarity, Inc. Techniques for ranking search results
CN101841438A (zh) * 2010-04-02 2010-09-22 中国科学院计算技术研究所 一种访问存储海量并发tcp流的流记录的方法或系统
CN102024020A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统中高效的元数据访存方法
CN102014158A (zh) * 2010-11-29 2011-04-13 北京兴宇中科科技开发股份有限公司 一种云存储服务客户端高效细粒度数据缓存系统与方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933288A (zh) * 2019-03-11 2019-06-25 北京安信易德科技有限公司 走时表分布式存储方法及装置

Also Published As

Publication number Publication date
CN102843396A (zh) 2012-12-26
CN102843396B (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
WO2012174888A1 (zh) 一种分布式缓存系统中的数据写入及读取方法及装置
US9940261B2 (en) Zoning of logical to physical data address translation tables with parallelized log list replay
Ongaro et al. Fast crash recovery in RAMCloud
US8074014B2 (en) Storage systems using write off-loading
EP2735978B1 (en) Storage system and management method used for metadata of cluster file system
US9201612B1 (en) Utilizing shared storage for efficient VM-HA
CN103516549B (zh) 一种基于共享对象存储的文件系统元数据日志机制
US20180107601A1 (en) Cache architecture and algorithms for hybrid object storage devices
WO2021218038A1 (zh) 一种存储系统、内存管理方法和管理节点
CN104580437A (zh) 一种云存储客户端及其高效数据访问方法
KR20150035560A (ko) 솔리드 스테이트 드라이브(ssd)에 대한 최적화된 컨텍스트 드롭
CN103270499B (zh) 日志存储方法及系统
CN103246616A (zh) 一种长短周期访问频度的全局共享缓存替换方法
KR20170042593A (ko) 파일 시스템에서의 플러싱 기법
US20160291881A1 (en) Method and apparatus for improving disk array performance
CN113626431A (zh) 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统
CN105897859B (zh) 一种存储系统
CN103501319A (zh) 一种低延迟的面向小文件的分布式存储系统
WO2023165196A1 (zh) 一种日志存储加速方法、装置、电子设备及非易失性可读存储介质
WO2015085747A1 (zh) 一种数据访问存储方法及装置
CN111159176A (zh) 一种海量流数据的存储和读取的方法和系统
CN104158863A (zh) 基于事务级别全程高速缓冲的云存储机制
CN101377788B (zh) 一种机群文件系统中缓存管理的方法及系统
CN109254958A (zh) 分布式数据读写方法、设备及系统
CN110134551B (zh) 一种持续数据保护方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12801864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12801864

Country of ref document: EP

Kind code of ref document: A1