WO2013071726A1 - 数据预热方法及装置 - Google Patents

数据预热方法及装置 Download PDF

Info

Publication number
WO2013071726A1
WO2013071726A1 PCT/CN2012/072863 CN2012072863W WO2013071726A1 WO 2013071726 A1 WO2013071726 A1 WO 2013071726A1 CN 2012072863 W CN2012072863 W CN 2012072863W WO 2013071726 A1 WO2013071726 A1 WO 2013071726A1
Authority
WO
WIPO (PCT)
Prior art keywords
hotspot data
total number
candidate
loaded
data blocks
Prior art date
Application number
PCT/CN2012/072863
Other languages
English (en)
French (fr)
Inventor
代坤
李怀洲
宋娇
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP12850309.1A priority Critical patent/EP2765522B1/en
Publication of WO2013071726A1 publication Critical patent/WO2013071726A1/zh
Priority to US14/278,707 priority patent/US9569489B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch

Definitions

  • the present invention relates to the field of database technologies, and in particular, to a data preheating method and apparatus.
  • a new storage device such as a solid state drive (SSD), a phase change memory, and a conventional disk device constitute a hybrid storage environment.
  • SSDs solid state drive
  • Flash-based SSDs have the advantages of high performance and low power consumption compared to traditional disks, with price and capacity between memory and traditional disks. It is expected that various types of hard disk devices will exist at the same time in the future, and hybrid storage will become the mainstream storage configuration.
  • input and output Input /Output, 10
  • Bottlenecks will be highlighted; some important application requirements require a fast, timely, and accurate response from the database system.
  • a controller device with a cache is provided between the main memory and the external memory to implement preloading of the data of the next request, and the data is transferred to the main memory when the request comes. Or use the flash device as the L2 cache. When the main memory buffer is full, you will need to replace the buffer portion.
  • Embodiments of the present invention provide a data warm-up method and apparatus, which improve the response speed of a database system, slow down the frequency of disks, and improve the overall performance of the database system.
  • a data warming method includes:
  • the hit rate information and the read user configuration information are respectively taken, wherein the hit rate information includes: a hotspot data table, where the user configuration information includes: a preset hotspot data table, and the hotspot data block to be loaded is stored to The storage buffer and the storage ratio in the flash device, the size of the shared buffer, the storage capacity of the flash device, and the deviation of the total number of hot data blocks to be loaded;
  • the hotspot data blocks to be loaded are separately stored into the shared buffer and the flash memory device.
  • a data preheating device comprising:
  • the reading unit is configured to: when the database is started, take the hit rate information and read the user configuration information, where the hit rate information includes: a hotspot data table, where the user configuration information includes: a preset hotspot data table, to be The storage ratio of the hotspot data block stored in the shared buffer and the flash memory device, the size of the shared buffer, the storage capacity of the flash memory device, and the deviation of the total number of hot data blocks to be loaded;
  • An obtaining unit configured to acquire a union of a preset hotspot data table in the user configuration information and a hotspot data table in the hit ratio information;
  • a first processing unit configured to determine, according to the storage ratio, the size of the shared buffer, the size of the flash device, the size of the hotspot data block, and the offset value, from the sum of the total number of hotspot data blocks to be loaded;
  • a second processing unit configured to determine, according to the storage ratio, a hotspot data block to be loaded that is to be stored in the shared buffer and the flash memory device;
  • a storage unit configured to store the hot data block to be loaded into the shared buffer and the flash device, respectively.
  • the data preheating method and device provided by the embodiment of the invention pre-stores some hotspot data blocks in the shared buffer and the flash memory device according to the actual usage of the user when the database is started.
  • the embodiment of the invention solves the problem that in the prior art, when the database is started, the amount of data requested by the client is large, and the service is very busy, the response efficiency of the database system is reduced, 10 is very busy, affecting the overall performance of the database system, and the problem is improved.
  • the response speed of the database system slows down the disk frequently
  • FIG. 1 is a flowchart of a main operation procedure of a data warming method according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic diagram of a data warming method for managing a hotspot data in a database system according to a data warming method according to Embodiment 1 of the present invention
  • FIG. 3 is a flow chart of an overall operation procedure of a data preheating method according to Embodiment 1 of the present invention
  • FIG. 4 is a main structural diagram of a data preheating device according to Embodiment 2 of the present invention.
  • 5 is a structural diagram of a processing unit in a data preheating apparatus according to Embodiment 2 of the present invention
  • 6 is a main structural diagram of a fourth processing subunit in a data preheating apparatus according to Embodiment 2 of the present invention
  • FIG. 7 is a schematic structural diagram of a fourth processing subunit in a data preheating apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 is a schematic structural diagram of a data preheating device according to Embodiment 2 of the present invention.
  • Embodiment 1 A data preheating method and apparatus according to an embodiment of the present invention will be described in detail below with reference to the accompanying drawings. Embodiment 1
  • a data preheating method provided by the embodiment of the present invention, as shown in FIG. 1, includes:
  • the hit rate information and the read user configuration information are respectively taken, wherein the hit rate information includes: a hotspot data table, where the user configuration information includes: a preset hotspot data table, where the hotspot data block is to be loaded
  • the hit rate information includes: a hotspot data table, where the user configuration information includes: a preset hotspot data table, where the hotspot data block is to be loaded
  • the data preheating method provided by the embodiment of the present invention preheats some hotspot data according to the actual usage of the user when the database is started.
  • the embodiment of the invention solves the data in the prior art At the beginning of the library startup, when the client requests a large amount of data and the service is very busy, the response efficiency of the database system is reduced. 10 Very busy, affecting the overall performance of the database system, improving the response speed of the database system, slowing down Frequently on the disk 10, the overall performance of the database system is improved.
  • the invention mainly adds a hot data management module (HDM) in the database system to perform data preheating.
  • HDM hot data management module
  • Figure 2 a schematic diagram of HDM managing hotspot data in a database system.
  • the hit ratio information is obtained, and the user configuration information is read, where the hit ratio information includes: a hotspot data table, where the user configuration information includes: a preset hotspot data table, where the hotspot data block is to be loaded.
  • the storage ratio stored in the shared buffer and flash device, the size of the shared buffer, the storage capacity of the flash device, and the deviation of the total number of hot data blocks to be loaded.
  • the hit rate information is read from the flash memory device, the user configuration information is read from the hard disk, and the hit rate information and the user configuration information are stored in a shared buffer of the main memory.
  • the hit rate information includes a hotspot data table, a hit count and rank of the hotspot data table, a hit rate and a ranking of the hotspot data block.
  • the hit rate information is read from the hard disk.
  • the total number of hotspot data blocks to be loaded is determined from the sum according to the storage ratio, the size of the shared buffer, the size of the flash device, the size of the hotspot data block, and the offset value. Specifically includes the following substeps 3031-3034:
  • the threshold value of the total number of hotspot data blocks to be loaded is calculated according to the BlockSize, where TDB is a threshold value of the total number of hotspot data blocks to be loaded, and ⁇ is a storage ratio of the hotspot data block to be loaded stored in the shared buffer.
  • TDB is a threshold value of the total number of hotspot data blocks to be loaded
  • ⁇ is a storage ratio of the hotspot data block to be loaded stored in the shared buffer.
  • 2 is the storage ratio of the hotspot data block to be loaded stored in the flash memory device, and 0 ⁇ ⁇ ⁇ 1 , 0 ⁇ ⁇ 1 ⁇ 2 ⁇ 1
  • BufCapacity is the size of the shared buffer
  • Capacity is the flash memory
  • the size of the device, BlockSize is the size of the hot data block.
  • the number TCT of the candidate hotspot data table is calculated according to the TB, where TCT is the number of candidate hotspot data tables, TT is the total number of hotspot data tables in the merged group, and TDB is the total number of hotspot data blocks to be loaded.
  • the threshold value, TB is the total number of hotspot data blocks in the union.
  • the number of candidate hotspot data blocks in each candidate hotspot data table is calculated according to the TB, where BN is the number of candidate hotspot data blocks in each candidate hotspot data table, and TBN is in each candidate hotspot data table.
  • PT is the number of hits for each candidate hotspot data table
  • QB is the hit rate for the candidate hotspot data blocks in each candidate hotspot data table.
  • the resulting filter base value is used as the initial screening base value for the next database restart.
  • the present invention is not limited to the SSD+HDD (hard disk drive) storage system, and can be applied to various hybrid storage systems.
  • the fourth obtaining module 703 is configured to determine, when the total number of the second screening hotspot data blocks is within a range of a threshold value of the total number of hotspot data blocks to be loaded, the second candidate hotspot data is determined.
  • the block is the hotspot data block to be loaded, and the total number of hotspot data blocks to be loaded is obtained.
  • the backup unit 407 is configured to back up data on the flash device to the hard disk, wherein the backup data includes updated hit rate information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据预热方法及装置，涉及数据库技术领域，提高了数据库系统的响应速度，减缓对磁盘的频繁IO，提高了数据库系统的整体性能。所述方法包括：当数据库启动时，分别从闪存设备上读取命中率信息和硬盘上读取用户配置信息；获取用户配置信息中的预设热点数据表和命中率信息中的热点数据表的并集；从并集中确定待加载热点数据块的总数；按照所述存储比例，确定将要存储到共享缓冲区和闪存设备中的待加载热点数据块；将待加载热点数据块分别存储到共享缓冲区和闪存设备中。本发明实施例适用于数据预热处理过程中。

Description

数据预热方法及装置 技术领域
本发明涉及数据库技术领域， 尤其涉及一种数据预热方法及装置。
背景技术 随着数据库技术的快速发展， 数据库存储系统呈现以下特点： 固态硬盘 ( Solid-State Drive, SSD ), 相变存储器等新型存储设备和传统 的磁盘设备构成混合存储环境。 基于闪存的 SSD 同传统磁盘相比， 具有性能 高、能耗低等优势，价格和容量介于内存和传统磁盘之间。预计今后长时间内， 各种类型的硬盘设备将同时存在， 混合存储成为主流的存储配置； 随着应用越 来越多，用户数据量越来越大，传统的数据存储导致的输入输出（ Input/Output, 10 )瓶颈问题就会凸显出来； 一些重要的应用需求要求数据库系统具有快速、 及时、 准确的响应。 在现有技术中，在主存和外部存储器之间提供一个带有緩存的控制器设备 来实现预先加载下一个请求的数据，请求到来时将数据转移到主存。或者是把 闪存设备用作二级緩存，在主存的緩沖区满时，将需要被替换出緩沖区的部分
对一些热点数据进行预加载。 在现有技术中，在数据库启动后的初期，客户端的请求数据量大而且业务 非常繁忙时， 会导致数据库系统的响应效率降低， 10 非常繁忙， 影响数据库 系统的整体性能。 发明内容
本发明的实施例提供一种数据预热方法及装置，提高了数据库系统的响应 速度， 减緩对磁盘的频繁 10, 提高了数据库系统的整体性能。
本发明实施例采用如下技术方案：
一种数据预热方法， 包括：
当数据库启动时， 分别取命中率信息和读取用户配置信息， 其中所述命中 率信息包括： 热点数据表， 所述用户配置信息包括： 预设热点数据表， 将待加 载热点数据块存储到共享緩沖区和闪存设备中的存储比例， 共享緩沖区的大 小， 闪存设备的存储能力， 待加载热点数据块的总数的偏差值；
获取所述用户配置信息中的预设热点数据表和所述命中率信息中的热点 数据表的并集；
根据存储比例、共享緩沖区的大小、闪存设备的大小、热点数据块的大小、 偏差值从所述并集中确定待加载热点数据块的总数；
按照所述存储比例，确定将要存储到所述共享緩沖区和闪存设备中的待加 载热点数据块；
将所述待加载热点数据块分别存储到所述共享緩沖区和闪存设备中。
一种数据预热装置， 包括：
读取单元，用于当数据库启动时，分别取命中率信息和读取用户配置信息， 其中所述命中率信息包括： 热点数据表， 所述用户配置信息包括： 预设热点数 据表，将待加载热点数据块存储到共享緩沖区和闪存设备中的存储比例，共享 緩沖区的大小， 闪存设备的存储能力， 待加载热点数据块的总数的偏差值； 获取单元，用于获取所述用户配置信息中的预设热点数据表和所述命中率 信息中的热点数据表的并集；
第一处理单元，用于根据存储比例、共享緩沖区的大小、闪存设备的大小、 热点数据块的大小、 偏差值从所述并集中确定待加载热点数据块的总数；
第二处理单元， 用于按照所述存储比例，确定将要存储到所述共享緩沖区 和闪存设备中的待加载热点数据块；
存储单元，用于将所述待加载热点数据块分别存储到所述共享緩沖区和闪 存设备中。
本发明实施例提供的一种数据预热方法及装置，在数据库启动时，根据用 户的实际使用情况将一些热点数据块预先存储到共享緩沖区和闪存设备中。本 发明实施例解决了现有技术中在数据库启动，客户端的请求数据量大而且业务 非常繁忙时， 会导致数据库系统的响应效率降低， 10非常繁忙， 影响数据库 系统的整体性能的问题， 提高了数据库系统的响应速度， 减緩对磁盘的频繁
10, 提高了数据库系统的整体性能。
附图说明
图 1为本发明实施例一提供的一种数据预热方法的主要操作步骤流程图； 图 2为本发明实施例一提供的一种数据预热方法的 HDM在数据库系统中 管理热点数据的示意图；
图 3为本发明实施例一提供的一种数据预热方法的整体操作步骤流程图； 图 4为本发明实施例二提供的一种数据预热装置的主要结构图；
图 5为本发明实施例二提供的一种数据预热装置中处理单元的结构图； 图 6 为本发明实施例二提供的一种数据预热装置中第四处理子单元的主 要结构图；
图 7 为本发明实施例二提供的一种数据预热装置中第四处理子单元的整 体结构图；
图 8为本发明实施例二提供的一种数据预热装置的整体结构图。
具体实施方式
下面结合附图对本发明实施例一种数据预热方法及装置进行详细描述。 实施例一
本发明实施例提供的一种数据预热方法， 如图 1所示， 包括：
101、 当数据库启动时， 分别取命中率信息和读取用户配置信息， 其中所 述命中率信息包括： 热点数据表， 所述用户配置信息包括： 预设热点数据表， 将待加载热点数据块存储到共享緩沖区和闪存设备中的存储比例，共享緩沖区 的大小， 闪存设备的存储能力， 待加载热点数据块的总数的偏差值；
102、 获取所述用户配置信息中的预设热点数据表和所述命中率信息中的 热点数据表的并集；
103、 根据存储比例、 共享緩沖区的大小、 闪存设备的大小、 热点数据块 的大小、 偏差值从所述并集中确定待加载热点数据块的总数；
104、 按照所述存储比例， 确定将要存储到所述共享緩沖区和闪存设备中 的待加载热点数据块；
105、将所述待加载热点数据块分别存储到所述共享緩沖区和闪存设备中。 本发明实施例提供的一种数据预热方法，在数据库启动时，根据用户的实 际使用情况对一些热点数据进行预热。本发明实施例解决了现有技术中在数据 库启动后的初期，客户端的请求数据量大而且业务非常繁忙时，会导致数据库 系统的响应效率降低， 10非常繁忙， 影响数据库系统的整体性能的问题， 提 高了数据库系统的响应速度， 减緩对磁盘的频繁 10, 提高了数据库系统的整 体性能。
本发明主要是在数据库系统中增加一个热点数据管理模块（ hot data management,HDM ) 来进行数据预热处理。 如图 2所示， 为 HDM在数据库系 统中管理热点数据的示意图。
具体应用时， 如图 3所示， 操作流程如下：
301、 当数据库启动时， 分别取命中率信息和读取用户配置信息， 其中所 述命中率信息包括： 热点数据表， 所述用户配置信息包括： 预设热点数据表， 将待加载热点数据块存储到共享緩沖区和闪存设备中的存储比例，共享緩沖区 的大小， 闪存设备的存储能力， 待加载热点数据块的总数的偏差值。
所述命中率信息从闪存设备上读取， 用户配置信息从硬盘上读取， 并将所 述命中率信息和用户配置信息存储在主存的共享緩沖区中。
所述命中率信息中包括热点数据表， 以及热点数据表的命中次数及排名， 热点数据块的命中率及排名。
当数据库启动， 无法从闪存设备上读取所述命中率信息时，从硬盘上读取 所述命中率信息。
302、 获取所述用户配置信息中的预设热点数据表和所述命中率信息中的 热点数据表的并集。
根据存储比例、共享緩沖区的大小、闪存设备的大小、热点数据块的大小、 偏差值从所述并集中确定待加载热点数据块的总数。 具体包括如下子步骤 3031-3034:
3031、 根据存储比例、 共享緩沖区的大小、 闪存设备的大小和热点数据块 的大小， 计算待加载热点数据块的总数的门限值。
(<¾ X BufCapacity +<¾ x Capacity)
具体是根据 BlockSize 计算待加载热点数据块的 总数的门限值， 其中 TDB为待加载热点数据块的总数的门限值， Ωι为存储到 所述共享緩沖区的待加载热点数据块的存储比例， "2为存储到所述闪存设备 的待加载热点数据块的存储比例， 且0≤ βι ≤1 , 0≤ί½≤1 , BufCapacity为所 述共享緩沖区的大小， Capacity为所述闪存设备的大小， BlockSize为热点数 据块的大小。
3032、根据所述待加载热点数据块的总数的门限值、所述并集中的热点数 据表的总数、 所述并集中的热点数据块的总数， 计算候选热点数据表的个数 TCT, 其中所述候选热点数据表是所述并集中命中次数最高的前 TCT个热点 数据表
TCT 腿
具体是根据 TB 计算候选热点数据表的个数 TCT, 其 中 TCT为候选热点数据表的个数, TT为所述并集中的热点数据表的总数, TDB 为所述待加载热点数据块的总数的门限值， TB为所述并集中的热点数据块的 总数。
3033、根据所述待加载热点数据块的总数的门限值、所述候选热点数据表 中的热点数据块的总数、所述并集中的热点数据块的总数，计算每个候选热点 数据表中的候选热点数据块的个数。 TDB
BN = TBN x x l00
具体是根据 TB 计算每个候选热点数据表中的候选 热点数据块的个数，其中 BN为每个候选热点数据表中的候选热点数据块的个 数， TBN为每个候选热点数据表中的热点数据块的总数， TDB为所述待加载 热点数据块的总数的门限值， TB为所述并集中的热点数据块的总数。
3034、从所述候选热点数据表中的候选热点数据块中筛选出待加载热点数 据块， 得到待加载热点数据块的总数。 具体包括步骤 304-311 :
304、 根据 FB = THNTCT,2 X BRBN计算每个候选热点数据表的筛选基数值， 其中 ¾为每个候选热点数据表的筛选基数值， T丽 TCT 为第 \TCT I 2 个候选 热点数据表的命中次数， BRBN为每个候选热点数据表中的热点数据块命中率 最高的第 BN个热点数据块的命中率。
305、 根据 PB=PT x QB计算每个候选热点数据表中的候选热点数据块的 命中次数， 其中 PB为每个候选热点数据表中的候选热点数据块的命中次数，
PT为每个候选热点数据表的命中次数， QB为每个候选热点数据表中候选热 点数据块的命中率。
306、 将所述候选数据表中命中次数大于等于所述候选热点数据表的所述 筛选基数值的所有第一候选热点数据块相加， 得到第一筛选热点数据块的总 数。
307、 判断所述第一筛选热点数据块的总数是否在所述待加载热点数据块 的总数的门限值加减偏差值的范围内。
308、 当所述第一筛选热点数据块的总数在所述待加载热点数据块的总数 的门限值加减偏差值的范围内时，确定所述第一候选热点数据块为待加载热点 数据块， 得到待加载热点数据块的总数。 记录下每个候选热点数据表的筛选基数值。
309、 当所述第一筛选热点数据块的总数不在所述待加载热点数据块的总 数的门限值加减偏差值的范围内时，将所述筛选基数值与预设倍数相乘，得到 新的筛选基数值。
此处存在两种情况：
当所述第一筛选热点数据块的总数大于所述待加载热点数据块的总数的 门限值与偏差值之和时， 将所述筛选基数值加倍；
当所述第一筛选热点数据块的总数小于所述待加载热点数据块的总数的 门限值与偏差值之差时， 将所述筛选基数值减半。
例如， 偏差值可设为 1或 2。
310、 将所述候选数据表中命中次数大于等于所述新的筛选基数值的所有 第二候选热点数据块相加， 得到第二筛选热点数据块的总数。
311、 当所述第二筛选热点数据块的总数在所述待加载热点数据块的总数 的门限值加减偏差值的范围内时，确定所述第二候选热点数据块为待加载热点 数据块， 得到待加载热点数据块的总数。
记录下每个所述热点数据表的新的筛选基数值。
最终得到的筛选基数值作为下一次数据库重启时的初步筛选基数值。
312、 按照所述存储比例， 确定将要存储到所述共享緩沖区和闪存设备中 的待加载热点数据块；
313、将所述待加载热点数据块分别存储到所述共享緩沖区和闪存设备中。 为存储在所述闪存设备中的热点数据块在所述共享緩沖区中建立散表
( HASH ) 索引， 便于读取所述闪存设备中的热点数据块。 314、 当数据库运行时， 实时统计热点数据的命中率信息， 并更新存储到 所述闪存设备。
更新存储到所述闪存设备上的命中率信息，是便于在下次数据库重启时读 取利用。
315、 将所述闪存设备上的数据备份到所述硬盘， 其中所述备份数据包括 更新的命中率信息。
将最近更新的命中率信息备份到所述硬盘上， 是防止所述闪存设备损坏、 脱落、 更换等特殊情况发生时无法读取命中率信息。
本发明不仅限于 SSD+HDD ( hard disk drive, 硬盘驱动器）方式的存储系 统， 还可以应用于各种混合存储系统。
对于热点数据预加载不仅限于加载热点数据表，也可适用于对索引数据表 的热点统计。
实施例二
本发明实施例提供的一种数据预热装置 40, 如图 4所示， 包括读取单元 401 , 获取单元 402, 第一处理单元 403、 第二处理单元 404和存储单元 405。
其中， 读取单元 401 , 用于当数据库启动时， 分别取命中率信息和读取用 户配置信息，其中所述命中率信息包括：热点数据表，所述用户配置信息包括： 预设热点数据表，将待加载热点数据块存储到共享緩沖区和闪存设备中的存储 比例， 共享緩沖区的大小， 闪存设备的存储能力， 待加载热点数据块的总数的 偏差值；
获取单元 402, 用于获取所述用户配置信息中的预设热点数据表和所述命 中率信息中的热点数据表的并集； 第一处理单元 403 , 用于根据存储比例、 共享緩沖区的大小、 闪存设备的 大小、热点数据块的大小、偏差值从所述并集中确定待加载热点数据块的总数； 第二处理单元 404, 用于按照所述存储比例， 确定将要存储到所述共享緩 沖区和闪存设备中的待加载热点数据块； 存储单元 405 , 于将所述待加载热点数据块分别存储到所述共享緩沖区和 闪存设备中。 本发明实施例提供的一种数据预热装置，在数据库启动时，根据用户的实 际使用情况对一些热点数据进行预热。本发明实施例解决了现有技术中在数据 库启动后的初期，客户端的请求数据量大而且业务非常繁忙时，会导致数据库 系统的响应效率降低， 10非常繁忙， 影响数据库系统的整体性能的问题， 提 高了数据库系统的响应速度， 减緩对磁盘的频繁 10, 提高了数据库系统的整 体性能。 本发明实施例提供的一种数据预热装置， 还包括： 当数据库启动， 无法从闪存设备上读取所述命中率信息时，从硬盘上读取 所述命中率信息。 本发明实施例提供的一种数据预热装置， 如图 5所示， 其中， 第一处理单 元 403包括： 第一处理子单元 501 , 用于根据存储比例、 共享緩沖区的大小、 闪存设备 的大小和热点数据块的大小， 计算待加载热点数据块的总数的门限值。
(<¾ X BufCapacity +a2 x Capacity)
具体是根据 BlockSize 计算待加载热点数据块的总 数的门限值， 其中 TDB为待加载热点数据块的总数的门限值， Ωι为存储到所 述共享緩沖区的待加载热点数据块的存储比例， "2为存储到所述闪存设备的 待加载热点数据块的存储比例， 且0≤ βι ≤ 1 , 0≤ί½≤1 , BufCapacity为所述 共享緩沖区的大小， Capacity为所述闪存设备的大小， BlockSize为热点数据 块的大小。
第二处理子单元 502, 用于根据所述待加载热点数据块的总数的门限值、 所述并集中的热点数据表的总数、所述并集中的热点数据块的总数，计算候选 热点数据表的个数 TCT, 其中所述候选热点数据表是所述并集中命中次数最 高的前 TCT个热点数据表。 具体是根据
Figure imgf000013_0001
计算候选热点数据表的个数 TCT， 其 中 TCT为候选热点数据表的个数, TT为所述并集中的热点数据表的总数, TDB 为所述待加载热点数据块的总数的门限值， TB为所述并集中的热点数据块的 总数。
第三处理子单元 503, 用于根据所述待加载热点数据块的总数的门限值、 所述候选热点数据表中的热点数据块的总数、 所述并集中的热点数据块的总 数， 计算每个候选热点数据表中的候选热点数据块的个数。
TDB
BN = TBN x χ 100%
具体是根据 TB 计算每个候选热点数据表中的候选 热点数据块的个数，其中 BN为每个候选热点数据表中的候选热点数据块的个 数， TBN为每个候选热点数据表中的热点数据块的总数， TDB为所述待加载 热点数据块的总数的门限值， TB为所述并集中的热点数据块的总数。
第四处理子单元 504, 用于从所述候选热点数据表中的候选热点数据块中 筛选出待加载热点数据块， 得到待加载热点数据块的总数。 本发明实施例提供的一种数据预热装置， 如图 6所示， 其中， 第四处理子 单元 504包括：
基准模块 601 , 用于根据 FB = THNTCT,2 X BRBN计算每个候选热点数据表的 筛选基数值， 其中^ B为每个候选热点数据表的筛选基数值， THNTCTI2为
「TCT ' 2 个候选热点数据表的命中次数， 为每个候选热点数据表中的热 点数据块命中率最高的第 BN个热点数据块的命中率；
计算模块 602, 用于根据 PB=PT x QB计算每个候选热点数据表中的候选 热点数据块的命中次数， 其中 PB为每个候选热点数据表中的候选热点数据块 的命中次数， PT为每个候选热点数据表的命中次数， QB为每个候选热点数 据表中候选热点数据块的命中率；
第一获取模块 603 , 用于将所述候选数据表中命中次数大于等于所述候选 热点数据表的所述筛选基数值的所有第一候选热点数据块相加，得到第一筛选 热点数据块的总数；
第二获取模块 604 , 用于当所述第一筛选热点数据块的总数在所述待加载 热点数据块的总数的门限值加减偏差值的范围内时，确定所述第一候选热点数 据块为待加载热点数据块， ， 得到待加载热点数据块的总数。
本发明实施例提供的一种数据预热装置， 如图 7所示， 其中， 第四处理子 单元 504还包括：
处理模块 701 , 用于当所述第一筛选热点数据块的总数不在所述待加载热 点数据块的总数的门限值加减偏差值的范围内时，将所述筛选基数值与预设倍 数相乘， 得到新的筛选基数值；
第三获取模块 702, 用于将所述候选数据表中命中次数大于等于所述新的 筛选基数值的所有第二候选热点数据块相加， 得到第二筛选热点数据块的总 数；
第四获取模块 703 , 用于当所述第二筛选热点数据块的总数在所述待加载 热点数据块的总数的门限值加减偏差值的范围内时，确定所述第二候选热点数 据块为待加载热点数据块， 得到待加载热点数据块的总数。
本发明实施例提供的一种数据预热装置 80, 如图 8所示， 还包括统计单 元 406和备份单元 407。
其中， 统计单元 406, 用于当数据库运行时， 实时统计热点数据的命中率 信息， 并更新存储到所述闪存设备；
备份单元 407, 用于将所述闪存设备上的数据备份到所述硬盘， 其中所述 备份数据包括更新的命中率信息。
本装置操作过程， 参见上述数据预热方法的实现过程。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易想到 变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围应 所述以权利要求的保护范围为准。

Claims

权 利 要 求
1、 一种数据预热方法， 其特征在于， 包括：
当数据库启动时， 分别取命中率信息和读取用户配置信息， 其中所述命中 率信息包括： 热点数据表， 所述用户配置信息包括： 预设热点数据表， 将待加 载热点数据块存储到共享緩沖区和闪存设备中的存储比例， 共享緩沖区的大 小， 闪存设备的存储能力， 待加载热点数据块的总数的偏差值；
获取所述用户配置信息中的预设热点数据表和所述命中率信息中的热点 数据表的并集；
根据存储比例、共享緩沖区的大小、闪存设备的大小、热点数据块的大小、 偏差值从所述并集中确定待加载热点数据块的总数；
按照所述存储比例，确定将要存储到所述共享緩沖区和闪存设备中的待加 载热点数据块；
将所述待加载热点数据块分别存储到所述共享緩沖区和闪存设备中。
2、 根据权利要求 1所述的一种数据预热方法， 其特征在于， 所述根据存 储比例、共享緩沖区的大小、 闪存设备的大小、 热点数据块的大小从所述并集 中确定待加载热点数据块的总数， 具体步骤包括：
根据存储比例、共享緩沖区的大小、闪存设备的大小和热点数据块的大小， 计算待加载热点数据块的总数的门限值；
根据所述待加载热点数据块的总数的门限值、所述并集中的热点数据表的 总数、 所述并集中的热点数据块的总数， 计算候选热点数据表的个数 TCT, 其中所述候选热点数据表是所述并集中命中次数最高的前 TCT 个热点数据 表； 根据所述待加载热点数据块的总数的门限值、所述候选热点数据表中的热 点数据块的总数、所述并集中的热点数据块的总数，计算每个候选热点数据表 中的候选热点数据块的个数；
从所述候选热点数据表中的候选热点数据块中筛选出待加载热点数据块， 得到待加载热点数据块的总数。
3、 根据权利要求 2所述的一种数据预热方法， 其特征在于， 所述根据存 储比例、共享緩沖区的大小、 闪存设备的大小和热点数据块的大小， 计算待加 载热点数据块的总数的门限值包括：
(<¾ X BufCapacity +a2 x Capacity)
根据 BlockSize 计算待加载热点数据块的总数的门 限值， 其中 TDB为待加载热点数据块的总数的门限值， 为存储到所述共享 緩沖区的待加载热点数据块的存储比例， "2为存储到所述闪存设备的待加载 热点数据块的存储比例， 且0≤ βι ≤ 1 , 0≤¾≤1 , BufCapacity为所述共享緩 沖区的大小， Capacity 为所述闪存设备的大小， BlockSize 为热点数据块的大 小。
4、 根据权利要求 2所述的一种数据预热方法， 其特征在于， 所述根据所 述待加载热点数据块的总数的门限值、所述并集中的热点数据表的总数、所述 并集中的热点数据块的总数， 计算候选热点数据表的个数 TCT, 具体步骤包 括：
TCT 腿
根据 TB 计算候选热点数据表的个数 TCT, 其中 TCT 为候选热点数据表的个数， TT为所述并集中的热点数据表的总数， TDB为所 述待加载热点数据块的总数的门限值，ΤΒ为所述并集中的热点数据块的总数。
5、 根据权利要求 2所述的一种数据预热方法， 其特征在于， 所述根据所 述待加载热点数据块的总数的门限值、所述候选热点数据表中的热点数据块的 总数、所述并集中的热点数据块的总数，计算每个候选热点数据表中的候选热 点数据块的个数包括： 根据
Figure imgf000018_0001
计算每个候选热点数据表中的候选热点数 据块的个数， 其中 BN 为每个候选热点数据表中的候选热点数据块的个数， TBN为每个候选热点数据表中的热点数据块的总数， TDB为所述待加载热点 数据块的总数的门限值， TB为所述并集中的热点数据块的总数。
6、 根据权利要求 2所述的一种数据预热方法， 其特征在于， 所述从所述 候选热点数据表中的候选热点数据块中筛选出待加载热点数据块，得到待加载 热点数据块的总数包括：
根据 FB = THNTCT/2 x BR BN计算每个候选热点数据表的筛选基数值， 其中 ¾为每个候选热点数据表的筛选基数值， THNTCT 为 \TCTI1 个候选热点 数据表的命中次数， 丽为每个候选热点数据表中的热点数据块命中率最高 的第 ΒΝ个热点数据块的命中率；
根据 PB=PT x QB计算每个候选热点数据表中的候选热点数据块的命中 次数， 其中 PB为每个候选热点数据表中的候选热点数据块的命中次数， PT为 每个候选热点数据表的命中次数， QB为每个候选热点数据表中候选热点数据 块的命中率；
将所述候选数据表中命中次数大于等于所述候选热点数据表的所述筛选 基数值的所有第一候选热点数据块相加， 得到第一筛选热点数据块的总数； 当所述第一 选热点数据块的总数在所述待加载热点数据块的总数的门 限值加减偏差值的范围内时，确定所述第一候选热点数据块为待加载热点数据 块， 得到待加载热点数据块的总数。
7、 根据权利要求 6所述的一种数据预热方法， 其特征在于， 还包括： 当所述第一 选热点数据块的总数不在所述待加载热点数据块的总数的 门限值加减偏差值的范围内时，将所述筛选基数值与预设倍数相乘，得到新的 筛选基数值；
将所述候选数据表中命中次数大于等于所述新的 选基数值的所有第二 候选热点数据块相加， 得到第二筛选热点数据块的总数；
当所述第二 选热点数据块的总数在所述待加载热点数据块的总数的门 限值加减偏差值的范围内时，确定所述第二候选热点数据块为待加载热点数据 块， 得到待加载热点数据块的总数。
8、 根据权利要求 1所述的一种数据预热方法， 其特征在于， 所述方法还 包括：
当数据库运行时， 实时统计热点数据的命中率信息， 并更新存储到所述闪 存设备；
将所述闪存设备上的数据备份到所述硬盘，其中所述备份数据包括更新的 命中率信息。
9、 一种数据预热装置， 其特征在于， 包括：
读取单元，用于当数据库启动时，分别取命中率信息和读取用户配置信息， 其中所述命中率信息包括： 热点数据表， 所述用户配置信息包括： 预设热点数 据表，将待加载热点数据块存储到共享緩沖区和闪存设备中的存储比例，共享 緩沖区的大小， 闪存设备的存储能力， 待加载热点数据块的总数的偏差值； 获取单元，用于获取所述用户配置信息中的预设热点数据表和所述命中率 信息中的热点数据表的并集；
第一处理单元，用于根据存储比例、共享緩沖区的大小、闪存设备的大小、 热点数据块的大小、 偏差值从所述并集中确定待加载热点数据块的总数；
第二处理单元， 用于按照所述存储比例，确定将要存储到所述共享緩沖区 和闪存设备中的待加载热点数据块；
存储单元，用于将所述待加载热点数据块分别存储到所述共享緩沖区和闪 存设备中。
10、 根据权利要求 9所述的一种数据预热装置， 其特征在于， 第一处理单 元包括：
第一处理子单元， 用于根据存储比例、 共享緩沖区的大小、 闪存设备的大 小和热点数据块的大小， 计算待加载热点数据块的总数的门限值；
第二处理子单元， 用于根据所述待加载热点数据块的总数的门限值、所述 并集中的热点数据表的总数、所述并集中的热点数据块的总数，计算候选热点 数据表的个数 TCT, 其中所述候选热点数据表是所述并集中命中次数最高的 前 TCT个热点数据表；
第三处理子单元， 用于根据所述待加载热点数据块的总数的门限值、所述 候选热点数据表中的热点数据块的总数、所述并集中的热点数据块的总数， 计 算每个候选热点数据表中的候选热点数据块的个数；
第四处理子单元，用于从所述候选热点数据表中的候选热点数据块中筛选 出待加载热点数据块， 得到待加载热点数据块的总数。
11、 根据权利要求 9所述的一种数据预热装置， 其特征在于， 第一处理子 (<¾ x BufCapacity +a2x Capacity)
单元具体用于根据 BlockSize 计算待加载热点数据块的 总数的门限值， 其中 TDB为待加载热点数据块的总数的门限值， 为存储到 所述共享緩沖区的待加载热点数据块的存储比例， "2为存储到所述闪存设备 的待加载热点数据块的存储比例， 且0≤ βι≤ 1, 0≤ ί½≤ 1 , BufCapacity为所 述共享緩沖区的大小， Capacity 为所述闪存设备的大小， BlockSize 为热点数 据块的大小。
12、 根据权利要求 9所述的一种数据预热装置， 其特征在于， 第二处理子
TCT 腿
单元具体用于根据 TB 计算候选热点数据表的个数 TCT, 其中 TCT为候选热点数据表的个数， TT为所述并集中的热点数据表的总数，
TDB为所述待加载热点数据块的总数的门限值， TB为所述并集中的热点数据 块的总数。
13、 根据权利要求 9所述的一种数据预热装置， 其特征在于， 第三处理子
TDB
BN = TBNx χ100
单元具体用于根据 TB 计算每个候选热点数据表中的候 选热点数据块的个数，其中 BN为每个候选热点数据表中的候选热点数据块的 个数， TBN为每个候选热点数据表中的热点数据块的总数， TDB为所述待加 载热点数据块的总数的门限值， TB为所述并集中的热点数据块的总数。
14、 根据权利要求 9所述的一种数据预热装置， 其特征在于， 第四处理子 单元包括： 基准模块，用于根据 FB =
Figure imgf000021_0001
X ^ 计算每个候选热点数据表的筛选 基数值，其中^ B为每个候选热点数据表的筛选基数值， THNTCTI2 ^ TCT I 2A 个候选热点数据表的命中次数， 为每个候选热点数据表中的热点数据块 命中率最高的第 BN个热点数据块的命中率；
计算模块， 用于根据 PB=PT X QB计算每个候选热点数据表中的候选热点 数据块的命中次数， 其中 PB为每个候选热点数据表中的候选热点数据块的命 中次数， PT为每个候选热点数据表的命中次数， QB为每个候选热点数据表 中候选热点数据块的命中率；
第一获取模块，用于将所述候选数据表中命中次数大于等于所述候选热点 数据表的所述筛选基数值的所有第一候选热点数据块相加，得到第一筛选热点 数据块的总数；
第二获取模块，用于当所述第一筛选热点数据块的总数在所述待加载热点 数据块的总数的门限值加减偏差值的范围内时，确定所述第一候选热点数据块 为待加载热点数据块， 得到待加载热点数据块的总数。
15、 根据权利要求 9所述的一种数据预热装置， 其特征在于， 第四处理子 单元还包括：
处理模块，用于当所述第一筛选热点数据块的总数不在所述待加载热点数 据块的总数的门限值加减偏差值的范围内时，将所述筛选基数值与预设倍数相 乘， 得到新的筛选基数值；
第三获取模块，用于将所述候选数据表中命中次数大于等于所述新的筛选 基数值的所有第二候选热点数据块相加， 得到第二筛选热点数据块的总数； 第四获取模块，用于当所述第二筛选热点数据块的总数在所述待加载热点 数据块的总数的门限值加减偏差值的范围内时，确定所述第二候选热点数据块 为待加载热点数据块， 得到待加载热点数据块的总数。
16、 根据权利要求 9所述的一种数据预热装置， 其特征在于， 所述装置还 包括：
统计单元， 用于当数据库运行时， 实时统计热点数据的命中率信息， 并更 新存储到所述闪存设备；
备份单元， 用于将所述闪存设备上的数据备份到所述硬盘， 其中所述备份 数据包括更新的命中率信息。
PCT/CN2012/072863 2011-11-18 2012-03-23 数据预热方法及装置 WO2013071726A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12850309.1A EP2765522B1 (en) 2011-11-18 2012-03-23 Method and device for data pre-heating
US14/278,707 US9569489B2 (en) 2011-11-18 2014-05-15 Method and apparatus for data preheating

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110369378.5A CN102521260B (zh) 2011-11-18 2011-11-18 数据预热方法及装置
CN201110369378.5 2011-11-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/278,707 Continuation US9569489B2 (en) 2011-11-18 2014-05-15 Method and apparatus for data preheating

Publications (1)

Publication Number Publication Date
WO2013071726A1 true WO2013071726A1 (zh) 2013-05-23

Family

ID=46292182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/072863 WO2013071726A1 (zh) 2011-11-18 2012-03-23 数据预热方法及装置

Country Status (4)

Country Link
US (1) US9569489B2 (zh)
EP (1) EP2765522B1 (zh)
CN (1) CN102521260B (zh)
WO (1) WO2013071726A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942315B (zh) * 2014-04-22 2017-03-22 杭州邦盛金融信息技术有限公司 一种基于装载因子的缓存数据预加载与替换方法
CN105988720B (zh) * 2015-02-09 2019-07-02 中国移动通信集团浙江有限公司 数据存储装置和方法
CN106708819A (zh) * 2015-07-17 2017-05-24 阿里巴巴集团控股有限公司 一种数据缓存的预热方法及其装置
CN106970920A (zh) * 2016-01-14 2017-07-21 阿里巴巴集团控股有限公司 一种用于数据库数据迁移的方法与设备
KR102535700B1 (ko) * 2016-02-01 2023-05-24 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작방법
CN109284236B (zh) * 2018-08-28 2020-04-17 北京三快在线科技有限公司 数据预热方法、装置、电子设备及存储介质
CN109960612B (zh) * 2019-03-07 2021-01-05 腾讯科技（深圳）有限公司 一种确定数据存储占比的方法、装置及服务器
CN111813740A (zh) * 2019-04-11 2020-10-23 中国移动通信集团四川有限公司 一种文件分层存储方法及服务器
DE102020210104A1 (de) 2020-08-10 2022-02-10 Disco Corporation Verfahren zum bearbeiten eines substrats

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118305A (ja) * 2002-09-24 2004-04-15 Sharp Corp キャッシュメモリ制御装置
CN1945552A (zh) * 2006-11-03 2007-04-11 中兴通讯股份有限公司 数据预读装置及其数据读取方法
CN101668046A (zh) * 2009-10-13 2010-03-10 成都市华为赛门铁克科技有限公司 资源缓存方法、资源获取方法及其装置、系统
CN102222107A (zh) * 2011-06-28 2011-10-19 中国联合网络通信集团有限公司 数据存取系统及其数据存取方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239644A (en) 1988-03-28 1993-08-24 Hitachi, Ltd. Data preloading method and system for using a buffer
US6463509B1 (en) * 1999-01-26 2002-10-08 Motive Power, Inc. Preloading data in a cache memory according to user-specified preload criteria
US6820091B2 (en) * 2001-05-11 2004-11-16 International Business Machines Corporation Dynamic buffer allocation
US7073030B2 (en) * 2002-05-22 2006-07-04 International Business Machines Corporation Method and apparatus providing non level one information caching using prefetch to increase a hit ratio
JP4686305B2 (ja) * 2005-08-26 2011-05-25 株式会社日立製作所 ストレージ管理システムおよびその方法
US7640353B2 (en) * 2006-04-27 2009-12-29 Microsoft Corporation Guided random seek support for media streaming
JP5147296B2 (ja) * 2007-05-31 2013-02-20 株式会社日立製作所 計算機システム、データベース管理方法及びプログラム
CN100437590C (zh) * 2007-06-08 2008-11-26 北京大学 预取对象的方法
US8868831B2 (en) * 2009-09-14 2014-10-21 Oracle International Corporation Caching data between a database server and a storage system
US8239640B2 (en) * 2008-10-09 2012-08-07 Dataram, Inc. System for controlling performance aspects of a data storage and access routine
US8086816B2 (en) * 2008-10-20 2011-12-27 Dataram, Inc. Method for controlling performance aspects of a data storage and access routine
KR101189766B1 (ko) * 2008-12-22 2012-10-10 한국전자통신연구원 데이터 서버로 분산 수집된 접근 횟수 기반의 핫 데이터 관리 방법
US20100199036A1 (en) * 2009-02-02 2010-08-05 Atrato, Inc. Systems and methods for block-level management of tiered storage
US8825685B2 (en) * 2009-11-16 2014-09-02 Symantec Corporation Selective file system caching based upon a configurable cache map
US8566483B1 (en) * 2009-12-17 2013-10-22 Emc Corporation Measuring data access activity
US8429346B1 (en) * 2009-12-28 2013-04-23 Emc Corporation Automated data relocation among storage tiers based on storage load
CN102141963B (zh) * 2010-01-28 2016-06-08 阿里巴巴集团控股有限公司 一种数据分析方法和设备
US20110246721A1 (en) * 2010-03-31 2011-10-06 Sony Corporation Method and apparatus for providing automatic synchronization appliance
US8478731B1 (en) * 2010-03-31 2013-07-02 Emc Corporation Managing compression in data storage systems
US9256381B1 (en) * 2011-09-29 2016-02-09 Emc Corporation Managing degraded storage elements in data storage systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118305A (ja) * 2002-09-24 2004-04-15 Sharp Corp キャッシュメモリ制御装置
CN1945552A (zh) * 2006-11-03 2007-04-11 中兴通讯股份有限公司 数据预读装置及其数据读取方法
CN101668046A (zh) * 2009-10-13 2010-03-10 成都市华为赛门铁克科技有限公司 资源缓存方法、资源获取方法及其装置、系统
CN102222107A (zh) * 2011-06-28 2011-10-19 中国联合网络通信集团有限公司 数据存取系统及其数据存取方法

Also Published As

Publication number Publication date
CN102521260B (zh) 2014-04-02
US9569489B2 (en) 2017-02-14
CN102521260A (zh) 2012-06-27
EP2765522B1 (en) 2019-03-13
US20140250102A1 (en) 2014-09-04
EP2765522A4 (en) 2014-11-26
EP2765522A1 (en) 2014-08-13

Similar Documents

Publication Publication Date Title
WO2013071726A1 (zh) 数据预热方法及装置
US8271462B2 (en) Method for creating a index of the data blocks
US9449005B2 (en) Metadata storage system and management method for cluster file system
US9779027B2 (en) Apparatus, system and method for managing a level-two cache of a storage appliance
CN103942157B (zh) 用于计算存储环境中的数据处理的方法和系统
US10860494B2 (en) Flushing pages from solid-state storage device
US20140281260A1 (en) Estimating access frequency statistics for storage device
US20140115244A1 (en) Apparatus, system and method for providing a persistent level-two cache
CN107003814A (zh) 存储系统中的有效元数据
WO2018113317A1 (zh) 数据的迁移方法、装置和系统
CN103902479A (zh) 一种基于元数据日志的元数据缓存快速重建机制
WO2015154352A1 (zh) 分布式文件系统的数据迁移方法、装置及元数据服务器
WO2018171296A1 (zh) 一种文件合并方法及控制器
WO2012083754A1 (zh) 处理脏数据的方法及装置
KR101548689B1 (ko) 파일 시스템에서의 부분 가비지 컬렉션 방법 및 장치
CN103678166A (zh) 一种采用固态硬盘作为计算机高速缓存的实现方法及系统
WO2014089828A1 (zh) 访问存储设备的方法和存储设备
Yang et al. {SmartDedup}: Optimizing Deduplication for Resource-constrained Devices
JP2017204068A (ja) 情報処理装置、キャッシュメモリ制御方法、およびキャッシュメモリ制御プログラム
WO2015024406A1 (zh) 一种数据文件的管理方法及装置
WO2013091349A1 (zh) 数据库内的描述信息的恢复和数据的缓存方法及设备
Menon et al. Optimizing key-value stores for hybrid storage architectures
Wu et al. CAGC: A content-aware garbage collection scheme for ultra-low latency flash-based SSDs
US20170031597A1 (en) Methods and systems of garbage collection and defragmentation in a distributed database
JP2014203280A (ja) データ管理プログラム，データ管理装置およびデータ管理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12850309

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012850309

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE