WO2019136982A1 - 一种闪存冷热数据分析器及分析方法 - Google Patents

一种闪存冷热数据分析器及分析方法 Download PDF

Info

Publication number
WO2019136982A1
WO2019136982A1 PCT/CN2018/099761 CN2018099761W WO2019136982A1 WO 2019136982 A1 WO2019136982 A1 WO 2019136982A1 CN 2018099761 W CN2018099761 W CN 2018099761W WO 2019136982 A1 WO2019136982 A1 WO 2019136982A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
flash
flash memory
cold
node
Prior art date
Application number
PCT/CN2018/099761
Other languages
English (en)
French (fr)
Inventor
许豪江
李庭育
齐元辅
蔡定国
Original Assignee
江苏华存电子科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 江苏华存电子科技有限公司 filed Critical 江苏华存电子科技有限公司
Publication of WO2019136982A1 publication Critical patent/WO2019136982A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory

Definitions

  • the invention relates to the technical field of data analysis, in particular to a flash thermal data analyzer and an analysis method.
  • Flash memory is a long-lived non-volatile memory that retains stored data information in the event of a power outage. Data deletion is not in a single byte but in a fixed block. The block size is typically 256KB to 20MB. Flash memory is a variant of electronically erasable read-only memory (EEPROM). Unlike flash memory, EEPROM can be erased and rewritten at the byte level instead of the entire chip eraser, while most chips in flash require a block erase. except. Since it can still save data when it is powered off, flash memory is usually used to save setup information, such as saving data in the computer's BIOS (basic program), PDA (personal digital assistant), digital camera, etc.; flash memory is moving toward large capacity and low The development of power consumption and low cost.
  • BIOS basic program
  • PDA personal digital assistant
  • the flash memory has high read/write speed and low power consumption.
  • the flash hard disk that is, the SSD hard disk, has appeared on the market, and the cost performance of the hard disk is further improved. As manufacturing processes increase and costs decrease, flash memory will appear more in everyday life.
  • Flash memory is a non-disappearing memory device that must be erased before it can be used. Therefore, a flash translation layer is required in the flash memory to implement a virtual block device on the flash chip.
  • the logical address is primarily mapped to the physical address of the flash memory through the map.
  • flash garbage collection Since flash cannot write data repeatedly after writing data, additional flash blocks must be used to organize the written data. This process is called flash garbage collection. There are three cases of garbage collection. The first type is called the replacement mechanism. The new flash data completely replaces the old flash block. The second type is the partial replacement mechanism. The new data flash block only needs to be supplemented by the old flash block. The third type is the non-replacement mechanism, the newly generated data flash block, and all the data content is taken from several old flash blocks. The first type is the most efficient, and the third type takes the most time and cost.
  • Flash hot and cold data analysis is an important issue in the flash translation layer. Flash hot and cold data analysis analyzes flash hot and cold data to distinguish whether data is frequently updated and reduces garbage collection. Cold data is data that is rarely updated after being written to flash memory. After this data is sorted, it is not easy to be updated, and garbage collection has the highest benefit. The opposite hot data is frequently written, and after the data is recovered, it is immediately recycled again in a short period of time, affecting performance. Traditionally, additional memory space is required to record information on hot and cold data, increasing costs. It is an object of the present invention to provide a method for analyzing cold and hot data in combination with a mapping table. The present invention distinguishes between hot and cold data without increasing the memory space, and reduces the number of times of flash garbage collection.
  • a flash thermal data analyzer including a data transmission device, a flash translation layer, and a flash memory
  • the data transmission device is connected to the flash memory through a flash conversion layer
  • data is transmitted from the data transmission device.
  • the analysis method comprises the following steps:
  • the map table is split into a single node in a linked list manner, wherein each node is a small mapping table;
  • step F if there is no repetition, then directly jump to step F; the hot data will stay at the end of the linked list, the cold data sinks in the head; if there is duplicate data, the old node is cleared first, and then proceeds to step F;
  • the flash memory uses a ternary unit flash memory or a 3D stack flash memory
  • the ternary unit flash memory has 2048 blocks, each block has 512 pages, and a total of 1048576 data information is generated
  • the 3D stack flash memory has 4 Plane, each plane has 548 blocks, each block has 1536 pages, a total of 3366912 data information is generated.
  • the invention has the beneficial effects that the invention can analyze the hot and cold data and reduce the number of garbage collections without relying on other memories.
  • a memory capable of storing 262,144 spaces is needed, and the invention can save the cost of the memory and the benefit of distinguishing the hot and cold data; by using the invention, it is possible to distinguish the hot data at the end of the chain, leaving the head The department is cold data.
  • Figure 1 is a schematic structural view of the present invention
  • FIG. 2 is a schematic diagram of a flash memory of the present invention
  • Figure 3 is a flow chart of the analysis of the present invention.
  • a flash thermal data analyzer including a data transmission device 1, a flash translation layer 2, and a flash memory 3.
  • the data transmission device 1 is connected through a flash translation layer 2.
  • Flash memory 3 data is sent from the data transfer device 1 to the flash memory 3 through the flash conversion layer 2; wherein the flash memory uses a ternary unit flash memory or a 3D stack flash memory, and the ternary unit flash memory has 2048 blocks, each block has 512 blocks.
  • the page generates a total of 1048576 data information; the 3D stack flash has 4 planes, each plane has 548 blocks, and each block has 1536 pages, generating a total of 3366912 data information.
  • the analysis method of the present invention comprises the following steps:
  • the map table is split into a single node in a linked list manner, wherein each node is a small mapping table;
  • step F if there is no repetition, then directly jump to step F; the hot data will stay at the end of the linked list, the cold data sinks in the head; if there is duplicate data, the old node is cleared first, and then proceeds to step F;
  • the present invention can analyze the hot and cold data and reduce the number of garbage collections without relying on other memories.
  • a memory capable of storing 262,144 spaces is needed, and the invention can save the cost of the memory and the benefit of distinguishing the hot and cold data; by using the invention, it is possible to distinguish the hot data at the end of the chain, leaving the head The department is cold data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Read Only Memory (AREA)

Abstract

一种闪存冷热数据分析器及分析方法，可以在不依靠其他存储器的情况下，结合应分析出冷热数据，减少垃圾回收的次数。相较于传统方式需要一块能存储262144空间的存储器，能省去存储器成本又可以达到分辨冷热数据的效益。

Description

一种闪存冷热数据分析器及分析方法 技术领域
本发明涉及数据分析技术领域，具体为一种闪存冷热数据分析器及分析方法。
背景技术
闪存是一种长寿命的非易失性(在断电情况下仍能保持所存储的数据信息)的存储器，数据删除不是以单个的字节为单位而是以固定的区块为单位，区块大小一般为256KB到20MB。闪存是电子可擦除只读存储器(EEPROM)的变种，闪存与EEPROM不同的是，EEPROM能在字节水平上进行删除和重写而不是整个芯片擦写，而闪存的大部分芯片需要块擦除。由于其断电时仍能保存数据，闪存通常被用来保存设置信息，如在电脑的BIOS(基本程序)、PDA(个人数字助理)、数码相机中保存资料等；闪存正朝大容量、低功耗、低成本的方向发展。与传统硬盘相比，闪存的读写速度高、功耗较低，市场上已经出现了闪存硬盘，也就是SSD硬盘，该硬盘的性价比进一步提升。随着制造工艺的提高、成本的降低，闪存将更多地出现在日常生活之中。
闪存为非消失性的存储器装置，须先经过抹除后才能使用。因此在闪存中需要一个闪存转换层在闪存芯片上实现了一个虚拟块设备。主要透过映像表来把逻辑地址映像到闪存的物理地址。
由于闪存写入数据后不可以重复再写入数据，必须要使用额外的闪存块整理已写入的数据，此过程称为闪存垃圾回收。垃圾回收有三种情况，第一种类型称为替换机制，新的闪存数据完全取代旧的闪存 块；第二种类型为部分替换机制，新的数据闪存块只有部分需要由旧闪存块取得数据补足；第三种类型为不能替换机制，新产生的数据闪存块，全部的数据内容都从好几个旧的闪存块取出。第一类型最有效率，第三类型需花费最多的时间和成本。
闪存冷热数据分析在闪存转换层是个重要的议题，闪存冷热数据分析是经由分析闪存冷热数据区分出数据是否频繁更新，减少垃圾回收。冷数据为写入闪存后很少被更新的数据，这种数据整理后，不容易被更新，垃圾回收的效益最高。相反的热数据频繁的被写入，回收此数据后在很短的时间内，立马又再被回收，影响效能。传统的方式，需要额外的存储器空间记录冷热数据的信息，增加成本。本发明的目的是提供一种结合映射表的分析冷热数据方法，本发明在不增加存储器空间下，分辨出冷热数据，减少闪存垃圾回收的次数。
发明内容
本发明的目的在于提供一种闪存冷热数据分析器及分析方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种闪存冷热数据分析器，包括数据传输装置、闪存转换层和闪存，所述数据传输装置通过闪存转换层连接闪存，数据从数据传输装置发出通过闪存转换层后写入闪存内。
优选的，分析方法包括以下步骤：
A、以链表方式将映像表拆解成一个一个的节点，其中，每个节点都是小型的映射表；
B、依数据写入的顺序链接起来；
C、当有新的数据写入时把最新的节点安插在尾节点的后方；
D、当有数据写入时，检测是否有旧数据重复；
E、若无重复，则直接跳转步骤F；热数据会留在链表的尾位置，冷数据汇留在头部；若有重复数据，则先清除旧有的节点，再进入步骤F；
F、对冷热数据进行分辨。
优选的，所述闪存采用三元单元闪存或3D堆栈闪存，所述三元单元闪存有2048个块，每个块有512个页，共产生1048576个数据信息；所述3D堆栈闪存有4个平面，每个平面有548个块，每个块有1536个页，共产生3366912个数据信息。
与现有技术相比，本发明的有益效果是：本发明可以在不依靠其他存储器的情况下，结合应分析出冷热数据，减少垃圾回收的次数。相较于传统方式需要一块能存储262144空间的存储器，本发明能省去存储器成本又可以达到分辨冷热数据的效益；利用本发明可以区分出在链表尾位置的都是热数据，留在头部的为冷数据。
附图说明
图1为本发明结构示意图；
图2为本发明的闪存示意图；
图3为本发明分析流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种闪存冷热数据分析器，包括数据传输装置1、闪存转换层2和闪存3，所述数据传输装置1通过闪存转换层2连接闪存3，数据从数据传输装置1发出通过闪存转换层2后写入闪存3内；其中，闪存采用三元单元闪存或3D堆栈闪存，三元单元闪存有2048个块，每个块有512个页，共产生1048576个数据信息；3D堆栈闪存有4个平面，每个平面有548个块，每个块有1536个页，共产生3366912个数据信息。
本发明的分析方法包括以下步骤：
A、以链表方式将映像表拆解成一个一个的节点，其中，每个节点都是小型的映射表；
B、依数据写入的顺序链接起来；
C、当有新的数据写入时把最新的节点安插在尾节点的后方；
D、当有数据写入时，检测是否有旧数据重复；
E、若无重复，则直接跳转步骤F；热数据会留在链表的尾位置，冷数据汇留在头部；若有重复数据，则先清除旧有的节点，再进入步骤F；
F、对冷热数据进行分辨。
举例说明：例如依序插入为数据1(逻辑地址0，物理地址10)、 数据2(逻辑地址1，物理地址45)、数据3(逻辑地址2，物理地址34)、数据4(逻辑地址3，物理地址78)，若数据2(逻辑地址1，物理地址56)被再次写入，则检测是否有旧数据重复，若有重复，则清除旧有的节点。写入后链表为数据1、数据3、数据4和数据2；热数据会留在链表的尾位置，冷数据汇留在头部。
综上所述，本发明可以在不依靠其他存储器的情况下，结合应分析出冷热数据，减少垃圾回收的次数。相较于传统方式需要一块能存储262144空间的存储器，本发明能省去存储器成本又可以达到分辨冷热数据的效益；利用本发明可以区分出在链表尾位置的都是热数据，留在头部的为冷数据。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

  1. 一种闪存冷热数据分析器，其特征在于：包括数据传输装置(1、)闪存转换层(2)和闪存(3)，所述数据传输装置(1)通过闪存转换层(2)连接闪存(3)，数据从数据传输装置(1)发出通过闪存转换层(2)后写入闪存(3)内。
  2. 实现权利要求1所述的一种闪存冷热数据分析器的分析方法，其特征在于：分析方法包括以下步骤：
    A、以链表方式将映像表拆解成一个一个的节点，其中，每个节点都是小型的映射表；
    B、依数据写入的顺序链接起来；
    C、当有新的数据写入时把最新的节点安插在尾节点的后方；
    D、当有数据写入时，检测是否有旧数据重复；
    E、若无重复，则直接跳转步骤F；热数据会留在链表的尾位置，冷数据汇留在头部；若有重复数据，则先清除旧有的节点，再进入步骤F；
    F、对冷热数据进行分辨。
  3. 根据权利要求1所述的一种闪存冷热数据分析器，其特征在于：所述闪存采用三元单元闪存或3D堆栈闪存，所述三元单元闪存有2048个块，每个块有512个页，共产生1048576个数据信息；所述3D堆栈闪存有4个平面，每个平面有548个块，每个块有1536个 页，共产生3366912个数据信息。
PCT/CN2018/099761 2018-01-12 2018-08-09 一种闪存冷热数据分析器及分析方法 WO2019136982A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810030687.1A CN108062278A (zh) 2018-01-12 2018-01-12 一种闪存冷热数据分析器及分析方法
CN201810030687.1 2018-01-12

Publications (1)

Publication Number Publication Date
WO2019136982A1 true WO2019136982A1 (zh) 2019-07-18

Family

ID=62141592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/099761 WO2019136982A1 (zh) 2018-01-12 2018-08-09 一种闪存冷热数据分析器及分析方法

Country Status (2)

Country Link
CN (1) CN108062278A (zh)
WO (1) WO2019136982A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062278A (zh) * 2018-01-12 2018-05-22 江苏华存电子科技有限公司 一种闪存冷热数据分析器及分析方法
US11829636B2 (en) 2021-09-01 2023-11-28 Micron Technology, Inc. Cold data identification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110055464A1 (en) * 2006-10-02 2011-03-03 Min-Soo Moon Device driver including a flash memory file system and method thereof and a flash memory device and method thereof
CN102902628A (zh) * 2012-09-18 2013-01-30 记忆科技(深圳)有限公司 一种基于闪存实现的冷热数据自动分离方法、系统及闪存
CN106294197A (zh) * 2016-08-05 2017-01-04 华中科技大学 一种面向nand闪存的页面置换方法
CN107368436A (zh) * 2017-06-29 2017-11-21 西安交通大学 一种联合地址映射表的闪存冷热数据分离存储方法
CN107391398A (zh) * 2016-05-16 2017-11-24 中国科学院微电子研究所 一种闪存缓存区的管理方法及系统
CN108062278A (zh) * 2018-01-12 2018-05-22 江苏华存电子科技有限公司 一种闪存冷热数据分析器及分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110055464A1 (en) * 2006-10-02 2011-03-03 Min-Soo Moon Device driver including a flash memory file system and method thereof and a flash memory device and method thereof
CN102902628A (zh) * 2012-09-18 2013-01-30 记忆科技(深圳)有限公司 一种基于闪存实现的冷热数据自动分离方法、系统及闪存
CN107391398A (zh) * 2016-05-16 2017-11-24 中国科学院微电子研究所 一种闪存缓存区的管理方法及系统
CN106294197A (zh) * 2016-08-05 2017-01-04 华中科技大学 一种面向nand闪存的页面置换方法
CN107368436A (zh) * 2017-06-29 2017-11-21 西安交通大学 一种联合地址映射表的闪存冷热数据分离存储方法
CN108062278A (zh) * 2018-01-12 2018-05-22 江苏华存电子科技有限公司 一种闪存冷热数据分析器及分析方法

Also Published As

Publication number Publication date
CN108062278A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
TWI408551B (zh) 快閃記憶體儲存系統及其控制器與資料處理方法
TWI385518B (zh) 用於快閃記憶體的資料儲存方法及儲存系統
CN101320594B (zh) 一种闪存芯片的物理操作方法
TWI585770B (zh) 記憶體管理方法、記憶體控制電路單元及記憶體儲存裝置
JP2009048613A (ja) ソリッドステートメモリ、それを含むコンピュータシステム及びその動作方法
CN1822217A (zh) 将数据存储在非易失性高速缓冲存储器中的设备和方法
TW201437807A (zh) 映射資訊記錄方法、記憶體控制器與記憶體儲存裝置
TW201917581A (zh) 管理快閃記憶體模組的方法及相關的快閃記憶體控制器
TWI726314B (zh) 資料儲存裝置與資料處理方法
TWI498899B (zh) 資料寫入方法、記憶體控制電路單元與記憶體儲存裝置
TWI421870B (zh) 用於快閃記憶體的資料寫入方法及其控制器與儲存系統
KR101374065B1 (ko) 칩 레벨 평행 플래시 메모리를 위한 정보 분별 방법 및 장치
TW201712549A (zh) 緩衝記憶體管理方法、記憶體控制電路單元及記憶體儲存裝置
WO2019136982A1 (zh) 一种闪存冷热数据分析器及分析方法
CN100580669C (zh) 在Flash存储介质上的关于文件分配表的缓存实现方法
WO2021035555A1 (zh) 一种固态硬盘的数据存储方法、装置及固态硬盘ssd
CN109597570B (zh) 高速处理闪存的方法及基于该方法的设备和可读存储介质
CN105205008A (zh) 降低混合映射算法中日志块映射表内存资源占用的方法
CN101324899B (zh) 一种快速写nand型flash的方法
TW201537577A (zh) 資料寫入方法、記憶體控制電路單元與記憶體儲存裝置
CN102521146A (zh) 一种flash存储器块细分的数据寻址存储方法
TWI477966B (zh) 資料儲存裝置與快閃記憶體操作方法
CN105630406B (zh) 利用mram作为编辑缓存区的存储系统及编辑缓存方法
WO2019136969A1 (zh) 一种实体位置映到逻辑映像位置的高效能方法
TW201115582A (en) Method for determining data correlation and data processing method for memory

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900425

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900425

Country of ref document: EP

Kind code of ref document: A1