RU2019134840A - Система и способ для автоматического рапределения данных по уровням в журналируемой файловой системе на основе интенсивности считывания логической секции - Google Patents

Система и способ для автоматического рапределения данных по уровням в журналируемой файловой системе на основе интенсивности считывания логической секции Download PDF

Info

Publication number
RU2019134840A
RU2019134840A RU2019134840A RU2019134840A RU2019134840A RU 2019134840 A RU2019134840 A RU 2019134840A RU 2019134840 A RU2019134840 A RU 2019134840A RU 2019134840 A RU2019134840 A RU 2019134840A RU 2019134840 A RU2019134840 A RU 2019134840A
Authority
RU
Russia
Prior art keywords
physical data
section
level
sections
storage
Prior art date
Application number
RU2019134840A
Other languages
English (en)
Inventor
Николай ДАЛМАТОВ
Кирилл БЕЗУГЛЫЙ
Original Assignee
ИЭмСи АйПи ХОЛДИНГ КОМПАНИ, ЛЛС
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ИЭмСи АйПи ХОЛДИНГ КОМПАНИ, ЛЛС filed Critical ИЭмСи АйПи ХОЛДИНГ КОМПАНИ, ЛЛС
Priority to RU2019134840A priority Critical patent/RU2019134840A/ru
Priority to US16/882,116 priority patent/US11144222B2/en
Publication of RU2019134840A publication Critical patent/RU2019134840A/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Claims (44)

1. Компьютерно-реализуемый способ, выполняемый на вычислительном устройстве, содержащий этапы, на которых:
разделяют адресное пространство объекта хранения журналируемой файловой системы на множество секций, причем журналируемая файловая система включает в себя множество объектов хранения на множестве уровней хранения;
выделяют один или более физических блоков данных объекта хранения каждой из множества секций;
определяют интенсивность считывания, ассоциированную с по меньшей мере одной секцией из множества секций;
определяют интенсивность считывания, ассоциированную с каждым физическим блоком данных из одного или более физических блоков данных, выделенных этой по меньшей мере одной секции; и
перераспределяют уровень хранения по меньшей мере одного физического блока данных из одного или более физических блоков данных, выделенных упомянутой по меньшей мере одной секции, между множеством уровней хранения на основе, по меньшей мере отчасти, интенсивности считывания, ассоциированной с каждым физическим блоком данных из одного или более физических блоков данных, выделенных упомянутой по меньшей мере одной секции.
2. Компьютерно-реализуемый способ по п. 1, в котором разделение адресного пространства объекта хранения на множество секций включает в себя один или более этапов, на которых:
выравнивают размер каждой секции из множества секций с размером физического блока данных, и
динамически выравнивают размер каждой секции из множества секций на основе, по меньшей мере отчасти, порогового количества секций на каждый объект хранения.
3. Компьютерно-реализуемый способ по п. 1, в котором упомянутое определение интенсивности считывания, ассоциированной с по меньшей мере одной секцией из множества секций, включает в себя этап, на котором отслеживают одну или более операций считывания I/O, выполненных на этой по меньшей мере одной секции.
4. Компьютерно-реализуемый способ по п. 1, в котором упомянутое определение интенсивности считывания, ассоциированной с каждым физическим блоком данных из одного или более физических блоков данных, выделенных по меньшей мере одной секции, включает в себя этап, на котором делят интенсивность считывания, ассоциированную с упомянутой по меньшей мере одной секцией, на количество физических блоков данных, выделенных этой по меньшей мере одной секции.
5. Компьютерно-реализуемый способ по п. 1, в котором упомянутое перераспределение уровня хранения по меньшей мере одного физического блока данных из одного или более физических блоков данных, выделенных по меньшей мере одной секции, включает в себя этап, на котором перераспределяют уровень хранения сегмента физических блоков данных объекта хранения.
6. Компьютерно-реализуемый способ по п. 5, в котором упомянутое перераспределение уровня хранения сегмента физических блоков данных включает в себя один или более этапов, на которых:
понижают уровень сегмента физических блоков данных с первого уровня до второго уровня, и
повышают уровень сегмента физических блоков данных со второго уровня до первого уровня.
7. Компьютерно-реализуемый способ по п. 6, в котором первый уровень включает в себя множество твердотельных дисков, и второй уровень включает в себя множество жестких дисков.
8. Компьютерный программный продукт, находящийся на долговременном машиночитаемом носителе, на котором сохранено множество инструкций, которые при их исполнении процессором предписывают процессору выполнять операции, содержащие:
разделение адресного пространства объекта хранения журналируемой файловой системы на множество секций, причем журналируемая файловая система включает в себя множество объектов хранения на множестве уровней хранения;
выделение одного или более физических блоков данных объекта хранения каждой из множества секций;
определение интенсивности считывания, ассоциированной с по меньшей мере одной секцией из множества секций;
определение интенсивности считывания, ассоциированной с каждым физическим блоком данных из одного или более физических блоков данных, выделенных этой по меньшей мере одной секции; и
перераспределение уровня хранения по меньшей мере одного физического блока данных из одного или более физических блоков данных, выделенных упомянутой по меньшей мере одной секции, между множеством уровней хранения на основе, по меньшей мере отчасти, интенсивности считывания, ассоциированной с каждым физическим блоком данных из одного или более физических блоков данных, выделенных упомянутой по меньшей мере одной секции.
9. Компьютерный программный продукт по п. 8, в котором упомянутое разделение адресного пространства объекта хранения на множество секций включает в себя одну или более из следующих операций:
выравнивание размера каждой секции из множества секций с размером физического блока данных, и
динамическое выравнивание размера каждой секции из множества секций на основе, по меньшей мере отчасти, порогового количество секций на каждый объект хранения.
10. Компьютерный программный продукт по п. 8, в котором упомянутое определение интенсивности считывания, ассоциированной с по меньшей мере одной секцией из множества секций, включает в себя отслеживание одной или более операций считывания I/O, выполненных на этой по меньшей мере одной секции.
11. Компьютерный программный продукт по п. 8, в котором упомянутое определение интенсивности считывания, ассоциированной с каждым физическим блоком данных из одного или более физических блоков данных, выделенных по меньшей мере одной секции, включает в себя деление интенсивности считывания, ассоциированной с упомянутой по меньшей мере одной секцией, на количество физических блоков данных, выделенных этой по меньшей мере одной секции.
12. Компьютерный программный продукт по п. 8, в котором упомянутое перераспределение уровня хранения по меньшей мере одного физического блока данных из одного или более физических блоков данных, выделенных по меньшей мере одной секции, включает в себя перераспределение уровня хранения сегмента физических блоков данных объекта хранения.
13. Компьютерный программный продукт по п. 12, в котором упомянутое перераспределение уровня хранения сегмента физических блоков данных включает в себя одну или более из следующих операций:
понижение уровня сегмента физических блоков данных с первого уровня до второго уровня, и
повышение уровня сегмента физических блоков данных со второго уровня до первого уровня.
14. Компьютерный программный продукт по п. 13, при этом первый уровень включает в себя множество твердотельных дисков, и второй уровень включает в себя множество жестких дисков.
15. Вычислительная система, содержащая:
архитектуру памяти; и
процессор, выполненный с возможностью разделять адресное пространство объекта хранения журналируемой файловой системы на множество секций, причем журналируемая файловая система включает в себя множество объектов хранения на множестве уровней хранения, процессор дополнительно выполнен с возможностью выделять один или более физических блоков данных объекта хранения каждой из множества секций, процессор дополнительно выполнен с возможностью определять интенсивность считывания, ассоциированную с по меньшей мере одной секцией из множества секций, процессор дополнительно выполнен с возможностью определять интенсивность считывания, ассоциированную с каждым физическим блоком данных из одного или более физических блоков данных, выделенных этой по меньшей мере одной секции, и процессор дополнительно выполнен с возможностью перераспределять уровень хранения по меньшей мере одного физического блока данных из одного или более физических блоков данных, выделенных упомянутой по меньшей мере одной секции, между множеством уровней хранения на основе, по меньшей мере отчасти, интенсивности считывания, ассоциированной с каждым физическим блоком данных из одного или более физических блоков данных, выделенных упомянутой по меньшей мере одной секции.
16. Вычислительная система по п. 15, в которой упомянутое разделение адресного пространства объекта хранения на множество секций включает в себя одну или более из следующих операций:
выравнивание размера каждой секции из множества секций с размером физического блока данных, и
динамическое выравнивание размера каждой секции из множества секций на основе, по меньшей мере отчасти, порогового количество секций на каждый объект хранения.
17. Вычислительная система по п. 15, в которой упомянутое определение интенсивности считывания, ассоциированной с по меньшей мере одной секцией из множества секций, включает в себя отслеживание одной или более операций считывания I/O, выполненных на этой по меньшей мере одной секции.
18. Вычислительная система по п. 15, в которой упомянутое определение интенсивности считывания, ассоциированной с каждым физическим блоком данных из одного или более физических блоков данных, выделенных по меньшей мере одной секции, включает в себя деление интенсивности считывания, ассоциированной с упомянутой по меньшей мере одной секцией, на количество физических блоков данных, выделенных этой по меньшей мере одной секции.
19. Вычислительная система по п. 15, в которой упомянутое перераспределение уровня хранения по меньшей мере одного физического блока данных из одного или более физических блоков данных, выделенных по меньшей мере одной секции, включает в себя перераспределение уровня хранения сегмента физических блоков данных объекта хранения.
20. Вычислительная система по п. 19, в которой упомянутое перераспределение уровня хранения сегмента физических блоков данных включает в себя одну или более из следующих операций:
понижение уровня сегмента физических блоков данных с первого уровня до второго уровня, и
повышение уровня сегмента физических блоков данных со второго уровня до первого уровня.
RU2019134840A 2019-10-30 2019-10-30 Система и способ для автоматического рапределения данных по уровням в журналируемой файловой системе на основе интенсивности считывания логической секции RU2019134840A (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2019134840A RU2019134840A (ru) 2019-10-30 2019-10-30 Система и способ для автоматического рапределения данных по уровням в журналируемой файловой системе на основе интенсивности считывания логической секции
US16/882,116 US11144222B2 (en) 2019-10-30 2020-05-22 System and method for auto-tiering data in a log-structured file system based on logical slice read temperature

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019134840A RU2019134840A (ru) 2019-10-30 2019-10-30 Система и способ для автоматического рапределения данных по уровням в журналируемой файловой системе на основе интенсивности считывания логической секции

Publications (1)

Publication Number Publication Date
RU2019134840A true RU2019134840A (ru) 2021-04-30

Family

ID=75687276

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019134840A RU2019134840A (ru) 2019-10-30 2019-10-30 Система и способ для автоматического рапределения данных по уровням в журналируемой файловой системе на основе интенсивности считывания логической секции

Country Status (2)

Country Link
US (1) US11144222B2 (ru)
RU (1) RU2019134840A (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748852B (zh) 2019-10-30 2024-05-24 伊姆西Ip控股有限责任公司 用于管理盘的方法、电子设备和计算机程序产品
CN112748853B (zh) 2019-10-30 2024-04-16 伊姆西Ip控股有限责任公司 用于管理盘的方法、设备和计算机可读介质
US11734124B2 (en) * 2021-01-15 2023-08-22 EMC IP Holding Company LLC Rule-based re-tiering of incremental backup data stored on a cloud-based object storage

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274941B1 (en) * 2009-06-30 2016-03-01 Emc Corporation Facilitating data migration between tiers
US9710199B2 (en) * 2014-11-07 2017-07-18 International Business Machines Corporation Non-volatile memory data storage with low read amplification
US9959054B1 (en) * 2015-12-30 2018-05-01 EMC IP Holding Company LLC Log cleaning and tiering in a log-based data storage system

Also Published As

Publication number Publication date
US11144222B2 (en) 2021-10-12
US20210132830A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
US9292218B2 (en) Method and apparatus to manage object based tier
RU2019134840A (ru) Система и способ для автоматического рапределения данных по уровням в журналируемой файловой системе на основе интенсивности считывания логической секции
US9513822B2 (en) Unmap storage space
JP6311195B2 (ja) ストレージデバイスによってデータを記憶するための方法およびストレージデバイス
CN111194438B (zh) 扩展ssd长久性
US8433844B2 (en) Method for managing a memory device having multiple channels and multiple ways, and associated memory device and controller thereof
US20140359226A1 (en) Allocation of cache to storage volumes
EP2378410A2 (en) Method and apparatus to manage tier information
US10073771B2 (en) Data storage method and system thereof
US20150277543A1 (en) Memory power management and data consolidation
US10860260B2 (en) Method, apparatus and computer program product for managing storage system
CN110688256B (zh) 一种元数据上电恢复方法、装置、电子设备及存储介质
US11210005B2 (en) Unbalanced plane management method, associated data storage device and controller thereof
US10929033B2 (en) Allocating variable media types of memory devices in a memory system
US8683120B2 (en) Method and apparatus to allocate area to virtual volume
KR101103061B1 (ko) 반도체 스토리지 시스템 및 그 제어 방법
TWI435216B (zh) 用來進行超區塊管理之方法以及記憶裝置及控制器
US20240028261A1 (en) Stack management in memory systems
US8468303B2 (en) Method and apparatus to allocate area to virtual volume based on object access type
US20120054407A1 (en) Method and apparatus to manage object-based tiers
US11226738B2 (en) Electronic device and data compression method thereof
US20170336987A1 (en) Method, system, and computer-readable recording medium for automated storage tiering
JP2021125267A5 (ru)
US9766977B2 (en) System and method for improving read performance of a distributed parity RAID solution
US11422931B2 (en) Method and system for facilitating a physically isolated storage unit for multi-tenancy virtualization