RU2015120595A - Динамический выбор уровней хранилища - Google Patents

Динамический выбор уровней хранилища Download PDF

Info

Publication number
RU2015120595A
RU2015120595A RU2015120595A RU2015120595A RU2015120595A RU 2015120595 A RU2015120595 A RU 2015120595A RU 2015120595 A RU2015120595 A RU 2015120595A RU 2015120595 A RU2015120595 A RU 2015120595A RU 2015120595 A RU2015120595 A RU 2015120595A
Authority
RU
Russia
Prior art keywords
storage
computer
location
implemented method
request
Prior art date
Application number
RU2015120595A
Other languages
English (en)
Other versions
RU2616168C2 (ru
Inventor
Натан Бартоломью ТОМАС
Original Assignee
Амазон Текнолоджиз, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Амазон Текнолоджиз, Инк. filed Critical Амазон Текнолоджиз, Инк.
Publication of RU2015120595A publication Critical patent/RU2015120595A/ru
Application granted granted Critical
Publication of RU2616168C2 publication Critical patent/RU2616168C2/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)
  • Debugging And Monitoring (AREA)

Claims (24)

1. Компьютерно-реализуемый способ динамического выбора уровня хранилища из множества уровней хранилища с целью сохранения объекта, при этом способ содержит выполнение компьютерно-реализуемых операций, согласно которым в операционной системе принимают обобщенный запрос сохранения объекта;
в ответ на прием данного запроса, выбирают при помощи операционной системы из множества уровней хранилища уровень хранилища для сохранения объекта, на основе одного или более показателей расположения объекта; и
обеспечивают сохранение объекта на выбранном уровне хранилища.
2. Компьютерно-реализуемый способ по п. 1, в котором упомянутое множество уровней хранилища содержит локальный уровень хранилища, локальный сетевой уровень хранилища и удаленный сетевой уровень хранилища.
3. Компьютерно-реализуемый способ по п. 2, в котором упомянутый выбор уровня хранилища для сохранения объекта основывается на показателях расположения объекта и показателе оптимизации.
4. Компьютерно-реализуемый способ по п. 3, в котором упомянутый запрос сохранения объекта дополнительно содержит один или более из показателей расположения объекта.
5. Компьютерно-реализуемый способ по п. 3, дополнительно содержащий этапы, на которых:
сохраняют данные, идентифицирующие объект и уровень хранилища, используемый для хранения объекта;
принимают запрос получения объекта; и
в ответ на прием запроса получения объекта, используют сохраненные данные для идентификации уровня хранилища, используемого для хранения объекта, получают объект из идентифицированного уровня хранилища и предоставляют полученный объект в ответ на запрос получения объекта.
6. Компьютерно-реализуемый способ по п. 3, в котором операционная система исполняется на экземпляре виртуальной
машины.
7. Компьютерно-реализуемый способ по п. 6, в котором экземпляр виртуальной машины исполняется в распределенной среде исполнения.
8. Компьютерно-реализуемый способ по п. 1, в котором показатели расположения объекта содержат одно или более из типа объекта, размера объекта, атрибутов файла объекта, требований безопасности объекта, требований совместного использования объекта, данных, описывающих статистику использования объекта, сжимаемости объекта, затрат на хранение объекта на уровне хранилища, задержки при сохранении объекта или получении объекта из уровня хранилища и доступной пропускной способности по направлению к уровню хранилища.
9. Компьютерно-реализуемый способ динамического выбора уровня хранилища с целью сохранения объекта, при этом способ включает выполнение компьютерно-реализуемых операций, согласно которым:
посредством операционной системы принимают обобщенный запрос сохранения объекта;
в ответ на прием данного запроса, при помощи операционной системы выбирают локальное местоположение хранения или сетевое местоположение хранения, подходящее для сохранения объекта, на основе одного или более показателей расположения объекта; и
обеспечивают сохранение объекта в выбранном местоположении хранения.
10. Компьютерно-реализуемый способ по п. 9, в котором обобщенный запрос представляет собой запрос, не содержащий указание местоположения для сохранения объекта.
11. Компьютерно-реализуемый способ по п. 9, в котором локальное местоположение хранения содержит одну или более систем памяти и устройств массовой памяти компьютера, на котором исполняется операционная система, принимающая обобщенный запрос сохранения объекта.
12. Компьютерно-реализуемый способ по п. 9, в котором сетевое местоположение хранения содержит службу хранения, доступную для компьютера при помощи веб-службы.
13. Компьютерно-реализуемый способ по п. 9, в котором один или более из показателей расположения объекта генерируются в результате контроля обмена данными с множеством сетевых уровней хранилища.
14. Компьютерно-реализуемый способ по п. 9, в котором один или более из показателей расположения объекта получены от служб хранения.
15. Компьютерно-реализуемый способ по п. 9, в котором показатели расположения объекта содержат одно или более из типа объекта, размера объекта, атрибутов файла объекта, требований безопасности объекта, требований совместного использования объекта, данных, описывающих статистику использования объекта, сжимаемости объекта, затрат на хранение объекта в местоположении хранения, задержки при сохранении объекта или получении объекта из местоположения хранения и доступной пропускной способности по направлению к местоположению хранения.
RU2015120595A 2012-11-13 2013-11-12 Динамический выбор уровней хранилища RU2616168C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/675,718 US9460099B2 (en) 2012-11-13 2012-11-13 Dynamic selection of storage tiers
US13/675,718 2012-11-13
PCT/US2013/069669 WO2014078303A2 (en) 2012-11-13 2013-11-12 Dynamic selection of storage tiers

Publications (2)

Publication Number Publication Date
RU2015120595A true RU2015120595A (ru) 2017-01-10
RU2616168C2 RU2616168C2 (ru) 2017-04-12

Family

ID=50682866

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015120595A RU2616168C2 (ru) 2012-11-13 2013-11-12 Динамический выбор уровней хранилища

Country Status (11)

Country Link
US (2) US9460099B2 (ru)
EP (1) EP2920701B1 (ru)
JP (2) JP2016500183A (ru)
CN (1) CN104781795B (ru)
AU (1) AU2013345015B2 (ru)
BR (1) BR112015010723B1 (ru)
CA (1) CA2890720C (ru)
IN (1) IN2015DN03793A (ru)
RU (1) RU2616168C2 (ru)
SG (1) SG11201503604SA (ru)
WO (1) WO2014078303A2 (ru)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460099B2 (en) 2012-11-13 2016-10-04 Amazon Technologies, Inc. Dynamic selection of storage tiers
US10120891B2 (en) * 2013-02-11 2018-11-06 International Business Machines Corporation Data placement optimization
US10417284B2 (en) * 2013-03-14 2019-09-17 Microsoft Technology Licensing, Llc Available, scalable, and tunable document-oriented storage services
EP2976702A1 (en) * 2013-03-18 2016-01-27 GE Intelligent Platforms, Inc. Apparatus and method for optimizing time series data storage based upon prioritization
US10031916B2 (en) * 2014-06-18 2018-07-24 Dell Products L.P. Methods and systems for virtualizing and managing cloud storage sources
US10686905B1 (en) * 2014-09-10 2020-06-16 Amazon Technologies, Inc. Network-aware caching
US10621148B1 (en) * 2015-06-30 2020-04-14 EMC IP Holding Company LLC Maintaining multiple object stores in a distributed file system
US10133759B1 (en) * 2015-09-15 2018-11-20 Amazon Technologies, Inc. System for determining storage or output of data objects
US10223368B2 (en) 2015-12-17 2019-03-05 International Business Machines Corporation Predictive object tiering based on object metadata
US10365996B2 (en) * 2016-03-24 2019-07-30 Advanced Micro Devices, Inc. Performance-aware and reliability-aware data placement for n-level heterogeneous memory systems
US11275762B2 (en) 2017-03-20 2022-03-15 Samsung Electronics Co., Ltd. System and method for hybrid data reliability for object storage devices
US10795760B2 (en) * 2017-03-20 2020-10-06 Samsung Electronics Co., Ltd. Key value SSD
US11265585B2 (en) 2017-09-15 2022-03-01 T-Mobile Usa, Inc. Tiered digital content recording
US10866750B2 (en) 2018-01-10 2020-12-15 EMC IP Holding Company LLC System and method for predicting data storage characteristics
US10671311B1 (en) 2018-01-10 2020-06-02 EMC IP Holding Company LLC System and method for dynamic data migration
US10757188B1 (en) * 2018-01-10 2020-08-25 EMC IP Holding Company LLC System and method for efficient data access for restores
US11082492B2 (en) 2018-01-10 2021-08-03 EMC IP Holding Company LLC System and method for dynamic backup sessions
US10542087B1 (en) 2018-01-10 2020-01-21 EMC IP Holding Company LLC System and method for managing storage tier migration
US10834190B2 (en) 2018-01-18 2020-11-10 Portworx, Inc. Provisioning of clustered containerized applications
US10572349B2 (en) 2018-04-27 2020-02-25 EMC IP Holding Company LLC System and method for backup in a virtualized environment
US10503428B2 (en) 2018-04-27 2019-12-10 EMC IP Holding Company LLC System and method for concurrent multipoint backup
US10698719B2 (en) 2018-04-27 2020-06-30 EMC IP Holding Company LLC System and method for virtual machine restoration
TWI689186B (zh) * 2019-04-09 2020-03-21 聚騰科技股份有限公司 資料傳輸及接收方法
US11269517B2 (en) * 2019-04-26 2022-03-08 Hewlett Packard Enterprise Development Lp Cost-aware storage allocation of deduplicated objects
US11734093B2 (en) * 2020-06-23 2023-08-22 Samsung Electronics Co., Ltd. Storage device block-level failure prediction-based data placement
US11848990B2 (en) * 2021-10-15 2023-12-19 Siden, Inc. Method and system for distributing and storing content using local clouds and network clouds

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111060B2 (en) * 2000-03-14 2006-09-19 Aep Networks, Inc. Apparatus and accompanying methods for providing, through a centralized server site, a secure, cost-effective, web-enabled, integrated virtual office environment remotely accessible through a network-connected web browser
JP2002073383A (ja) 2000-08-31 2002-03-12 Matsushita Electric Ind Co Ltd 情報サービスの方法
US6839815B2 (en) * 2001-05-07 2005-01-04 Hitachi, Ltd. System and method for storage on demand service in a global SAN environment
JP4144727B2 (ja) * 2001-07-02 2008-09-03 株式会社日立製作所 情報処理システム、記憶領域提供方法、およびデータ保持管理装置
US7249227B1 (en) * 2003-12-29 2007-07-24 Network Appliance, Inc. System and method for zero copy block protocol write operations
PL1799230T3 (pl) * 2004-08-27 2013-05-31 Cyclacel Ltd Purynowe i pirymidynowe inhibitory CDK i ich zastosowanie do leczenia chorób autoimmunologicznych
KR101311123B1 (ko) 2005-09-09 2013-09-25 마이크로소프트 코포레이션 문서의 ｘｍｌ 데이터 저장소에 대한 프로그램가능성
US7657550B2 (en) 2005-11-28 2010-02-02 Commvault Systems, Inc. User interfaces and methods for managing data in a metabase
JP4749255B2 (ja) * 2006-07-03 2011-08-17 株式会社日立製作所 複数種類の記憶デバイスを備えたストレージシステムの制御装置
US20090132621A1 (en) * 2006-07-28 2009-05-21 Craig Jensen Selecting storage location for file storage based on storage longevity and speed
US7546486B2 (en) 2006-08-28 2009-06-09 Bycast Inc. Scalable distributed object management in a distributed fixed content storage system
US10394849B2 (en) 2006-09-18 2019-08-27 EMC IP Holding Company LLC Cascaded discovery of information environment
US20080140944A1 (en) * 2006-12-12 2008-06-12 Hitachi, Ltd. Method and apparatus for storage resource management in plural data centers
US8001327B2 (en) 2007-01-19 2011-08-16 Hitachi, Ltd. Method and apparatus for managing placement of data in a tiered storage system
JP2008210094A (ja) * 2007-02-26 2008-09-11 Yamaha Corp キャッシュ制御装置
US8161240B2 (en) * 2007-10-10 2012-04-17 Apple Inc. Cache management
US8170990B2 (en) 2008-05-30 2012-05-01 Hitachi, Ltd. Integrated remote replication in hierarchical storage systems
US8307177B2 (en) 2008-09-05 2012-11-06 Commvault Systems, Inc. Systems and methods for management of virtualization data
US8442983B2 (en) * 2009-12-31 2013-05-14 Commvault Systems, Inc. Asynchronous methods of data classification using change journals and other data structures
US8230192B2 (en) 2010-02-05 2012-07-24 Lsi Corporation System and method for QoS-based storage tiering and migration technique
US8719362B2 (en) * 2010-09-09 2014-05-06 Riverbed Technology, Inc. Tiered storage interface
US8671263B2 (en) 2011-02-03 2014-03-11 Lsi Corporation Implementing optimal storage tier configurations for a workload in a dynamic storage tiering system
WO2012127988A1 (ja) 2011-03-18 2012-09-27 日本電気株式会社 情報処理装置、分散ファイルシステム、クライアント装置、情報処理方法、および、コンピュータ・プログラム
US8578096B2 (en) 2011-04-08 2013-11-05 Symantec Corporation Policy for storing data objects in a multi-tier storage system
US9460099B2 (en) 2012-11-13 2016-10-04 Amazon Technologies, Inc. Dynamic selection of storage tiers

Also Published As

Publication number Publication date
US20140136782A1 (en) 2014-05-15
AU2013345015A1 (en) 2015-05-21
EP2920701A2 (en) 2015-09-23
JP2016500183A (ja) 2016-01-07
SG11201503604SA (en) 2015-06-29
EP2920701B1 (en) 2020-07-22
WO2014078303A3 (en) 2014-07-10
CA2890720C (en) 2018-09-25
CN104781795A (zh) 2015-07-15
CA2890720A1 (en) 2014-05-22
BR112015010723B1 (pt) 2021-11-23
CN104781795B (zh) 2018-03-16
WO2014078303A2 (en) 2014-05-22
EP2920701A4 (en) 2016-07-20
US10642491B2 (en) 2020-05-05
US9460099B2 (en) 2016-10-04
AU2013345015B2 (en) 2016-09-08
US20180314429A1 (en) 2018-11-01
IN2015DN03793A (ru) 2015-10-02
JP6423468B2 (ja) 2018-11-14
RU2616168C2 (ru) 2017-04-12
BR112015010723A2 (pt) 2017-07-11
JP2017130211A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
RU2015120595A (ru) Динамический выбор уровней хранилища
CN104090847B (zh) 一种固态存储设备的地址分配方法
US20150196841A1 (en) Load balancing system and method for rendering service in cloud gaming environment
ES2553428T3 (es) Método, dispositivo y sistema de procesamiento de contenidos
US9736043B2 (en) Optimization of resource utilization in a collection of devices
RU2016105477A (ru) Управление ресурсами для доменов высокопроизводительного межсоединения периферийных компонентов
US11275721B2 (en) Adaptive table placement in NUMA architectures
CN102831088A (zh) 基于混合存储器的数据迁移方法和装置
JP5466257B2 (ja) 表検索方法
US10002075B1 (en) Managing memory resources in a network environment in order to handle querying of logical data structures
RU2016134457A (ru) Компьютер, устройство управления и способ обработки данных
CN102917077A (zh) 云计算系统中的资源分配方法
US20140282540A1 (en) Performant host selection for virtualization centers
RU2015122687A (ru) Выбор и управление источником получения контента
KR101356033B1 (ko) 하이브리드 주메모리 시스템 및 이를 위한 태스크 스케줄링 방법
JP2014526729A5 (ru)
CN105302830B (zh) 一种地图瓦片缓存方法及装置
GB2508747A (en) Dynamic network adapter memory resizing and bounding for virtual function translation entry storage
JP2012523055A5 (ru)
CN103019861A (zh) 虚拟机分配方法及装置
CN105094981B (zh) 一种数据处理的方法及装置
JP2015515076A5 (ru)
CN102843426A (zh) 基于智能父节点的Web缓存资源共享系统和方法
CN103236989A (zh) 一种内容分发网络中的缓存控制方法、设备及系统
CN103778050A (zh) 一种数据库服务器高可用性能检测系统