RU2697961C1 - Система и способ оценки деградации устройства хранения данных и обеспечения сохранности наиболее важных данных - Google Patents

Система и способ оценки деградации устройства хранения данных и обеспечения сохранности наиболее важных данных Download PDF

Info

Publication number
RU2697961C1
RU2697961C1 RU2018111481A RU2018111481A RU2697961C1 RU 2697961 C1 RU2697961 C1 RU 2697961C1 RU 2018111481 A RU2018111481 A RU 2018111481A RU 2018111481 A RU2018111481 A RU 2018111481A RU 2697961 C1 RU2697961 C1 RU 2697961C1
Authority
RU
Russia
Prior art keywords
data
storage device
information
data storage
sectors
Prior art date
Application number
RU2018111481A
Other languages
English (en)
Inventor
Александр Александрович Романенко
Original Assignee
Акционерное общество "Лаборатория Касперского"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Акционерное общество "Лаборатория Касперского" filed Critical Акционерное общество "Лаборатория Касперского"
Priority to RU2018111481A priority Critical patent/RU2697961C1/ru
Priority to US16/101,847 priority patent/US10783042B2/en
Priority to EP18193512.3A priority patent/EP3547139B1/en
Priority to CN201811072976.4A priority patent/CN110321067B/zh
Application granted granted Critical
Publication of RU2697961C1 publication Critical patent/RU2697961C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/008—Reliability or availability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/16—Protection against loss of memory contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88—Monitoring involving counting

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в предотвращении потери данных. Представлен способ сохранения данных, хранимых на устройстве хранения данных, в котором производят оценку деградации устройства хранения данных, во время которой определяют скорость деградации и вероятность выхода из строя устройства хранения данных, причем для указанной оценки получают информацию о состоянии устройства хранения данных от соответствующих источников информации; при превышении заданного порога указанной вероятности выявляют поврежденные сектора устройства хранения данных с помощью сканирования поверхности устройства хранения данных; формируют карту расположения данных и определяют данные, хранимые в секторах смежных с поврежденными секторами, устройства хранения данных; определяют ценность хранимых данных для пользователя по крайней мере в секторах, близких к поврежденным секторам, на основании анализа по крайней мере метаданных указанных данных; выносят решение о возможной потере данных и определяют вариант резервного копирования для сохранения данных в зависимости от ценности указанных данных и скорости деградации устройства хранения данных; производят резервное копирование данных в зависимости от определенного варианта резервного копирования. 2 н. и 21 з.п. ф-лы, 3 ил.

Description

Область техники
Изобретение относится к средствам компьютерной техники, а более конкретно к средствам выявления возможного выхода из строя аппаратного компонента компьютера, такого как устройство хранения данных, с возможностью обеспечения сохранности данных, которые для пользователя и компьютерной системы являются наиболее важными.
Уровень техники
Компьютерные системы в значительной степени зависят от устройств хранения данных (например, жестких магнитных дисков), которые хранят различные данные, в том числе файлы операционных систем, приложения, системные данные, пользовательские данные и т.д. Для бесперебойного функционирования вычислительной среды крайне важно, чтобы устройства хранения данных функционировали должным образом, но реальность такова, что устройства хранения данных со временем сбоят или выходят из строя (например, из-за плохих секторов или ошибок файловой системы) и зачастую внезапно. В связи с этим появляется проблема, заключающаяся в том, что неожиданный выход из строя устройства хранения данных (жесткого диска) может привести к повреждению или и/полной потере хранимых данных/файлов, содержащих ценную информацию пользователя. Также сбой жесткого диска может привести к невозможности загрузки компьютера (например, из-за повреждения/потери критических файлов для загрузки операционной системы (ОС)). При этом сбой жесткого диска часто может оставаться необнаруженным в течение длительного времени (например, до тех пор, пока не будет обнаружен поврежденный файл, вызванный сбоем жесткого диска).
Одним из известных решений является использование компьютерных программ резервного копирования и/или восстановления данных, которые могут восстанавливать поврежденные файлы или восстанавливать данные на всем жестком диске. Тем не менее, эти решения страдают одним или несколькими из следующих недостатков: во-первых, резервная копия поврежденного файла может быть слишком старой, когда поврежденный файл не существует в резервной копии или поврежденный файл имеет старую версию, которая непригодна для использования. Во-вторых, само восстановление может привести к потере еще каких-либо данных. В результате чего пользователь не будет знать, какие файлы повреждены, а какие восстановлены. В-третьих, резервное копирование может не захватить поврежденный файл, например, если поврежденный файл был исключен или заблокирован при выполнении резервного копирования. В-четвертых, если произошел сбой жесткого диска так, что не загружается операционная система на компьютере, пользователь может вообще ничего не восстановить.
Таким образом, внезапный выход из строя жесткого диска (англ. аббр. HDD) компьютера приводит к потере пользователями различных данных или отсутствия возможности загрузки операционной системы, что также приводит к потери данных. Стоит отметить, что аналогичная проблема может стоять и с такими аппаратными компонентами компьютера или их частями как твердотельный диск (англ. аббр. SSD), оперативное запоминающее устройство (англ. аббр. RAM), центральный процессор (англ. аббр. CPU) и видеокарты. Поэтому стоит задача о своевременном информировании пользователя о возможном выходе из строя какого-либо аппаратного компонента с последующим предоставлением возможности сохранения необходимых данных пользователя или их защите от потери.
Соответственно, необходимо усовершенствование существующих методов и систем сохранности данных путем создания решения о своевременном предупреждении потери данных из-за возможного выхода из строя жесткого диска или других компонентов компьютера. Кроме того, еще одной актуальной задачей при решении указанной является возможность приоритизации данных (файлов) для обеспечения сохранности наиболее важных данных в случае невозможности сохранности всех данных из-за отсутствия необходимого времени или отсутствия надобности сохранности данных с наименьшим приоритетом. Настоящее изобретение позволяет решить указанные недостатки и проблемы.
Раскрытие изобретения
Настоящее изобретение было выполнено с учетом описанных выше проблем, и цель настоящего изобретения состоит в том, чтобы предупредить потерю наиболее важных данных для пользователя, в случае невозможности сохранности всех данных, с последующим предоставлением наиболее предпочтительных вариантов сохранности данных от возможной потери, в том числе путем их сохранности на другой носитель (устройство хранения данных).
Согласно способу и системе, раскрытым здесь, производится своевременная диагностика устройства хранения данных (далее также - жесткий диск) и последующее своевременное информирование пользователя о возможной потере соответствующих данных (файлов) и предоставление выбора в процедурах защиты от возможной потери данных, при этом присутствует возможность проведения процедур по сохранности определенных данных в автоматическом режиме.
Технический результат заключается в предотвращении потери данных из-за возможного выхода из строя устройства хранения данных путем оценки деградации устройства хранения данных с последующим выявлением поврежденных секторов устройства хранения данных, определение наиболее ценных данных и их резервного копирования.
Другой технический результат настоящего изобретения заключается в сохранении наиболее ценных данных из-за возможного выхода из строя устройства хранения данных путем формирования карты расположения данных, определения ценности данных и сохранения данных согласно определенной ценности данных.
В качестве одного варианта исполнения предлагается способ сохранения данных, хранимых на устройстве хранения данных, при этом способ содержит этапы, на которых: производят оценку деградации устройства хранения данных, во время которой определяют скорость деградации и вероятность выхода из строя устройства хранения данных, причем для указанной оценки получают информацию о состоянии устройства хранения данных от соответствующих источников информации; при превышении заданного порога указанной вероятности выявляют поврежденные сектора устройства хранения данных с помощью сканирования поверхности устройства хранения данных; формируют карту расположения данных и определяют данные, хранимые в секторах смежных с поврежденными секторами, устройства хранения данных; определяют ценность хранимых данных для пользователя по крайней мере в секторах близких к поврежденным секторам на основании анализа по крайней мере метаданных указанных данных; выносят решение о возможной потере данных и определяют вариант резервного копирования для сохранения данных в зависимости от ценности указанных данных и скорости деградации устройства хранения данных; производят резервное копирование данных в зависимости от определенного варианта резервного копирования.
В другом варианте исполнения способа дополнительно формируют карту выхода из строя секторов в масштабах времени для определения частей устройства хранения данных наиболее сильно подверженных выходу из строя и на основании указанной карты дополнительно устанавливают наиболее высокий приоритет для данных из этих частей устройства хранения данных.
В еще одном варианте исполнения способа формирование карты расположения данных на устройстве хранения данных основано на формировании связи между физическим и логическим представлением данных на устройстве хранения данных.
В другом варианте исполнения способа формирование указанной связи заключается в определении логического размещения данных на устройстве хранения данных с помощью анализа файловой системы и определении физического размещения данных на указанном устройстве с помощью взаимодействия со средством диагностики.
В еще одном варианте исполнения способа источниками информации являются по крайней мере одно из средств: компьютерное устройство, содержащее указанное устройство хранения данных, средство диагностики и сервисная программа, позволяющая собирать и просмотреть полную информацию о состоянии, работе и основных характеристиках устройства хранения данных.
В другом варианте исполнения способа под сервисной программой понимаются такие программы, которые позволяют взаимодействовать со S.M.A.R.T. для получения сведений о параметрах, позволяющих определить деградацию устройства хранения и параметрах, позволяющих определить наработку и производительность устройства хранения данных.
В еще одном варианте исполнения способа в качестве устройства хранения данный понимается по крайней мере такие средства как накопитель на жестком диске, полупроводниковый диск и флэш-накопитель.
В другом варианте исполнения способа дополнительно источниками информации являются внешний сервер, хранящий информацию об указанном устройстве хранения данных.
В еще одном варианте исполнения способа получаемая информация из источников информации о состоянии устройства хранения данных включает по меньшей мере такую информацию как информация о производительности и об основных параметрах указанного устройства.
В другом варианте исполнения способа получаемая информация из источников информации о состоянии устройства хранения данных по крайней мере содержат одно из сведений: сведения о параметрах устройства хранения данных от атрибутов S.M.A.R.T, которые считываются с определенных счетчиков S.M.A.R.T.; информацию о температурных показателях устройства хранения данных; информацию о результатах предыдущих оценок деградации устройства хранения данных; исторические сведения о работе устройства хранения данных; сведения об интенсивности использования устройства хранения данных.
В еще одном варианте исполнения способа резервное копирование производится по крайней мере одним из подходов: резервное копирование «во временное» облачное хранилище; резервное копирование на локальное устройство хранения данных; подбора и замены устройства хранения данных на новый с последующим резервным копированием данных после установки нового устройства хранения данных; информирование пользователя о возможной потере данных из-за выхода из строя устройства хранения данных и получения указания на место резервного копирования.
В другом варианте исполнения способа ценность данных определяется на основании таких метаданных, как частота использования данных, время и дата создания или последний перезаписи данных, автор данных, наличия ограничений на использования данных, где под использованием понимается открытие, запись, редактирование и шифрование.
В еще одном варианте исполнения способа ценность данных определяется дополнительно на основании типа файлов, места размещения данных и связи с приложениями операционной системы.
В качестве другого варианта исполнения предлагается система сохранения данных, хранимых на устройстве хранения данных, при этом указанная система связана с источниками информации, которые предоставляют информацию о состоянии устройства хранения данных, и содержит: средство анализа, предназначенное для оценки деградации устройства хранения данных на основании полученной информации о состоянии устройства хранения данных от источников информации, при этом во время указанной оценки определяет скорость деградации и вероятность выхода из строя указанного устройства хранения данных; выявления, при превышении заданного порога указанной вероятности, поврежденных секторов устройства хранения данных с помощью сканирования поверхности устройства хранения данных; вынесения решения о возможной потере данных и определения варианта резервного копирования для сохранения данных в зависимости от ценности указанных данных и скорости деградации устройства хранения на основании информации полученной от средства оценки ценности данных; передачи указания средству резервного копирования варианта резервного копирования данных; средство оценки ценности данных, связанное со средством анализа и указанными источниками информации по крайней мере для получения информации необходимой для выполнения своего назначения, предназначенное для формирования карты расположения данных и определения данных, хранимых в секторах смежных с поврежденными секторами, устройства хранения данных; определения ценности хранимых данных для пользователя по крайней мере в секторах близких к поврежденным секторам на основании анализа по крайней мере метаданных указанных данных; передачи информации о ценности хранимых данных и сформированной карты расположения данных средству анализа; и средство резервного копирования, предназначенное для произведения резервного копирования данных согласно указанию от средства анализа.
В другом варианте исполнения системы дополнительно средство оценки ценности данных формирует карту выхода из строя секторов в масштабах времени для определения частей устройства хранения данных наиболее сильно подверженных выходу из строя и на основании указанной карты средство анализа дополнительно устанавливает наиболее высокий приоритет для данных из этих частей устройства хранения данных.
В еще одном варианте исполнения системы источниками информации являются по крайней мере одно из средств: компьютерное устройство, содержащее указанное устройство хранения данных; средство диагностики; сервисная программа, позволяющая собирать и просмотреть полную информацию о состоянии, работе и основных характеристиках устройства хранения данных; и внешний сервер, хранящий информацию об указанном устройстве хранения данных.
В другом варианте исполнения системы под устройством хранения данных понимается по крайней мере такие средства как накопитель на жестком диске, полупроводниковый диск или флэш-накопитель.
В еще одном варианте исполнения системы средство оценки ценности данных формирует карты расположения данных на устройстве хранения данных на основании связи между физическим и логическим представлением данных на указанном устройстве хранения данных.
В другом варианте исполнения системы формирование указанной связи заключается в определении логического размещения данных на устройстве хранения данных с помощью анализа файловой системы и определении физического размещения данных на указанном устройстве.
Краткое описание чертежей
Дополнительные цели, признаки и преимущества настоящего изобретения будут очевидными из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 иллюстрирует блок-схему и связи между средствами системы сохранения данных, хранимых на устройстве хранения данных.
Фиг. 2 иллюстрирует блок-схему, содержащую способ сохранения данных, хранимых на устройстве хранения данных при определении вероятности выхода из строя устройства хранения данных.
Фиг. 3 иллюстрирует пример компьютерной системы общего назначения, на котором может быть реализовано заявленное изобретение.
Хотя изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Следует понимать, однако, что цель описания заключается не в ограничении изобретения конкретным его воплощением. Наоборот, целью описания является охват всех изменений, модификаций, входящих в рамки данного изобретения, как это определено приложенной формуле.
Описание вариантов осуществления изобретения
Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Приведенное описание предназначено для помощи специалисту в области техники для исчерпывающего понимания изобретения, которое определяется только в объеме приложенной формулы.
Настоящее изобретение направлено на сохранение информации или данных пользователя путем резервного копирования на основании определенной вероятности выхода из строя устройства хранения данных. Здесь и далее под устройством хранения данных понимается в первую очередь накопить информации такой, как жесткий диск (англ. hard disk drive, HDD), но в то же время в качестве устройства хранения данных могут пониматься такие устройства как дисковый массив (англ. Redundant Array of Independent Disks, RAID), твердотельный диск (англ. Solid-State Disk, SSD), USB носитель, оперативное запоминающее устройство (англ. RAM), флеш-память и другие средства, позволяющие хранить информацию, и к которым применимо по крайней мере в одном из вариантов реализации настоящее изобретение.
При описании примеров реализации настоящего изобретения раскрываются несколько особенностей изобретения.
Одной из особенностей заявленного изобретения является совокупность применяемых решений - когда присутствуют как своевременная диагностика, так и своевременное предоставление вариантов для сохранения от возможных потерь данных, как всех, так и наиболее ценных данных. Своевременность диагностики достигается путем подбора такой периодичности оценки деградации (вероятности выхода из строя) устройства хранения данных, которая позволяет опередить полное повреждение устройства хранения данных и потерю хранимых данных (по крайней мере наиболее ценных данных).
В качестве другой особенности заявленного изобретения является возможность определения размещения ценных данных (или файлов) пользователя путем определения их конкретного места расположения на устройстве хранения данных на основании построения карты расположения файлов в устройстве хранения данных, с последующим анализом возможной потери ценных данных, в случае сбоя или отказа устройства хранения данных. Под ценными данными понимаются данные, которые являются наиболее важными для пользователя и требуют первичного сохранения. Ценные данные могут быть определены как самим пользователем компьютерной системы, так и определены заявленной технологией. В случае определения ценных данных (т.е. по отношению их ценности для пользователя) настоящим изобретением указанное определение производится на основании анализа по крайней мере метаданных указанных данных, при этом в одном из вариантов реализации используются предварительно установленные правила оценки ценности данных.
Стоит отметить, что в рамках данного описания признак «данные» и признак «файл» являются взаимозаменяемыми.
Еще одной особенностью заявленного изобретения является возможность градации рисков выхода из строя устройства хранения данных для последующего принятия решения по защите или сохранности данных, в том числе ценных данных. Градация рисков может основываться на таких критериях как тип файлов, скорость деградации устройства хранения данных, интенсивность использования устройства хранения данных и температурных показателях устройства хранения данных. В одном из вариантов при оценке скорости деградации формируется карта выхода из строя частей устройства хранения данных в масштабах времени для определения секторов, которые повреждены, и секторов наиболее сильно подверженных выходу из строя (например, сектора смежные с поврежденными). Также на основании указанной карты дополнительно устанавливается наиболее высокий приоритет для сохранения ценных данных или всех данных из этих частей устройства хранения данных.
Дополнительной особенностью заявленного изобретения также может являться поиск дубликатов данных и их последующее удаление.
В общем виде работа заявленной технологии выглядит следующим образом. Производится контроль устройства хранения данных с целью оценки деградации/износа устройства хранения данных, в частности, поверхности физических дисков или ячеек флеш-памяти (например, выявления «битых» или «умирающих» кластеров). Под оценкой понимается проверка и анализ по крайней мере параметров от S.M.A.R.T. устройства хранения данных, включающих в том числе и информацию от датчика температуры, при этом контроль возможен как постоянный, так и с некой периодичностью. Во время контроля в случае необходимости производится построение карты устройства хранения данных для анализа износа. Указанная карта позволяет выявить соответствие хранимых данных соответствующим секторам устройства хранения данных, т.е. определить места записи информации на указанном устройстве.
Далее по результатам указанной оценки заявленное изобретение производит анализ секторов устройства хранения данных с целью определения хранимых на них данных с помощью упомянутой карты и последующего выбора подходящего решения для сохранения данных. Во время анализа также определяются наиболее ценные данные для пользователя, которым может быть затем установлен приоритет для сохранения (приоритизированы). В одном из вариантов ценность определяется на основании метаданных файлов, в частности, на основании типа файла, времени создания или последнего редактирования, места хранения файла, например, в папке, отмеченной пользователем как наиболее важные, или на основании градации важности (ценности) данных, и т.д. Определение хранящихся данных включает по крайней мере определение типа файлов, их расположения (папки, под папки и приложения) и принадлежности к какому-либо приложению. После определения хранимых данных производится информирование пользователя о возможной их потере и возможные варианты защиты от потери, т.е. сохранности данных (резервного копирования). Резервное копирование данных возможно как частичное (если, например, места свободного немного, и/или не все данные ценны), так и полное, при этом место сохранения также может быть определено либо пользователем, либо самим изобретением. Например, местом для переноса данных или резервного копирования может быть: другое место на том же устройстве хранения данных, при этом могут быть произведены действия по ограничению доступа к поврежденной части (секторов) устройства хранения данных; второе (другое) устройство хранения данных, которое уже связано с компьютерной системой; «облачное» хранилище, т.е. удаленное устройство хранения данных.
Также возможно назначение пользователем конкретных файлов или папок, хранение которых необходимо отслеживать на устройстве хранения данных и в случае определения возможной потери производить резервное копирование данных и/или информирование пользователя.
Кроме того, в случае, когда не возможен вариант переноса/сохранности данных незамедлительно, то заявленное изобретение может ограничить работу устройства хранения данных до получения указаний от пользователя и уведомить пользователя о таком ограничении, при этом дополнительно уведомление может содержать информацию о минимальных требованиях к устройству хранения данных и сведения о местах покупки таких устройств, например, путем отсылки на специализированные Интернет-ресурсы типа Яндекс-Маркет.
На Фиг. 1 представлен пример реализации заявленного изобретения в виде системы сохранения данных, хранимых на устройстве хранения данных, при определении вероятности выхода из строя устройства хранения данных (далее - система сохранения 100). Система сохранения 100 производит контроль устройства хранения данных с целью оценки его деградации (износа) для определения вероятности выхода из строя и произведения последующих действий, направленных на обеспечение сохранности наиболее ценных данных пользователя. Система сохранения 100 реализуется с помощью компьютерной системы, например, такой как представлена на Фиг. 3. В предпочтительном варианте реализации система сохранения 100 содержит средство анализа 140, средство оценки данных 150 и средство резервного копирования 160, при этом система сохранения 100 взаимодействует с источниками информации, например, со средством диагностики 120, и связана по крайней мере с одним устройством хранения данных, например, устройством 180а.
Производимый контроль устройства хранения данных 180а (далее - устройство хранения 180а) позволяет системе сохранения 100 своевременно обеспечивать сохранность по крайней мере наиболее ценных данных пользователя, которые хранятся на указанном устройстве 180а. Для этого система сохранения 100 получает информацию о состоянии устройства 180а от средства диагностики 120. Получаемая информация включает по меньшей мере такую информацию как информация о производительности и об основных параметрах устройства 180а. Дополнительной информацией является информация о физическом и логическом расположении данных (файлов) на устройстве хранения 180а. Стоит отметить, что контроль может производиться как постоянно, так и периодически с заданными интервалами времени, при этом интервал времени может задаваться динамически, например, в зависимости от износа устройства 180а. Средство диагностики 120 производит сбор информации по крайней мере об атрибутах S.M.A.R.T., о температуре устройства хранения 180а и о рабочей поверхности устройства хранения 180а. Примерами атрибутов S.M.A.R.T. являются параметры, которые считываются с определенных счетчиков S.M.A.R.T. Такие счетчики будут свидетельствовать о проблемах в работе устройства хранения 180а. Примерами таких счетчиков являются:
(0x0A) Spin-Up Retry Count,
(0хВ8) End-to-End error,
(0xBB) Reported UNC Errors,
(0xBC) Command Timeout,
(0xC5) Current Pending Sector Count,
(0xC6) Uncorrectable Sector Count,
(0xC8) Write Error Rate,
(0xDC) Disk Shift,
(0xC7) UltraDMA CRC Error Count.
Для сбора указанной информации средство диагностики 120 может быть реализовано как комбинацией программно-аппаратных средств, так и в какой-нибудь одной форме исполнения. Примерами программных средств являются такие средства как сервисные программы (утилиты, англ. utility): «HD Типе», «HDD Scan», «Data Lifeguard Diagnostics», «Everest» и «CrystalDiskInfo», так и стандартная программа операционной системы (ОС) Windows или же сервисные программы непосредственно компаний производителей устройств хранения данных (например, таких как Seagate и Western Digital). Так, например, утилита «CrystalDiskInfo» предоставляет информацию о состоянии жесткого диска, который поддерживает технологию S.M.A.R.T. Утилита «CrystalDiskInfo» проводит сбор и предоставления детальной информации об общем состоянии жесткого диска (например, версия прошивки, серийный номер, стандарт, интерфейс, общее время работы и т.д.), при этом включает и информацию о температуре. Утилита «HDD Scan» позволяет собирать информацию о устройствах хранения данных типа HDD, RAID, USB-Flash. Сбор информации производится с помощью технологии S.M.A.R.T., которая используется устройствами хранения данных, а также считывает показания датчиков температуры жестких дисков и выполняет сравнительный тест чтения-записи.
Стоит отметить, что средство диагностики 120 может быть реализовано как с помощью известных решений, так и в рамках реализации настоящего изобретения, при этом оно будет иметь по крайней мере аналогичный функционал средств, представленных в качестве примеров выше, а также возможность получения сведений о секторах устройства хранения 180а и размещенной информации в них. В частности, средство диагностики 120 будет производить считывание показателей атрибутов S.M.A.R.T. и температуры, которые предоставляет затем системе сохранения 100, а именно средству анализа 140. Стоит отметить, что технология S.M.A.R.T. является компонентом прошивки устройства хранения данных, которая позволяет получить информацию о состоянии устройства хранения данных. В общим виде работы средство диагностики 120 во время взаимодействия с технологией S.M.A.R.T. получает от устройства хранения данных структуру данных, содержащую информацию об атрибутах и их значениях, и производит расшифровку табличной структуры. Под расшифровкой понимается приведения в необходимый вид информации для последующей работы с ней. Стоит также отметить, что атрибуты S.M.A.R.T. условно можно разделить на две группы: параметры, позволяющие определить деградацию устройства хранения и параметры, позволяющие определить наработку и производительность устройства хранения. Наработка - сколько часов наработал, сколько раз вкл./выкл., сколько циклов остановки шпинделя производилось, сколько падений было по G-сенсору и т.п.
Кроме того, средство диагностики 120 позволяет обращаться к устройству хранения 180а с целью анализа секторов устройства хранения 180а на наличие в них информации, например, на основании диагностических запросов (команд), соответствующих анализируемому устройству хранения данных. Так, например, устройство хранения данных типа Seagate взаимодействует с одним набором диагностических команд, разработанных фирмой-производителем, а устройство хранения данных типа Western Digital взаимодействуют с другим набором диагностических команд. Указанные наборы команд могут быть получены от внешних источников, например, таких как информационный сервер 130 через информационно-коммуникационную сеть 135 (например, такую как сеть Интернет). В общем виде информационный сервер 130 содержит и предоставляет при наличии информацию по запросу, необходимую средству диагностики 120 и другим средствам системы сохранения 100.
Также средство диагностики 120 может собирать и предоставлять информацию о результатах предыдущих оценок деградации устройства хранения 180а, т.е. историю результатов предыдущих проверок. Кроме того, средство диагностики 120 позволяет запросить у информационного сервера 130 исторические сведения о работе подобных устройств хранения данных, которые ранее были собраны на основании, например, предоставления подобными средствами диагностики информации об оценке состоянии подобных устройств хранения данных.
В еще одном варианте реализации средство диагностики 120 производит сбор информации непосредственно через взаимодействие с контроллером устройства хранения 180а с помощью драйвера, отвечающего за взаимодействие с устройством хранения 180а, или напрямую со счетчиками, т.е. минуя технологию S.M.A.R.T. Во время указанного взаимодействия контроллер производит передачу информации о поврежденных секторах на каждой пластине устройства хранения 180а. Контроллер - это программно-аппаратный блок, осуществляющий управление устройством хранения данных, включающее обмен данными между ним и компьютерной системой. Драйвер - системная программа, реализующая физический уровень ввода-вывода для работы с конкретным устройством (классом устройств) или каким-либо ресурсом.
Средство анализа 140, получив информацию от средства диагностики 120, производит оценку деградации устройства хранения данных, во время которой определяет скорость деградации и вероятность выхода из строя указанного устройства хранения 180а. Определение скорости деградации и вероятности выхода из строя производится на основании анализа полученной информации по крайней мере о параметрах атрибутов S.M.A.R.T., температурных показателях и/или истории результатов предыдущих оценок для выявлений происходящих изменений от оценки к оценке (проверки). Результатом оценки является определение степени деградации устройства хранения данных, которая в одном из вариантов реализации может быть выражена в виде процентной величины, соответствующая вероятности. Когда степень деградации превышает заданный порог, то выносится решение о скором выходе из строя всего устройства хранения 180а или его части (для случаев с жесткими дисками, когда возможен выход из строя не всего устройства хранения, а одного или нескольких магнитных пластин, или конкретного участка секторов). Во время анализа производится проверка значений параметров устройства хранения на соответствие заданным интервалам работы устройства хранения и определение ухудшения по крайней мере одного критического параметра устройства хранения данных. Критичность параметров и их диапазоны критичности задаются опытным путем во время реализации изобретения. Например, критическим параметрами являются такие показатели, как количество перемещений данных из одного сектора в другой, при его повреждении (англ. relocation); превышение температурных показателей; количество записанных терабайт на SSD-накопитель, неисправимые ошибки (атрибут S.M.A.R.T.) и т.д.
Далее средство анализа 140 выявляет поврежденные сектора устройства хранения данных и формирует карту выхода из строя секторов в масштабах времени для определения частей (или других секторов) устройства хранения 180а, которые наиболее сильно подвержены выходу из строя. Данный этап позволяет определить скорости деградации смежных/близких секторов с поврежденным секторами и спрогнозировать их отказ. Кроме того, определяется наличие или отсутствие резервных секторов на устройстве хранения 180а. После чего, средство анализа 140 передает информацию о поврежденных секторах и/или поврежденных частях устройства хранения 180а средству оценки ценности данных 150. Скорость деградации определяется, например, на основании сравнения двух последних проверок (оценок) или более и определения увеличения количества поврежденных секторов. Так, если количество поврежденных секторов превысило заданный порог, то выносится решение о стремительной деградации устройства хранения и требуется либо произвести информирование пользователя, либо обеспечить сохранность данных, либо и то, и другое. Вынесение того или иного решения производится на основании степени предполагаемого риска (описано далее). Для этого направляется указание средству оценки ценности данных 150 на выявление и определение мест хранения ценных данных пользователя или информации, содержащиеся в определенных секторах.
Выявление поврежденных секторов и смежных с ними секторов производится на основании информации полученной от средства диагностики 120, которая была получена во время диагностики устройства хранения 180а с помощью диагностических команд.
Средство оценки ценности данных (далее - средство оценки данных) 150 предназначено для формирования карты расположения данных на устройстве хранения данных, определения данных, хранимых в секторах, смежных с поврежденными секторами устройства хранения данных, и определения ценности данных для пользователя по крайней мере в секторах, близких к поврежденным секторам, на основании анализа информации полученной от средства анализа 140 и средства диагностики 120, в частности, на основании метаданных файлов пользователя. Под метаданными в частности понимается тип данных (графика, музыка, документы, видео, архивы), время и дата создания или последней перезаписи данных, дата последнего доступа к файлу, частота использования данных, время последнего доступа, места хранения (в области операционной системы, в разделах, помеченных важными пользователем), автор данных, наличие ограничений на использования данных, где под использованием понимается открытие, запись, редактирование и шифрование.
Один из вариантов формирования карты расположения данных на устройстве хранения 180а заключается в определении логического размещения данных (файлов) на устройстве хранения 180а с помощью анализа файловой системы, например, такой как FAT (англ. File Allocation Table - таблица размещения файлов) и в определении физического размещения данных на указанном устройстве 180а с помощью взаимодействия со средством диагностики 120, которое позволяет произвести анализ любого сектора на указанном устройстве 180а с целью выявления места расположения данных на устройстве 180а. Таким образом, формируется связь между физическим и логическим представлением данных на устройстве хранения 180а, которая и представляется в виде карты расположения данных. Карта расположения данных может быть представлена в виде таблицы данных, содержащая по меньшей мере информацию о файле, о секции или секциях размещения файла в файловой системе и о размещении файла в секторах устройства хранения 180а.
Далее средство оценки данных 150 определяет ценность хранимых данных пользователя на основании их метаданных или информации, указывающей на ценность данных, которая ранее была добавлена самим пользователем. Например, пользователь создал папку, в которой содержатся наиболее важные данные для него. Если пользователь ранее не определял ценность данных в упомянутой папке, то ценность данных определяется на основании правил определения. Примерами правил являются: 1) файлы, относящиеся к пакету приложений Microsoft Office и созданные за последний календарный год, имеют большую ценность и являются приоритетнее при сохранении; 2) файлы, содержащиеся в папке Temp, имеют наименьшую ценность и наименьший приоритет; 3) файлы, относящиеся к операционной системе, имеют высокий приоритет, но наименьшую ценность для пользователя. Пакет правил заранее подготовлен и может обновляться в процессе работы системы сохранения 100, но подготовка указанных правил лежит за рамками настоящего изобретения. Стоит отметить, что в зависимости от реализации ценность данных может определяться как для всех данных, содержащихся на устройстве хранения 180а, так и только для части данных. Например, только для тех данных, которые содержатся в смежных с поврежденными секторами устройства хранения 180а. После определения ценности данных средство оценки данных 150 направляет указанную информацию и сформированную карту расположения данных средству анализа 140.
Средство анализа 140 на основании полученной информации от средства диагностики 120 и средства оценки данных 150 выносит решение о возможной потере данных (в частности, пользовательских данных) и определяет метод действия для сохранения данных в зависимости от ценности указанных данных и показателей деградации устройства хранения 180а. При выборе метода действия для сохранности данных учитывается по крайней мере объем сохраняемых данных, приоритет сохраняемых данных согласно определенной их ценности и место резервного копирования. Например, если выход из строя неизбежен, то производится копирование наиболее приоритетных данных на внешнее устройство хранения данных, при этом выбирается наиболее скоростной и надежный путь копирования. В другом примере, если была определена деградация, но еще возможно использование устройства хранения, то производится локальное копирование данных из смежных секторов. В еще одном примере после определения деградации появляется необходимость копирования всех данных с некой периодичностью.
В одном из вариантов реализации средство анализа 140 для вынесения решения о методе сохранности также определяет степень риска потери ценных данных на основании сведений о скорости деградации и интенсивности использования устройства хранения данных и температурных показателях. При формировании градации рисков для определения степени риска учитываются различные критерии, например, такие как: типы файлов (данных), скорость деградации устройства хранения данных, интенсивность использования устройства хранения и температурных показателях устройства хранения.
Так, один метод защиты заключается в резервном копировании ценных данных из смежных с поврежденными секторами в другую часть устройства хранения 180а с помощью средства резервного копирования 160, при этом возможно ограничения в доступе к поврежденным и смежным с ними секторам, что позволяет ограничить запись в эту область и замедлить деградацию устройства хранения 180а. Другой метод защиты заключается в копировании необходимых данных с устройства хранения 180а на другое (внешнее) устройство хранения, подключенное к компьютерной системе, например, на устройство хранения данных 1806. Третий метод защиты заключается в копировании данных в облачное хранилище 190 через сеть 135. Еще одним критерием выбора места копирования данных является объем данных, которые необходимо сохранить.
Средство резервного копирования 160 производят резервное копирование данных в зависимости от ценности указанных данных, их объема или согласно определенным решениям защиты данных по указанию средства анализа 140 или средства оценки данных 150.
Стоит отметить, что еще одной особенностью изобретения и в частности системы сохранения является возможность выявлять дубликаты данных, содержащихся на устройстве хранения данных. Например, у пользователя на устройстве хранения данных много копий одинаковых фотографий в различных папках, и для хранения данных фотографии устройство хранения данных выделяет большое количество секторов, которые могли бы служить для хранения других данных. После выявления этих данных на основании построенной карты расположения данных настоящее изобретение позволяет сформировать один экземпляр данных на устройстве хранения, а остальные копии удалить. Также возможно формирование дополнительной копии на внешнем устройстве хранения данных для сохранности. Таким образом настоящее изобретение позволяет оптимизировать место хранения на устройстве хранения данных.
Фиг. 2 иллюстрирует блок-схему частного варианта реализации, а именно, способа сохранения данных, хранимых на устройстве хранения данных, при определении вероятности выхода из строя указанного устройства хранения данных. В одном из вариантов реализации способ сохранения данных, хранимых на устройстве хранения данных, реализуется с помощью средств системы сохранения 100. В частном случае реализации под данными понимаются в том числе и пользовательские данные.
На этапе 210 получают информацию о состоянии устройства хранения данных от средства диагностики 120, которое производит сбор указанной информации. Получаемая информация содержит по крайней мере одно из следующих сведений, но не ограничивается ими:
а. сведения о параметрах устройства хранения данных от S.M.A.R.T. приложения,
б. информацию о температурных показателях устройства хранения данных,
в. информацию о результатах предыдущих оценок деградации устройства хранения данных,
г. исторические сведения о работе устройства хранения данных,
д. сведения об интенсивности использования устройства хранения данных.
На этапе 220 производят при помощи средства анализа 140 оценку деградации устройства хранения данных, во время которой определяют скорость деградации и вероятность выхода из строя устройства хранения данных. Определение скорости деградации и прогнозирование вероятности выхода из строя производится, как упоминалось выше, на основании анализа полученной информации по крайней мере о параметрах S.M.A.R.T. атрибутов, температурных показателях и/или истории результатов предыдущих оценок для выявлений происходящих изменений от оценки к оценке. Результатом оценки является определение степени деградации устройства хранения данных, которая определяется на этапе 230 и может быть выражена в виде процентного отношения. Когда определяют, что порог не превышен, то на этапе 240 производят сохранение полученной информации и заканчивают проверку.
В частном случае реализации на этапе 240 также может быть произведен анализ поврежденных секторов и смежных с ними секторами с целью формирования истории результатов оценки для последующих оценок.
В противном случае, когда на этапе 230 определяют, что заданный порог превышен, то выносятся решение о скором выходе из строя устройства хранения данных. Стоит отметить, что во время анализа производится проверка значений параметров устройства хранения на соответствия заданным интервалам работы устройства хранения и определение ухудшения по крайней мере одного критического параметра устройства хранения данных. Критичность параметров и их диапазоны критичности задаются опытным путем во время реализации изобретения. После определения превышения порога переходят к этапу 250.
На этапе 250 выявляют поврежденные сектора устройства хранения данных и формируют карту выхода из строя секторов в масштабах времени для определения частей (или других секторов) устройства хранения данных, которые наиболее сильно подвержены выходу из строя. Для этого средства анализа 140 взаимодействует со средством диагностики 120. После чего переходят к этапу 260.
На этапе 260 производится выявление и определение мест хранения ценных данных пользователя или информации, содержащиеся в определенных секторах. Выявление поврежденных секторов и смежных с ними секторов производится на основании информации, полученной от средства диагностики 120, которая была получена во время диагностики устройства хранения данных с помощью диагностических команд. Выявленная информация, в частности метаданные файлов, позволяет сформировать карту расположения данных на устройстве хранения данных. Сформированная карта связывает информацию о логическом размещении данных и их физическом размещении на устройстве хранения данных.
На этапе 270 определяют данные, хранимые в секторах, смежных с поврежденными секторами устройства хранения данных, с помощью сформированной карты расположения данных. После определения данных на этапе 280 производится определение ценности указанных данных для пользователя по крайней мере в секторах, близких к поврежденным секторам. В одном из вариантов ценность данных регулируется на основании правил определения. Далее определяется необходимый метод действий для сохранения данных в зависимости от определенной ценности указанных данных и показателей деградации устройства хранения данных.
Так, при определении метода действий для сохранения данных учитываются такие критерии, как степень деградации устройства хранения данных, потенциальное время работу устройства хранения данных, температурные показатели устройства хранения данных, место для резервного копирования данных, устойчивость и скорость передачи данных сети для резервного копирования на внешнее удаленное устройство хранения и другие. Указанные критерии позволяют определить метод действий для сохранения данных, в частности, объем сохраняемых данных, приоритет сохраняемых данных и место резервного копирования.
На этапе 290 производят резервное копирования данных пользователя согласно определенному методу действий для сохранения данных.
Фиг. 3 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер 20, содержащий центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами персонального компьютера 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.
Персональный компьютер 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных персонального компьютера 20.
Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флеш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.
Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканнер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.
Персональный компьютер 20 способен работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа персонального компьютера 20, представленного на Фиг. 3. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.
Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях персональный компьютер 20 подключен к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.
В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего изобретения, согласующиеся с сущностью и объемом настоящего изобретения.

Claims (57)

1. Способ сохранения данных, хранимых на устройстве хранения данных, при этом способ содержит этапы, на которых:
а) производят оценку деградации устройства хранения данных, во время которой определяют скорость деградации и вероятность выхода из строя устройства хранения данных, причем для указанной оценки получают информацию о состоянии устройства хранения данных от соответствующих источников информации;
б) при превышении заданного порога указанной вероятности выявляют поврежденные сектора устройства хранения данных с помощью сканирования поверхности устройства хранения данных;
в) формируют карту расположения данных и определяют данные, хранимые в секторах, смежных с поврежденными секторами, устройства хранения данных;
г) определяют ценность хранимых данных для пользователя по крайней мере в секторах, близких к поврежденным секторам, на основании анализа по крайней мере метаданных указанных данных;
д) выносят решение о возможной потере данных и определяют вариант резервного копирования для сохранения данных в зависимости от ценности указанных данных и скорости деградации устройства хранения данных;
е) производят резервное копирование данных в зависимости от определенного варианта резервного копирования.
2. Способ по п. 1, в котором на этапе б) дополнительно формируют карту выхода из строя секторов в масштабах времени для определения частей устройства хранения данных, наиболее сильно подверженных выходу из строя, и на основании указанной карты дополнительно устанавливают наиболее высокий приоритет для данных из этих частей устройства хранения данных.
3. Способ по п. 1, в котором формирование карты расположения данных на устройстве хранения данных основано на формировании связи между физическим и логическим представлением данных на устройстве хранения данных.
4. Способ по п. 3, в котором формирование указанной связи заключается в определении логического размещения данных на устройстве хранения данных с помощью анализа файловой системы и определении физического размещения данных на указанном устройстве с помощью взаимодействия со средством диагностики.
5. Способ по п. 1, в котором источниками информации является по крайней мере одно из средств: компьютерное устройство, содержащее указанное устройство хранения данных, средство диагностики и сервисная программа, позволяющая собрать и просмотреть полную информацию о состоянии, работе и основных характеристиках устройства хранения данных.
6. Способ по п. 5, в котором под сервисной программой понимаются такие программы, которые позволяют взаимодействовать со S.M.A.R.T. для получения сведений о параметрах, позволяющих определить деградацию устройства хранения и параметрах, позволяющих определить наработку и производительность устройства хранения данных.
7. Способ по п. 1, в котором в качестве устройства хранения данный понимаются по крайней мере такие средства как накопитель на жестком диске, полупроводниковый диск и флэш-накопитель.
8. Способ по п. 1, в котором дополнительно источником информации является внешний сервер, хранящий информацию об указанном устройстве хранения данных.
9. Способ по п. 1, в котором получаемая информация из источников информации о состоянии устройства хранения данных включает по меньшей мере такую информацию как информация о производительности и об основных параметрах указанного устройства.
10. Способ по пп. 1 и 9, в котором получаемая информация из источников информации о состоянии устройства хранения данных по крайней мере содержат одно из:
а) сведения о параметрах устройства хранения данных от атрибутов S.M.A.R.T, которые считываются с определенных счетчиков S.M.A.R.T.,
б) информацию о температурных показателях устройства хранения данных,
в) информацию о результатах предыдущих оценок деградации устройства хранения данных,
г) исторические сведения о работе устройства хранения данных,
д) сведения об интенсивности использования устройства хранения данных.
11. Способ по п. 1, в котором на шаге д) резервное копирование производится по крайней мере одним из подходов:
а) резервное копирование «во временное» облачное хранилище,
б) резервное копирование на локальное устройство хранения данных,
в) подбора и замены устройства хранения данных на новый с последующим резервным копированием данных после установки нового устройства хранения данных,
г) информирование пользователя о возможной потере данных из-за выхода из строя устройства хранения данных и получения указания на место резервного копирования.
12. Способ по п. 1, в котором ценность данных определяется на основании таких метаданных, как частота использования данных, время и дата создания или последней перезаписи данных, автор данных, наличие ограничений на использования данных, где под использованием понимается открытие, запись, редактирование и шифрование.
13. Способ по п. 1, в котором ценность данных определяется дополнительно на основании типа файлов, места размещения данных и связи с приложениями операционной системы.
14. Система сохранения данных, хранимых на устройстве хранения данных, при этом указанная система связана с источниками информации, которые предоставляют информацию о состоянии устройства хранения данных, и содержит:
а) средство анализа, предназначенное для:
i) оценки деградации устройства хранения данных на основании полученной информации о состоянии устройства хранения данных от источников информации, при этом во время указанной оценки определяет скорость деградации и вероятность выхода из строя указанного устройства хранения данных;
ii) выявления, при превышении заданного порога указанной вероятности, поврежденных секторов устройства хранения данных с помощью сканирования поверхности устройства хранения данных,
iii) вынесения решения о возможной потере данных и определения варианта резервного копирования для сохранения данных в зависимости от ценности указанных данных и скорости деградации устройства хранения на основании информации, полученной от средства оценки ценности данных,
iv) передачи указания средству резервного копирования варианта резервного копирования данных;
б) средство оценки ценности данных, связанное со средством анализа и указанными источниками информации по крайней мере для получения информации, необходимой для выполнения своего назначения, предназначенное для:
i) формирования карты расположения данных и определения данных, хранимых в секторах смежных с поврежденными секторами, устройства хранения данных,
ii) определения ценности хранимых данных для пользователя по крайней мере в секторах близких к поврежденным секторам на основании анализа по крайней мере метаданных указанных данных,
iii) передачи информации о ценности хранимых данных и сформированной карты расположения данных средству анализа;
в) средство резервного копирования, предназначенное для произведения резервного копирования данных согласно указанию от средства анализа.
15. Система по п. 14, в которой дополнительно средство оценки ценности данных формирует карту выхода из строя секторов в масштабах времени для определения частей устройства хранения данных, наиболее сильно подверженных выходу из строя, и на основании указанной карты средство анализа дополнительно устанавливает наиболее высокий приоритет для данных из этих частей устройства хранения данных.
16. Система по п. 14, в которой источниками информации является по крайней мере одно из средств: компьютерное устройство, содержащее указанное устройство хранения данных; средство диагностики; сервисная программа, позволяющая собрать и просмотреть полную информацию о состоянии, работе и основных характеристиках устройства хранения данных; и внешний сервер, хранящий информацию об указанном устройстве хранения данных.
17. Система по п. 14, в которой под устройством хранения данных понимаются по крайней мере такие средства, как накопитель на жестком диске, полупроводниковый диск или флэш-накопитель.
18. Система по п. 14, в которой получаемая информация из источников информации о состоянии устройства хранения данных по крайней мере содержит одно из:
а) сведения о параметрах устройства хранения данных от атрибутов S.M.A.R.T, которые считываются с определенных счетчиков S.M.A.R.T.,
б) информацию о температурных показателях устройства хранения данных,
в) информацию о результатах предыдущих оценок деградации устройства хранения данных,
г) исторические сведения о работе устройства хранения данных,
д) сведения об интенсивности использования устройства хранения данных.
19. Система по п. 14, в которой средство резервного копирования производит резервное копирование по крайней мере одним из подходов:
а) резервное копирование «во временное» облачное хранилище,
б) резервное копирование на локальное устройство хранения данных,
в) подбора и замены устройства хранения данных на новый с последующим резервным копированием данных после установки нового устройства хранения данных,
г) информирование пользователя о возможной потере данных из-за выхода из строя устройства хранения данных и получения указания о месте резервного копирования.
20. Система по п. 14, в которой ценность данных определяется на основании таких метаданных, как частота использования данных, время и дата создания или последней перезаписи данных, автор данных, наличие ограничений на использования данных, где под использованием понимается открытие, запись, редактирование, шифрование.
21. Система по п. 14, в которой ценность данных определяется дополнительно на основании типа файлов, места размещения данных и связи с приложениями операционной системы.
22. Система по п. 14, в которой средство оценки ценности данных формирует карты расположения данных на устройстве хранения данных на основании связи между физическим и логическим представлением данных на указанном устройстве хранения данных.
23. Система по п. 22, в которой формирование указанной связи заключается в определении логического размещения данных на устройстве хранения данных с помощью анализа файловой системы и определении физического размещения данных на указанном устройстве.
RU2018111481A 2018-03-30 2018-03-30 Система и способ оценки деградации устройства хранения данных и обеспечения сохранности наиболее важных данных RU2697961C1 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
RU2018111481A RU2697961C1 (ru) 2018-03-30 2018-03-30 Система и способ оценки деградации устройства хранения данных и обеспечения сохранности наиболее важных данных
US16/101,847 US10783042B2 (en) 2018-03-30 2018-08-13 System and method of assessing and managing storage device degradation
EP18193512.3A EP3547139B1 (en) 2018-03-30 2018-09-10 System and method of assessing and managing storage device degradation
CN201811072976.4A CN110321067B (zh) 2018-03-30 2018-09-14 估计和管理存储设备退化的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018111481A RU2697961C1 (ru) 2018-03-30 2018-03-30 Система и способ оценки деградации устройства хранения данных и обеспечения сохранности наиболее важных данных

Publications (1)

Publication Number Publication Date
RU2697961C1 true RU2697961C1 (ru) 2019-08-21

Family

ID=67733845

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018111481A RU2697961C1 (ru) 2018-03-30 2018-03-30 Система и способ оценки деградации устройства хранения данных и обеспечения сохранности наиболее важных данных

Country Status (3)

Country Link
US (1) US10783042B2 (ru)
CN (1) CN110321067B (ru)
RU (1) RU2697961C1 (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7378221B2 (ja) * 2019-04-17 2023-11-13 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、制御方法、コンピュータプログラム、および記録媒体
KR20210039174A (ko) * 2019-10-01 2021-04-09 에스케이하이닉스 주식회사 메모리 시스템 및 그것의 동작 방법
CN113190179B (zh) * 2021-05-26 2022-02-11 北京自由猫科技有限公司 提升机械硬盘使用寿命的方法、存储设备及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215456A1 (en) * 2005-03-23 2006-09-28 Inventec Corporation Disk array data protective system and method
US9183067B2 (en) * 2012-11-19 2015-11-10 Kabushiki Kaisha Toshiba Data preserving apparatus, method and system therefor
US9229796B1 (en) * 2013-09-25 2016-01-05 Emc Corporation System and method for determining disk failure indicator to predict future disk failures
US9542296B1 (en) * 2014-12-01 2017-01-10 Amazon Technologies, Inc. Disk replacement using a predictive statistical model
RU2608676C2 (ru) * 2014-08-15 2017-01-23 Сяоми Инк. Способ и устройство для резервного копирования данных и электронное устройство

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1294099A (en) 1997-11-03 1999-05-24 Gateway, Inc. Automatic backup based on disk drive condition
JP2007233903A (ja) * 2006-03-03 2007-09-13 Hitachi Ltd 記憶制御装置及び記憶制御装置のデータ回復方法
US7707461B2 (en) 2007-01-31 2010-04-27 Hewlett-Packard Development Company, L.P. Digital media drive failure prediction system and method
US8341121B1 (en) 2007-09-28 2012-12-25 Emc Corporation Imminent failure prioritized backup
US8341457B2 (en) * 2010-03-11 2012-12-25 Lsi Corporation System and method for optimizing redundancy restoration in distributed data layout environments
EP2712149B1 (en) * 2010-04-23 2019-10-30 Compuverde AB Distributed data storage
JP2012048373A (ja) * 2010-08-25 2012-03-08 Toshiba Corp 医用データストレージ装置
US8760780B1 (en) * 2012-03-22 2014-06-24 Amazon Technologies, Inc. System and method for disk sector failure prediction
EP2901284A4 (en) * 2012-09-28 2016-06-01 Longsand Ltd PREDICTION OF FAILURE OF A MEMORY DEVICE
US9471450B2 (en) * 2013-03-07 2016-10-18 International Business Machines Corporation Reducing data loss in a computing storage environment
US9448876B2 (en) * 2014-03-19 2016-09-20 Sandisk Technologies Llc Fault detection and prediction in storage devices
WO2016023230A1 (zh) * 2014-08-15 2016-02-18 华为技术有限公司 数据迁移的方法、控制器和数据迁移装置
US10157105B2 (en) 2016-07-28 2018-12-18 Prophetstor Data Services, Inc. Method for data protection for cloud-based service system
CN107391301A (zh) * 2017-08-16 2017-11-24 北京奇虎科技有限公司 存储系统的数据管理方法、装置、计算设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215456A1 (en) * 2005-03-23 2006-09-28 Inventec Corporation Disk array data protective system and method
US9183067B2 (en) * 2012-11-19 2015-11-10 Kabushiki Kaisha Toshiba Data preserving apparatus, method and system therefor
US9229796B1 (en) * 2013-09-25 2016-01-05 Emc Corporation System and method for determining disk failure indicator to predict future disk failures
RU2608676C2 (ru) * 2014-08-15 2017-01-23 Сяоми Инк. Способ и устройство для резервного копирования данных и электронное устройство
US9542296B1 (en) * 2014-12-01 2017-01-10 Amazon Technologies, Inc. Disk replacement using a predictive statistical model

Also Published As

Publication number Publication date
CN110321067A (zh) 2019-10-11
US10783042B2 (en) 2020-09-22
US20190303245A1 (en) 2019-10-03
CN110321067B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
JP4576923B2 (ja) ストレージシステムの記憶容量管理方法
JP6521462B2 (ja) バックアップシステムの性能の改善
US10769032B2 (en) Automation and optimization of data recovery after a ransomware attack
US8055630B2 (en) Estimating recovery times for data assets
US20090125751A1 (en) System and Method for Correlated Analysis of Data Recovery Readiness for Data Assets
US9971664B2 (en) Disaster recovery protection based on resource consumption patterns
US9563552B2 (en) Storage control device and storage control method
US11520649B2 (en) Storage mounting event failure prediction
RU2697961C1 (ru) Система и способ оценки деградации устройства хранения данных и обеспечения сохранности наиболее важных данных
US20090228669A1 (en) Storage Device Optimization Using File Characteristics
US20110202735A1 (en) Computer system, and backup method and program for computer system
US8555111B2 (en) Method and apparatus for offline diagnosis based on prioriyu level setting
US20200110655A1 (en) Proactive data protection on predicted failures
JP6078984B2 (ja) 処理装置，処理方法，処理プログラム及び管理装置
US10606490B2 (en) Storage control device and storage control method for detecting storage device in potential fault state
JP2018106462A (ja) 情報処理装置、ストレージ制御プログラムおよびストレージ制御方法
JP4908462B2 (ja) 画像処理システムおよび画像処理装置
JP6100404B2 (ja) 計算機システムおよびその階層記憶の制御方法
US10310948B2 (en) Evaluation of risk of data loss and backup procedures
CN115470059A (zh) 一种磁盘检测方法、装置、设备及存储介质
EP3547139B1 (en) System and method of assessing and managing storage device degradation
US11237893B2 (en) Use of error correction-based metric for identifying poorly performing data storage devices
US20110153964A1 (en) Prioritizing subgroups in a consistency group
US10592349B2 (en) Storage control device and storage apparatus
JP2023134170A (ja) 記憶媒体管理装置、記憶媒体管理方法および記憶媒体管理プログラム