RU2699678C2 - Способ организации хранения данных на базе кодов-произведений с простой проверкой на четность со смещением - Google Patents
Способ организации хранения данных на базе кодов-произведений с простой проверкой на четность со смещением Download PDFInfo
- Publication number
- RU2699678C2 RU2699678C2 RU2018101638A RU2018101638A RU2699678C2 RU 2699678 C2 RU2699678 C2 RU 2699678C2 RU 2018101638 A RU2018101638 A RU 2018101638A RU 2018101638 A RU2018101638 A RU 2018101638A RU 2699678 C2 RU2699678 C2 RU 2699678C2
- Authority
- RU
- Russia
- Prior art keywords
- data
- data storage
- zones
- storage devices
- redundant
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Detection And Correction Of Errors (AREA)
Abstract
Изобретение относится к способу организации хранения данных в массиве устройств хранения. Технический результат заключается в снижении нагрузки на сеть передачи данных и на устройства хранения данных, возникающей в ходе восстановления содержимого одного утраченного устройства хранения данных из массива, и в повышении надежности хранения данных в системе. Для фрагментов массива данных, расположенных в одноименных зонах хранения, формируют фрагменты избыточности, размещаемые в зонах отдельного устройства хранения данных. В каждом устройстве хранения данных зоны объединяются в множество непересекающихся групп, и для фрагментов, расположенных в них, формируются фрагменты избыточности, размещаемые во всех хранилищах по принятой в системе схеме хранения избыточных данных групп. Процесс восстановления содержимого утраченного устройства хранения данных не требует сбора всего содержимого оставшихся устройств. 1 ил.
Description
Изобретение относится к вычислительной технике, в частности системам хранения данных. Заявленный способ может быть использован для организации надежного хранения данных как в локально размещенных массивах устройств хранения данных, так и в распределенных системах хранения данных, позволяя снизить нагрузку на сеть передачи данных.
В условиях непрерывного роста объемов генерируемой и обрабатываемой информации, сопряженного с увеличением объемов трафика данных передаваемого через сети передачи данных, объединяющие различные устройства, остро стоит проблема организации надежного долгосрочного хранения данных. Для решения данной проблемы применяются различные аппаратные и программные средства, в частности системы хранения данных, состоящие из множества устройств хранения данных объединенных в массив. Надежность хранения данных в подобных системах гарантируется применением различных методов избыточного кодирования и резервирования.
Наиболее близким по технической сущности к заявленному способу является способ, представленный в патенте US 6269453 В1 от 31 июл 2001, когда массив из N1=K1+1 устройств хранения данных разделяется на множество K1, собственно устройств хранения информационных данных и одно дополнительное устройство хранения избыточных данных, при этом область памяти каждого из N1 устройств хранения данных, делиться на I равных зон хранения таким образом, что K1 одноименных зон разных хранилищ информационных данных формируют в хранилище избыточных данных одноименную зону, что в совокупности по всем одноименным зонам составляет линию проверки на четность с номером i⊂I, в случае утраты одного из устройств хранения данных, входящих в массив производится опрос всех оставшихся устройств хранения данных с последовательной передачей в контроллер массива содержимого всех зон входящих в линии проверки на четность.
Недостатками прототипа являются:
- предложенное техническое решение позволяет обнаруживать линии проверки на четность, содержащую некорректируемую ошибку, не обнаруживаемую средствами устройств хранения данных, но не позволяет определить зону содержащую эту ошибку для дальнейшего ее исправления;
- в случае утраты одного из устройств хранения данных и осуществлении процедуры восстановления его содержимого, возникает необходимость передачи всего содержимого оставшихся не утраченными устройств хранения данных, что приводит к возрастанию нагрузки на сеть передачи данных, росту времени простоя системы в целом;
- в ходе восстановления данных, проводимого в случае утраты одного из устройств хранения данных, возрастает нагрузка на оставшиеся устройства хранения данных, что снижает их быстродействие и ресурс.
Задачей, на решение которой направлено изобретение, является разработка способа организации хранения данных в массиве устройств хранения данных, базирующемся на применении кодов-произведений с простой проверкой на четность.
Техническим результатом являются:
- снижение общей нагрузки на сеть передачи данных возникающая в ходе восстановления массива данных в случае утраты одного устройства хранения данных из массива устройств хранения данных;
- снижение нагрузки на устройства хранения данных, оставшиеся в массиве, возникающей в процессе восстановления данных;
- повышение надежности хранения данных в системах хранения данных.
Для достижения указанного технического результата предлагается способ восстановления целостности данных в массиве устройств хранения данных, заключающийся в том, что массив из Nl=Kl+1 устройств хранения данных разделяется на множество K1 собственно устройств хранения информационных данных и одно дополнительное устройство хранения избыточных данных, при этом область памяти каждого из N1 устройств хранения данных, делиться на I равных зон хранения таким образом, что K1 одноименных зон разных хранилищ информационных данных формируют в хранилище избыточных данных одноименную зону, что в совокупности по всем N1 одноименным зонам составляет линию проверки на четность с номером i⊂I, при этом в случае утраты одного из хранилищ восстановление данных, хранившихся в нем, осуществляется путем последовательного выделения одноименных зон каждого из K1 оставшихся устройств хранения данных, и за счет системы проверок четности данной линии восстанавливаются утраченные данные этой линии, при этом последовательно используются номера i⊂I линий.
Особенностью является то, что в каждом из N1 устройств хранения данных множество I зон делятся на J=I/(K2+1) групп, где K2 число зон хранения информационных данных в хранилищах d⊂K1 и соответствующих K2 зон избыточных данных в устройстве хранения избыточных данных, совокупность которых в каждом хранилище формирует зону избыточных данных с номером j⊂J, при этом избыточные данные групп для каждого из N1 устройств хранения данных не могут размещаться в устройствах хранения данных для которых они сформированы, а хранятся по принятой в системе схеме хранения избыточных данных групп, например с циклическим сдвигом номеров относительно истинных номеров групп, и при необходимости восстановления содержимого утраченного устройства хранения данных, выбираются любые J-2 линии для каждой из групп, с последующим восстановлением утраченных данных для этих линий, при этом в утраченную группу вводятся избыточные данные группы, находящееся в одном из K1 оставшихся не утраченных устройств хранения данных, жестко закрепленных схемой хранения избыточных данных групп, при этом контроль соответствия содержимого в зонах хранения избыточности и зонах хранения информационных символов позволяет определять зону дислокации скрытых ошибок.
Предлагаемый способ к кодированию данных, размещаемых в памяти массива устройств хранения данных предназначен для повышения надежности функционирования массива, в условиях одиночных отказов отдельных узлов. Новизна этого способа заключается в уменьшении объема трафика передаваемых через сеть обмена данных, генерируемого в случае восстановления содержимого утраченного информационного накопителя, и в возможности обнаруживать и исправлять одиночные некорректируемые ошибки, возникающие в ходе генерации данных, осуществления операций кодирования и передачи данных в память устройств хранения данных.
Предлагаемый способ предполагает формирование и хранение в памяти накопителей двух контрольных сумм. Одна из контрольных сумм размещается в памяти отдельного устройства хранения данных. Вторая контрольная сумма размещается в каждом из устройств хранения данных, как в информационных, так и избыточном. Условием функционирования этого решения является то, что сформированный избыточный символ не должна находиться в том же устройств хранения, для которого оно рассчитан.
Пример организации хранения данных в массиве устройств хранения данных продемонстрирован на Фиг. 1.
Источник и потребитель данных (101), передает исходный массив данных в контроллер (102) массива устройств хранения данных (103).
Для осуществления организации хранения, исходный массив данных разделяется контроллером (102) на k1*k2 фрагментов одинакового размера, размещаемых в зоны (104) устройств хранения информационных данных (105-107), таким образом, что в каждом из них расположено k2 фрагментов, размещенных в зонах, объединенных в группы (108). В случае если информационный массив делится на число фрагментов меньше k1*k2 оставшиеся заполняются значениями ноль. В ином случае, если информационный массив делится на число фрагментов больше k1*k2, он разделяется на несколько слов, обрабатываемых по отдельности. Последовательность зон с одинаковыми номерами, но находящихся на разных устройствах хранения данных образует линию проверки на четность (109).
Формирование избыточности, размещаемом в зонах (110) отдельного устройстве хранения данных (111), производится с использованием выражения:
где i=1, …, k2 - номера зон в каждом из устройств хранения данных, j - номер информационного устройства хранения, di,j - символы содержащиеся в зоне номер i устройства хранения данных j, 
- сумма элементов по модулю 2.
Формирование избыточности, размещаемом в отдельной линии всех устройств хранения данных (112), производится с использованием выражения:
где i=1, …, k2 - номера фрагментов в каждом из устройств хранения данных, j=2, …, k1 - номер информационного устройства хранения данных, dj,i - символы содержащиеся в зоне номер i устройства хранения данных j, ri - фрагмент номер i устройства хранения избыточных данных.
В случае возникновения события утраты устройства хранения данных, содержимое зоны утраченного устройства хранения данных считается стертым. Массив устройств хранения данных становится безызбыточным до введение в массив устройств хранения данных новоприбывшего устройства хранения данных (113). Операции чтения данных осуществляется с проведением операции декодирования.
Восстановление содержимого утраченного устройства хранения информационных данных производится путем вычисления обратных контрольных сумм d'i,утр для всех кроме одного информационного фрагмента с использованием выражения:
Последний фрагмент утраченного множества восстанавливается с использованием соответствующей контрольной суммы qутр, с использованием выражения:
Полученные символы передаются пользователю или при наличии новоприбывшего устройства хранения данных размещаются в соответствующих зонах этого устройства.
Выявление и коррекция одиночной некорректируемой ошибки, не выявляемой средствами устройства хранения данных, производится путем расчета всех контрольных сумм, как фрагментов, так и хранилищ, с последующим сравнением их с эталонными. Дислокация зоны с поврежденным символом определяется как зона линии с выявленным несоответствием значений вычисленной избыточности с эталонной избыточностью, размещенной в устройстве хранения избыточных данных, расположенная в группе устройства хранения данных для которой вычисленная избыточность не совпадает с эталонной избыточностью, расположенной в зоне хранения избыточности, вычисленной для этой группы зон.
Предлагаемый способ к организации хранения данных, размещаемых в памяти массива устройств хранения данных, позволяет повысить надежность обеспечения операций хранения и восстановления информации, в условиях одиночных отказов отдельных узлов. Применение этого способа позволяет:
- уменьшить объем трафика, передаваемый через сеть обмена данных, генерируемый в случае восстановления содержимого утраченного информационного накопителя;
- снизить эксплуатационную нагрузку, оказываемую на сохранившиеся в составе массива устройства хранения данных в процессе восстановления содержимого утраченного устройства хранения данных;
- повысить надежность обеспечения процедуры хранения, за счет аппарата обнаружения и исправления одиночных некорректируемых ошибок, возникающих в ходе генерации данных, осуществления операций кодирования и передачи данных в память устройств хранения данных по каналам сети передачи данных.
Claims (1)
- Способ восстановления целостности данных в массиве устройств хранения данных, заключающийся в том, что массив из Nl=K1+1 устройств хранения данных разделяется на множество K1 собственно устройств хранения информационных данных и одно дополнительное устройство хранения избыточных данных, при этом область памяти каждого из N1 устройств хранения данных делится на I равных зон хранения таким образом, что K1 одноименных зон разных хранилищ информационных данных формируют в хранилище избыточных данных одноименную зону, что в совокупности по всем N1 одноименным зонам составляет линию проверки на четность с номером i⊂I, при этом в случае утраты одного из хранилищ восстановление данных, хранившихся в нем, осуществляют путем последовательного выделения одноименных зон каждого из K1 оставшихся устройств хранения данных, и за счет системы проверок четности данной линии восстанавливают утраченные данные этой линии, при этом последовательно используют номера i⊂I линий, отличающийся тем, что в каждом из N1 устройств хранения данных множество I зон делят на J=I/(K2+1) групп, где K2 число зон хранения информационных данных в хранилищах d⊂K1 и соответствующих K2 зон избыточных данных в устройстве хранения избыточных данных, совокупность которых в каждом хранилище формирует зону избыточных данных с номером j⊂J, при этом избыточные данные групп для каждого из N1 устройств хранения данных не могут размещаться в устройствах хранения данных, для которых они сформированы, а хранятся по принятой в системе схеме хранения избыточных данных групп, например, с циклическим сдвигом номеров относительно истинных номеров групп, и при необходимости восстановления содержимого утраченного устройства хранения данных выбирают любые J - 2 линии для каждой из групп с последующим восстановлением утраченных данных для этих линий, при этом в утраченную группу вводят избыточные данные группы, находящиеся в одном из K1 оставшихся неутраченных устройств хранения данных, жестко закрепленных схемой хранения избыточных данных групп, при этом контроль соответствия содержимого в зонах хранения избыточности и зонах хранения информационных символов позволяет определять зону дислокации скрытых ошибок.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018101638A RU2699678C2 (ru) | 2018-01-16 | 2018-01-16 | Способ организации хранения данных на базе кодов-произведений с простой проверкой на четность со смещением |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018101638A RU2699678C2 (ru) | 2018-01-16 | 2018-01-16 | Способ организации хранения данных на базе кодов-произведений с простой проверкой на четность со смещением |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2018101638A RU2018101638A (ru) | 2019-07-16 |
| RU2018101638A3 RU2018101638A3 (ru) | 2019-07-17 |
| RU2699678C2 true RU2699678C2 (ru) | 2019-09-09 |
Family
ID=67308296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018101638A RU2699678C2 (ru) | 2018-01-16 | 2018-01-16 | Способ организации хранения данных на базе кодов-произведений с простой проверкой на четность со смещением |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2699678C2 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2750645C1 (ru) * | 2020-12-30 | 2021-06-30 | Общество с ограниченной ответственностью "Аркод Технологии" | Способ хранения данных в избыточном массиве независимых дисков с повышенной отказоустойчивостью |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6269453B1 (en) * | 1993-06-29 | 2001-07-31 | Compaq Computer Corporation | Method for reorganizing the data on a RAID-4 or RAID-5 array in the absence of one disk |
| RU2552151C2 (ru) * | 2013-09-17 | 2015-06-10 | Общество с ограниченной ответственностью "РЭЙДИКС" | Способ контроля корректности записи данных в двухконтроллерной системе хранения данных на массиве энергонезависимых носителей и устройство для его осуществления |
| US20170161148A1 (en) * | 2015-12-02 | 2017-06-08 | Netapp, Inc. | Detection of and recovery from silent data loss in an erasure-coded storage system |
| US20170249242A1 (en) * | 2009-05-18 | 2017-08-31 | Longitude Enterprise Flash S.A.R.L. | Apparatus, system, and method to increase data integrity in a redundant storage system |
-
2018
- 2018-01-16 RU RU2018101638A patent/RU2699678C2/ru not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6269453B1 (en) * | 1993-06-29 | 2001-07-31 | Compaq Computer Corporation | Method for reorganizing the data on a RAID-4 or RAID-5 array in the absence of one disk |
| US20170249242A1 (en) * | 2009-05-18 | 2017-08-31 | Longitude Enterprise Flash S.A.R.L. | Apparatus, system, and method to increase data integrity in a redundant storage system |
| RU2552151C2 (ru) * | 2013-09-17 | 2015-06-10 | Общество с ограниченной ответственностью "РЭЙДИКС" | Способ контроля корректности записи данных в двухконтроллерной системе хранения данных на массиве энергонезависимых носителей и устройство для его осуществления |
| US20170161148A1 (en) * | 2015-12-02 | 2017-06-08 | Netapp, Inc. | Detection of and recovery from silent data loss in an erasure-coded storage system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2750645C1 (ru) * | 2020-12-30 | 2021-06-30 | Общество с ограниченной ответственностью "Аркод Технологии" | Способ хранения данных в избыточном массиве независимых дисков с повышенной отказоустойчивостью |
| WO2022146177A1 (ru) * | 2020-12-30 | 2022-07-07 | Антон Анатольевич Дремлюга | Способ хранения данных в избыточном массиве независимых дисков с повышенной отказоустойчивостью |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2018101638A3 (ru) | 2019-07-17 |
| RU2018101638A (ru) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10146618B2 (en) | Distributed data storage with reduced storage overhead using reduced-dependency erasure codes | |
| US8601339B1 (en) | Layered coding techniques for data storage | |
| Plank | A tutorial on Reed–Solomon coding for fault‐tolerance in RAID‐like systems | |
| US6473880B1 (en) | System and method for protecting data and correcting bit errors due to component failures | |
| EP1792254B1 (en) | Memory array error correction | |
| US20180219562A1 (en) | Transaction identification synchronization | |
| US8359518B2 (en) | 2D product code and method for detecting false decoding errors | |
| RU2680350C2 (ru) | Способ и система распределенного хранения восстанавливаемых данных с обеспечением целостности и конфиденциальности информации | |
| WO2023151290A1 (zh) | 一种数据编码方法、装置、设备及介质 | |
| US20040133836A1 (en) | Method and apparatus for performing error correction code (ECC) conversion | |
| CN103703446B (zh) | 网络存储中抗拜占庭失效的数据重构、失效数据恢复方法及装置 | |
| JPS6349245B2 (ru) | ||
| US20100017682A1 (en) | Error correction code striping | |
| CN114116297B (zh) | 一种数据编码方法、装置、设备及介质 | |
| RU2699678C2 (ru) | Способ организации хранения данных на базе кодов-произведений с простой проверкой на четность со смещением | |
| RU2403615C2 (ru) | Устройство хранения и передачи информации с обнаружением двойных ошибок | |
| US10423489B2 (en) | Data integrity detection and correction | |
| US8484536B1 (en) | Techniques for data storage, access, and maintenance | |
| US8615698B1 (en) | Skewed orthogonal coding techniques | |
| US9917599B2 (en) | Coding schemes including alternative codings for a single code construct | |
| US9692457B2 (en) | Removing error patterns in binary data | |
| RU164633U1 (ru) | Устройство хранения и передачи информации с обнаружением ошибок | |
| CN104932836B (zh) | 一种提高单写性能的三盘容错编码和解码方法 | |
| EP0310220B1 (en) | An apparatus useful for correction of single bit errors and detection of double bit errors in the transmission of data | |
| US11042440B2 (en) | Data checksums without storage overhead |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20210117 |