RU2016124319A - METHOD AND DEVICE FOR RESTORING DEDUPLICATED DATA - Google Patents

METHOD AND DEVICE FOR RESTORING DEDUPLICATED DATA Download PDF

Info

Publication number
RU2016124319A
RU2016124319A RU2016124319A RU2016124319A RU2016124319A RU 2016124319 A RU2016124319 A RU 2016124319A RU 2016124319 A RU2016124319 A RU 2016124319A RU 2016124319 A RU2016124319 A RU 2016124319A RU 2016124319 A RU2016124319 A RU 2016124319A
Authority
RU
Russia
Prior art keywords
accesses
data block
data
limit
medium
Prior art date
Application number
RU2016124319A
Other languages
Russian (ru)
Other versions
RU2665272C1 (en
Inventor
Фей Куи
Джиайя Ченг
Нинг Ченг
Original Assignee
Зте Корпарейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Зте Корпарейшн filed Critical Зте Корпарейшн
Publication of RU2016124319A publication Critical patent/RU2016124319A/en
Application granted granted Critical
Publication of RU2665272C1 publication Critical patent/RU2665272C1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system

Claims (28)

1. Способ восстановления дедуплицированных данных, содержащий:1. A method for restoring deduplicated data, comprising: получение первого числа количества доступов к первому блоку данных, при этом первое число количества доступов представляет собой количество посетителей, которые в текущее время и одновременно получают доступ к файлу;receiving the first number of accesses to the first data block, while the first number of accesses is the number of visitors who are currently accessing the file at the same time; сравнение первого числа количества доступов с первым пределом и вторым пределом соответственно, при этом первый предел меньше, чем второй предел; иcomparing the first number of accesses with the first limit and the second limit, respectively, wherein the first limit is less than the second limit; and восстановление первого блока данных в первом носителе данных или втором носителе данных, в соответствии с результатами сравнения, при этом первый блок данных восстанавливается в первом носителе данных, когда первое число количества доступов больше, чем первый предел, и меньше, чем второй предел, и первый блок данных восстанавливается во втором носителе данных, когда первое число количества доступов больше, чем второй предел; второй носитель данных имеют большую эффективность, чем первый носитель данных.restoring the first data block in the first data medium or the second data medium, in accordance with the comparison results, wherein the first data block is restored in the first data medium when the first number of accesses is greater than the first limit and less than the second limit, and the first a data block is restored in the second storage medium when the first number of accesses is greater than the second limit; the second storage medium is more efficient than the first storage medium. 2. Способ по п. 1, который перед получением первого числа количества доступов к файлу, соответствующему первому блоку данных содержит:2. The method according to p. 1, which before receiving the first number of accesses to the file corresponding to the first data block contains: получение второго числа количества доступов к первому блоку данных, при этом второе число количества доступов представляет собой количество посетителей, которые в текущее время и одновременно получают доступ к первому блоку данных; иobtaining a second number of accesses to the first data block, while the second number of accesses represents the number of visitors who are currently and simultaneously accessing the first data block; and когда второе число количества доступов больше, чем третий предел, поиск файла, соответствующего первому блоку данных.when the second number of accesses is greater than the third limit, search for a file corresponding to the first data block. 3. Способ по п. 2, который перед получением второго числа количества доступов к первому блоку данных содержит:3. The method according to p. 2, which before receiving the second number of accesses to the first data block contains: получение описания признаков первого блока данных, при этом описание признаков используется для представления содержимого, которое есть только у первого блока данных; и информирование текущей распределенной файловой системы и других распределенных файловых систем, связанных с текущей файловой системой, об описании признаков, при этом описание признаков используется для выполнения дедуплицирующей обработки в текущую распределенную файловую систему и другие распределенные файловые системы.obtaining a description of the characteristics of the first data block, while the description of the characteristics is used to represent the content that only the first data block has; and informing the current distributed file system and other distributed file systems associated with the current file system about the description of the characteristics, wherein the description of the characteristics is used to perform deduplication processing in the current distributed file system and other distributed file systems. 4. Способ по п. 3, при котором информирование текущей распределенной файловой системы об описании признаков содержит:4. The method according to p. 3, wherein informing the current distributed file system about the description of the signs contains: информирование узлового сервера в текущей распределенной файловой системе об описании признаков.informing the node server in the current distributed file system about the description of the signs. 5. Способ по п. 2, при котором восстановление первого блока данных в первом носителе данных или втором носителе данных содержит:5. The method according to p. 2, in which the restoration of the first data block in the first data medium or second data medium contains: дупликацию первого блока данных для получения второго блока данных; иduplication of the first data block to obtain a second data block; and дупликацию второго блока данных в первом носителе данных или втором носителе данных.duplication of the second data block in the first data medium or second data medium. 6. Способ по п. 5, который после дупликации второго блока данных в первом носителе данных или втором носителе данных дополнительно содержит:6. The method according to claim 5, which after duplication of the second data block in the first data medium or second data medium further comprises: вычитание первого числа количества доступов из второго числа количества доступов для получение актуального числа количества доступов к первому блоку данных, и вычитание 1 из подсчета ссылок первого блоков данных.subtracting the first number of accesses from the second number of accesses to obtain the actual number of accesses to the first data block, and subtracting 1 from the reference count of the first data blocks. 7. Устройство восстановления дедуплицированных данных, содержащее:7. A device for recovering deduplicated data, comprising: первый получающий модуль, выполненный с возможностью получения первого числа количества доступов к файлу, соответствующему первому блоку данных, при этом первое число доступов представляет собой количество посетителей, в текущее время и одновременно получающих доступ к файлу;a first receiving module configured to obtain a first number of accesses to a file corresponding to the first data block, the first number of accesses being the number of visitors currently accessing the file at the same time; сравнивающий модуль, выполненный с возможностью сравнения первого числа количества доступов с первым пределом и вторым пределом соответственно, при этом первый предел меньше, чем второй предел; иa comparison module configured to compare a first number of accesses with a first limit and a second limit, respectively, wherein the first limit is less than the second limit; and восстанавливающий модуль, выполненный с возможностью восстановления первого блока данных в первом носителе данных или втором носителе данных в соответствии с результатами сравнения; при этом восстанавливающий модуль восстанавливает первый блок данных в первом носителе данных, когда первое число количества доступов больше, чем первый предел, и меньше, чем второй предел, и восстанавливающий модуль восстанавливает первый блок данных во втором носителе данных, когда первое число количества доступов больше, чем второй предел; второй носитель данных имеет большую эффективность, чем первый носитель данных.a recovery module configured to recover the first data block in the first data medium or second data medium in accordance with the comparison results; wherein the recovery module restores the first data block in the first storage medium when the first number of accesses is greater than the first limit and less than the second limit, and the recovery module restores the first data block in the second storage medium when the first number of accesses is greater, than the second limit; the second storage medium is more efficient than the first storage medium. 8. Устройство по п. 7, дополнительно содержащее:8. The device according to claim 7, further comprising: второй получающий модуль, выполненный с возможностью получения второго числа количества доступов к первому блоку данных, при этом второе число количества доступов представляет собой количество посетителей, в текущее время и одновременно получающих доступ к первому блоку данных; иa second receiving module, configured to obtain a second number of accesses to the first data block, wherein the second number of accesses represents the number of visitors currently accessing the first data block; and модуль поиска, выполненный с возможностью, когда второе число количества доступов больше, чем третий предел, поиска файла, соответствующего первому блоку данных.a search module, configured to, when the second number of accesses is greater than the third limit, search for a file corresponding to the first data block. 9. Устройство по п. 8, дополнительно содержащее:9. The device according to p. 8, further comprising: третий получающий модуль, выполненный с возможностью получения описания признаков, при этом описание признаков используется для представления содержимого, которое есть только в первом блоке данных; иa third receiving module, configured to obtain a description of the characteristics, while the description of the characteristics is used to represent content that is only in the first data block; and информирующий модуль, выполненный с возможностью информирования текущей распределенной файловой системы и других распределенных файловых систем, связанных с текущей распределенной файловой системой, при этом описание признаков используется для выполнения дедуплицирующей обработки текущей распределенной файловой системы и других распределенных файловых систем.an information module configured to inform the current distributed file system and other distributed file systems associated with the current distributed file system, wherein the description of the features is used to perform deduplicating processing of the current distributed file system and other distributed file systems. 10. Устройство по п. 9, дополнительно содержащее:10. The device according to claim 9, further comprising: считающий модуль, выполненный с возможностью, после дупликации второго блока данных в первом носителе данных или втором носителе данных, вычитания первого числа количества доступов из второго числа количества доступов для получения актуального числа количества доступов к первому блоку данных, и вычитания 1 из значения счетчика механизма ссылок первого блока данных.a reading module configured to, after duplicating the second data block in the first data medium or second data medium, subtracting the first number of accesses from the second number of accesses to obtain the current number of accesses to the first data block, and subtracting 1 from the value of the counter of the link mechanism first block of data.
RU2016124319A 2013-11-26 2014-04-21 Method and apparatus for restoring deduplicated data RU2665272C1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310612870.X 2013-11-26
CN201310612870.XA CN104679746A (en) 2013-11-26 2013-11-26 Recovery method and device of removed repeated data
PCT/CN2014/075850 WO2015078136A1 (en) 2013-11-26 2014-04-21 Method and apparatus for restoring deduplicated data

Publications (2)

Publication Number Publication Date
RU2016124319A true RU2016124319A (en) 2018-01-09
RU2665272C1 RU2665272C1 (en) 2018-08-28

Family

ID=53198283

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016124319A RU2665272C1 (en) 2013-11-26 2014-04-21 Method and apparatus for restoring deduplicated data

Country Status (3)

Country Link
CN (1) CN104679746A (en)
RU (1) RU2665272C1 (en)
WO (1) WO2015078136A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672248B2 (en) 2014-10-08 2017-06-06 International Business Machines Corporation Embracing and exploiting data skew during a join or groupby
US9922064B2 (en) 2015-03-20 2018-03-20 International Business Machines Corporation Parallel build of non-partitioned join hash tables and non-enforced N:1 join hash tables
US10650011B2 (en) * 2015-03-20 2020-05-12 International Business Machines Corporation Efficient performance of insert and point query operations in a column store
US10831736B2 (en) 2015-03-27 2020-11-10 International Business Machines Corporation Fast multi-tier indexing supporting dynamic update
US10108653B2 (en) 2015-03-27 2018-10-23 International Business Machines Corporation Concurrent reads and inserts into a data structure without latching or waiting by readers

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2315349C1 (en) * 2006-07-12 2008-01-20 Михаил ТОПР Method for replicating information in distributed databases and system for realization thereof
US8489832B1 (en) * 2009-12-10 2013-07-16 Guidance-Tableau, Llc System and method for duplicating electronically stored data
CN101877725B (en) * 2010-06-25 2014-06-11 中兴通讯股份有限公司 Copy management method and device in distributed storage system
CN102385554B (en) * 2011-10-28 2014-01-15 华中科技大学 Method for optimizing duplicated data deletion system
CN102375893A (en) * 2011-11-17 2012-03-14 浪潮(北京)电子信息产业有限公司 Distributed file system and method for establishing duplicate copy
US8458193B1 (en) * 2012-01-31 2013-06-04 Google Inc. System and method for determining active topics
US8903764B2 (en) * 2012-04-25 2014-12-02 International Business Machines Corporation Enhanced reliability in deduplication technology over storage clouds
CN103034592B (en) * 2012-12-05 2016-09-28 华为技术有限公司 Data processing method and device
CN103220367A (en) * 2013-05-13 2013-07-24 深圳市中博科创信息技术有限公司 Data replicating method and data storing system

Also Published As

Publication number Publication date
RU2665272C1 (en) 2018-08-28
WO2015078136A1 (en) 2015-06-04
CN104679746A (en) 2015-06-03

Similar Documents

Publication Publication Date Title
US9934104B2 (en) Metadata generation for incremental backup
AU2011256912B2 (en) Systems and methods for providing increased scalability in deduplication storage systems
US10162555B2 (en) Deduplicating snapshots associated with a backup operation
RU2016124319A (en) METHOD AND DEVICE FOR RESTORING DEDUPLICATED DATA
US9430332B1 (en) Systems and methods for enabling efficient access to incremental backups
US11663236B2 (en) Search and analytics for storage systems
CN104077380A (en) Method and device for deleting duplicated data and system
CN104199888A (en) Data recovery method and device for resilient file system
US10409497B2 (en) Systems and methods for increasing restore speeds of backups stored in deduplicated storage systems
CN104461773A (en) Backup deduplication method of virtual machine
WO2018107792A1 (en) Method and apparatus for incremental recovery of data
CN103617260A (en) Index generation method and device for repeated data deletion
CN104965835B (en) A kind of file read/write method and device of distributed file system
RU2017102476A (en) METHOD AND DEVICE FOR RESTORING DATABASE DATA BASE
CN103176867A (en) Fast file differential backup method
WO2017189597A1 (en) Fault-tolerant enterprise object storage system for small objects
US9483485B1 (en) Restore database from backup system where full and incremental backups are performed simultaneously
US20170293531A1 (en) Snapshot backup
CN104484402A (en) Method and device for deleting repeating data
CN103473278A (en) Repeating data processing technology
CN103412802B (en) Disaster tolerant data file accesses the method and device controlling list backup
WO2015054992A1 (en) Data backup method, apparatus and system
US10649974B1 (en) User-level processes in a shared multi-tenant de-duplication system
CN104615948A (en) Method for automatically recognizing file completeness and restoring
CN111698330B (en) Data recovery method and device of storage cluster and server