JP7376488B2 - スナップショットのコピーオンライトのデータ移動を回避するインフラストラクチャとしての重複除外 - Google Patents
スナップショットのコピーオンライトのデータ移動を回避するインフラストラクチャとしての重複除外 Download PDFInfo
- Publication number
- JP7376488B2 JP7376488B2 JP2020541342A JP2020541342A JP7376488B2 JP 7376488 B2 JP7376488 B2 JP 7376488B2 JP 2020541342 A JP2020541342 A JP 2020541342A JP 2020541342 A JP2020541342 A JP 2020541342A JP 7376488 B2 JP7376488 B2 JP 7376488B2
- Authority
- JP
- Japan
- Prior art keywords
- snapshot
- chunk
- deduplication
- disk
- virtual volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 11
- 239000000872 buffer Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000010367 cloning Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
- G06F16/1752—De-duplication implemented within the file system, e.g. based on file segments based on file chunks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
Description
Claims (9)
- スナップショットコピー・オン・ライトのためのデータ移動を低減するためのストレージシステムの方法において、
複数のスナップショットチャンクを備えたライブバーチャルボリュームを提供するステップであって、前記複数のスナップショットチャンクの各スナップショットチャンクは、複数の重複排除チャンクに分割され、前記複数の重複排除チャンクのそれぞれは、ディスク上のディスクチャンクにマッピングされる、ステップと、
スナップショットを構成する複数のスナップショットチャンクのそれぞれの複数の重複排除チャンクのそれぞれを、前記ディスク上のそれぞれのディスクチャンクにマッピングすることによって、前記ディスク内の前記ライブバーチャルボリュームの潜在的なデータのいずれをもコピーすることなく、前記ライブバーチャルボリュームの前記スナップショットを作成するステップと、
ディスクチャンクにマッピングされ、且つスナップショットからもマッピングされた重複排除チャンクのセットを含む前記ライブバーチャルボリュームのスナップショットチャンクへのホストライト動作に応答して、重複排除動作を用いるスナップショットコピー・オン・ライトを実行するステップと、
を備え、
前記重複排除動作は、
データが特定の重複排除チャンクで変更された場合、前記ライブバーチャルボリュームへの前記ホストライト動作によって書き込まれている前記スナップショットチャンクの各重複排除チャンクを決定するステップと、
前記ライブバーチャルボリュームの前記スナップショットチャンクの前記変更された重複排除チャンクを、異なるディスクチャンクまたは新しいディスクチャンクにマッピングするステップと、を備え、
前記ホストライト動作の前に前記ライブバーチャルボリュームの前記スナップショットチャンクの前記特定の重複排除チャンクからマッピングされ、且つ前記スナップショットからマッピングされたディスクチャンクは、前記ホストライト動作の後に前記スナップショットからマッピングされたままになり、
変更された重複排除チャンクは、
そのデータパターンが、重複排除データベースの既存のパターンと一致する場合は、異なるディスクチャンクへ、
そのデータパターンが新しいため、重複排除データベース内の既存のパターンと一致しない場合は、新しいディスクチャンクへ、
マッピングされ、
スナップショットチャンクは、前記ライブバーチャルボリュームが変更されるときに、スナップショットレイヤがコピー・オン・ライト動作を実行する論理ユニットである、方法。 - 前記重複排除動作は、前記ホストライトにより書き込まれるデータパターンの参照カウントをインクリメントするステップをさらに備えた、請求項1に記載の方法。
- 前記重複排除動作は、前記ホストライトにより上書きされたデータパターンの参照カウントをデクリメントするステップをさらに備えた請求項1に記載の方法。
- スナップショットレイヤと、前記スナップショットレイヤの下の重複排除レイヤを実行するように構成されたプロセッサであって、
前記スナップショットレイヤは、
ライブバーチャルボリュームの潜在的データのいずれをもディスクにコピーすることなく、前記ライブバーチャルボリュームのスナップショットを作成し、前記ライブバーチャルボリュームは、ディスク上のディスクロケーションに前記重複排除レイヤを介してマッピングされたスナップショットチャンクを備え、
ディスクチャンクにマッピングされ、且つスナップショットからもマッピングされた重複排除チャンクのセットを含む前記ライブバーチャルボリュームのスナップショットチャンクへの各ホストライトに関して、スナップショットコピー・オン・ライト動作を実行する、ように構成されたスナップショットレイヤであり、
前記重複排除レイヤは、
各スナップショットチャンクを複数の重複排除チャンクに分割し、前記複数の重複排除チャンクのそれぞれを前記ディスク上のディスクチャンクにマッピングし、
各スナップショットコピー・オン・ライト動作に関して、重複排除動作を実行する、ように構成された重複排除レイヤであり、
前記重複排除動作は、
データが特定の重複排除チャンクで変更された場合、前記ライブバーチャルボリュームへのホストライト動作によって書き込まれている前記スナップショットチャンクの各重複排除チャンクを決定するステップと、
前記ライブバーチャルボリュームの前記スナップショットチャンクの前記変更された重複排除チャンクを、異なるディスクチャンクまたは新しいディスクチャンクにマッピングするステップと、を備え、
前記ホストライト動作の前に前記ライブバーチャルボリュームの前記スナップショットチャンクの前記特定の重複排除チャンクからマッピングされ、且つ前記スナップショットからマッピングされたディスクチャンクは、前記ホストライト動作の後に前記スナップショットからマッピングされたままになり、
変更された重複排除チャンクは、
そのデータパターンが、重複排除データベースの既存のパターンと一致する場合は、異なるディスクチャンクへ、
そのデータパターンが新しいため、重複排除データベース内の既存のパターンと一致しない場合は、新しいディスクチャンクへ、
マッピングされ、
スナップショットチャンクは、前記ライブバーチャルボリュームが変更されるときに、スナップショットレイヤがコピー・オン・ライト動作を実行する論理ユニットである、
プロセッサを含む、ストレージシステム。 - 前記重複排除動作は、さらに前記ホストライトにより書き込まれたデータパターンの参照カウントをインクリメントすることをさらに備えた、請求項4に記載のシステム。
- 前記重複排除動作は、前記ホストライトにより上書きされたデータパターンの参照カウントをデクリメントすることをさらに備えた、請求項4に記載のシステム。
- スナップショットコピー・オン・ライト動作のためのデータ移動を低減するように、ストレージシステムをインプリメントするように、プロセッサにより実行可能な命令で符号化された非一時的コンピュータ可読記憶媒体において、前記命令は、
複数のスナップショットチャンクを備えたライブバーチャルボリュームを提供することであって、前記複数のスナップショットチャンクの各スナップショットチャンクは、複数の重複排除チャンクに分割され、前記複数の重複排除チャンクの各重複排除チャンクは、ディスク上のディスクチャンクにマッピングされる、ライブバーチャルボリュームを提供することと、
スナップショットを構成する複数のスナップショットチャンクのそれぞれの複数の重複排除チャンクのそれぞれを、前記ディスク上のそれぞれのディスクチャンクにマッピングすることによって、前記ライブバーチャルボリュームの潜在的データのいずれをも、前記ディスクにコピーすることなく、前記ライブバーチャルボリュームの前記スナップショットを作成することと、
ディスクチャンクにマッピングされ、且つスナップショットからもマッピングされた重複排除チャンクのセットを含む前記ライブバーチャルボリュームのスナップショットチャンクへの各ホストライト動作に応答して、重複排除動作を用いるスナップショットコピー・オン・ライト動作を実行することと、
を備え、
前記重複排除動作は、
データが特定の重複排除チャンクで変更された場合、前記ライブバーチャルボリュームへのホストライト動作によって書き込まれている前記スナップショットチャンクの各重複排除チャンクを決定するステップと、
前記ライブバーチャルボリュームの前記スナップショットチャンクの前記変更された重複排除チャンクを、異なるディスクチャンクまたは新しいディスクチャンクにマッピングするステップと、を備え、
前記ホストライト動作の前に前記ライブバーチャルボリュームの前記スナップショットチャンクの前記特定の重複排除チャンクからマッピングされ、且つ前記スナップショットからマッピングされたディスクチャンクは、前記ホストライト動作の後に前記スナップショットからマッピングされたままになり、
変更された重複排除チャンクは、
そのデータパターンが、重複排除データベース(114)の既存のパターンと一致する場合は、異なるディスクチャンクへ、
そのデータパターンが新しいため、重複排除データベース(114)内の既存のパターンと一致しない場合は、新しいディスクチャンクへ、
マッピングされ、
スナップショットチャンクは、前記ライブバーチャルボリュームが変更されるときに、スナップショットレイヤ(108)がコピー・オン・ライト動作を実行する論理ユニットである、
非一時的コンピュータ可読記憶媒体。 - 前記重複排除動作は、前記ホストライトにより書き込まれるデータパターンの参照カウントをインクリメントすることをさらに備えた、請求項7に記載の記憶媒体。
- 前記重複排除動作は、前記ホストライトにより上書きされるデータパターンの参照カウントをデクリメントすることをさらに備えた、請求項7に記載の記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/726,205 | 2017-10-05 | ||
US15/726,205 US10884868B2 (en) | 2017-10-05 | 2017-10-05 | Dedupe as an infrastructure to avoid data movement for snapshot copy-on-writes |
PCT/US2018/052548 WO2019070450A1 (en) | 2017-10-05 | 2018-09-24 | DEDUPLICATION AS INFRASTRUCTURE TO AVOID DATA MOVEMENT FOR SNAPSHOT WRITING COPIES |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020536342A JP2020536342A (ja) | 2020-12-10 |
JP7376488B2 true JP7376488B2 (ja) | 2023-11-08 |
Family
ID=65993279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541342A Active JP7376488B2 (ja) | 2017-10-05 | 2018-09-24 | スナップショットのコピーオンライトのデータ移動を回避するインフラストラクチャとしての重複除外 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10884868B2 (ja) |
EP (1) | EP3692445B1 (ja) |
JP (1) | JP7376488B2 (ja) |
WO (1) | WO2019070450A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11513909B2 (en) * | 2021-04-15 | 2022-11-29 | EMC IP Holding Company, LLC | System and method for scheduled snapshot pacing with deduplication |
US11455255B1 (en) * | 2021-05-24 | 2022-09-27 | Vmware, Inc. | Read performance of log-structured file system (LFS)-based storage systems that support copy-on-write (COW) snapshotting |
CN113377292B (zh) * | 2021-07-02 | 2024-02-02 | 北京青云科技股份有限公司 | 一种单机存储引擎 |
JP7387679B2 (ja) * | 2021-07-12 | 2023-11-28 | 株式会社日立製作所 | バックアップシステム及び方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120221817A1 (en) | 2007-12-31 | 2012-08-30 | Emc Corporation | Global de-duplication in shared architectures |
JP2015534684A (ja) | 2012-09-19 | 2015-12-03 | ヒタチ データ システムズ エンジニアリング ユーケー リミテッドHitachi Data Systems Engineering Uk Limited | ファイルストレージシステムにおけるチェックポイントを用いて重複排除を管理するシステムおよび方法 |
JP2017083933A (ja) | 2015-10-23 | 2017-05-18 | 富士通株式会社 | ストレージ制御装置およびストレージ制御プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102378969B (zh) | 2009-03-30 | 2015-08-05 | 惠普开发有限公司 | 拷贝卷中存储的数据的去重复 |
US8612702B1 (en) * | 2009-03-31 | 2013-12-17 | Symantec Corporation | Systems and methods for performing optimized backups of multiple volumes |
US8396905B2 (en) | 2010-11-16 | 2013-03-12 | Actifio, Inc. | System and method for improved garbage collection operations in a deduplicated store by tracking temporal relationships among copies |
US8738873B2 (en) * | 2011-06-22 | 2014-05-27 | International Business Machines Corporation | Interfacing with a point-in-time copy service architecture |
WO2013177065A2 (en) * | 2012-05-20 | 2013-11-28 | Storsimple, Inc. | System and methods for implementing a server-based hierarchical mass storage system |
US9405709B1 (en) * | 2012-08-13 | 2016-08-02 | Veritas Technologies Llc | Systems and methods for performing copy-on-write operations |
US8832024B2 (en) * | 2012-10-26 | 2014-09-09 | Netapp, Inc. | Simplified copy offload |
US9592448B2 (en) * | 2013-03-15 | 2017-03-14 | Skyera, Llc | Apparatus and method for using fields in N-space translation of storage requests |
US9792075B1 (en) * | 2014-02-26 | 2017-10-17 | Veritas Technologies Llc | Systems and methods for synthesizing virtual hard drives |
WO2016044403A1 (en) * | 2014-09-16 | 2016-03-24 | Mutalik, Madhav | Copy data techniques |
-
2017
- 2017-10-05 US US15/726,205 patent/US10884868B2/en active Active
-
2018
- 2018-09-24 WO PCT/US2018/052548 patent/WO2019070450A1/en unknown
- 2018-09-24 JP JP2020541342A patent/JP7376488B2/ja active Active
- 2018-09-24 EP EP18864879.4A patent/EP3692445B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120221817A1 (en) | 2007-12-31 | 2012-08-30 | Emc Corporation | Global de-duplication in shared architectures |
JP2015534684A (ja) | 2012-09-19 | 2015-12-03 | ヒタチ データ システムズ エンジニアリング ユーケー リミテッドHitachi Data Systems Engineering Uk Limited | ファイルストレージシステムにおけるチェックポイントを用いて重複排除を管理するシステムおよび方法 |
JP2017083933A (ja) | 2015-10-23 | 2017-05-18 | 富士通株式会社 | ストレージ制御装置およびストレージ制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3692445A4 (en) | 2021-06-30 |
US20190108100A1 (en) | 2019-04-11 |
US10884868B2 (en) | 2021-01-05 |
JP2020536342A (ja) | 2020-12-10 |
WO2019070450A1 (en) | 2019-04-11 |
EP3692445B1 (en) | 2023-06-28 |
EP3692445A1 (en) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106354745B (zh) | 用于提供计算机装置的接口的方法和计算机装置 | |
US10713161B2 (en) | Memory system and method for controlling nonvolatile memory | |
US10747718B2 (en) | Mapping structure for maintaining metadata for snapshots in a virtualized storage environment | |
US10261913B2 (en) | Persistent memory for key-value storage | |
JP7376488B2 (ja) | スナップショットのコピーオンライトのデータ移動を回避するインフラストラクチャとしての重複除外 | |
US9946642B2 (en) | Distributed multimode storage management | |
US11226747B2 (en) | System and method for copy on write on an SSD | |
US10346075B2 (en) | Distributed storage system and control method for distributed storage system | |
US10248623B1 (en) | Data deduplication techniques | |
JP6600698B2 (ja) | 計算機システム | |
US20170337212A1 (en) | Computer program product, method, apparatus and data storage system for managing defragmentation in file systems | |
US9921963B1 (en) | Method to decrease computation for cache eviction using deferred calculations | |
US9720835B1 (en) | Methods to efficiently implement coarse granularity cache eviction based on segment deletion hints | |
KR20170009706A (ko) | 중복 데이터를 감소시키기 위한 저장 장치 및 그것의 동작 방법 | |
US10120583B2 (en) | Performance penalty avoidance for solid state drive | |
CN107704466B (zh) | 数据储存系统 | |
CN110187834B (zh) | 重删副本的数据处理方法、装置、电子设备 | |
US9892044B1 (en) | Methods to efficiently implement coarse granularity cache eviction | |
US20210109671A1 (en) | Performance optimization in a storage system environment | |
JP6721765B2 (ja) | メモリシステムおよび制御方法 | |
JP6552701B2 (ja) | メモリシステムおよび制御方法 | |
US10740015B2 (en) | Optimized management of file system metadata within solid state storage devices (SSDs) | |
CN115220651A (zh) | 与克隆对象相关的系统和方法 | |
CN116821075A (zh) | 数据去重的方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7376488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |