JP6568212B2 - 重複排除システムのハッシュ・ベース・マルチテナンシ - Google Patents
重複排除システムのハッシュ・ベース・マルチテナンシ Download PDFInfo
- Publication number
- JP6568212B2 JP6568212B2 JP2017520029A JP2017520029A JP6568212B2 JP 6568212 B2 JP6568212 B2 JP 6568212B2 JP 2017520029 A JP2017520029 A JP 2017520029A JP 2017520029 A JP2017520029 A JP 2017520029A JP 6568212 B2 JP6568212 B2 JP 6568212B2
- Authority
- JP
- Japan
- Prior art keywords
- tenant
- data
- hash
- tenants
- repository
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 description 21
- 238000013500 data storage Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000000926 separation method Methods 0.000 description 13
- 239000000835 fiber Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000004744 fabric Substances 0.000 description 7
- 239000000872 buffer Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
- G09C1/00—Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
HASH{F(4096バイト・データ・セグメント,4バイト・テナントID A)}=ハッシュ値A (1)
ここで、Fは関数であり、4096(ここでは、任意のサイズのバイト・サイズを使用できる)はデータ・セグメントのバイト・サイズであり、テナントID Aは、任意に「A」と表記されたデータ・セグメントについてのテナントIDであり、ハッシュ値Aは、テナントIDを組み込むときの、データ・セグメント「A」についての計算されたハッシュ値である。この実施においては、1つのハッシュ・ベース・インデックスだけが使用される。
14:ストレージ・システム
16:メモリ・デバイス
18:通信ポート
20:通信ネットワーク
24:サーバ
200:データ・ストレージ・システム
210、220、225:ホスト・コンピュータ
216:不揮発性ストレージ(NVS)
230、230a、230b、230n:ストレージ
240:ストレージ・コントローラ
241:制御スイッチ
242:マイクロプロセッサ
243:システム・メモリ
244:バッファ
245:キャッシュ
250:オペレーション・ソフトウェア
255:重複排除モジュール
257:テナントIDモジュール
259:単一のハッシュ・ベース・インデックス・テーブル
260:ネットワーク接続、ネットワーク・アダプタ
261:暗号化モジュール
263:テナント分離モジュール
402、406、502、506:データ・ストリーム
404A〜C、408A〜C、504A〜C、508A〜C:データ・セグメント
510A〜C、512A〜C:テナントID
Claims (17)
- コンピューティング環境における、プロセッサ・デバイスによる重複排除システムのハッシュ・ベース・マルチテナンシのための方法であって、
単一のハッシュ・ベース・インデックス・テーブルを用いて、マルチテナント重複排除システムにおいてデータ・セグメントを分離するためにテナント識別(ID)を入力データの一部であるかのようにハッシュ値計算に組み込むこと、
前記複数のテナントのそれぞれを分離してリポジトリに格納することをさらに実行させることを含み、前記リポジトリは仮想ストレージ・プールおよび物理トレージ・プールの少なくとも一方であり、かつ、前記リポジトリは専用ストレージ・プールおよび共用ストレージ・プールの少なくとも一方である、前記リポジトリに格納すること、
を前記プロセッサ・デバイスに実行させることを含む、方法。 - 前記テナントIDを組み込むことに基づいてハッシュ値を生成することをさらに含む、請求項1に記載の方法。
- データ・セグメントに前記テナントIDの使用を加えた連結に対して前記ハッシュ値計算を行い、人工的な拡張されたデータ・セグメントを生成することをさらに含む、請求項1に記載の方法。
- 2つのデータセグメントの内容が同一であったとしても、複数のテナントが異なるデータ・セグメントを指し示すように、異なるハッシュ値を複数のテナントのそれぞれに割り当てることをさらに含む、請求項1に記載の方法。
- 前記テナントIDを前記リポジトリと関連付けることをさらに含む、請求項1に記載の方法。
- 前記複数のテナントのそれぞれについての前記データ・セグメントを暗号化するために暗号化キーを使用すること、および
データ・セグメントのセキュリティのために、前記複数のテナントのそれぞれについての各テナントIDを暗号化すること、
の少なくとも一方を実施することをさらに含む、請求項1に記載の方法。 - コンピューティング環境における、重複排除システムのハッシュ・ベース・マルチテナンシのためのシステムであって、
重複排除エンジンと、
前記コンピューティング環境内で動作可能であり、前記重複排除エンジンを制御する少なくとも1つのプロセッサ・デバイスと、
を含み、前記プロセッサ・デバイスは、
単一のハッシュ・ベース・インデックス・テーブルを用いて、マルチテナント重複排除システムにおいてデータ・セグメントを分離するために、テナント識別(ID)を入力データの一部であるかのようにハッシュ値計算に組み込み、
前記複数のテナントのそれぞれを分離してリポジトリに格納し、前記リポジトリは仮想ストレージ・プールおよび物理トレージ・プールの少なくとも一方であり、かつ、前記リポジトリは専用ストレージ・プールおよび共用ストレージ・プールの少なくとも一方である、
システム。 - 前記少なくとも1つのプロセッサ・デバイスは、前記テナントIDを組み込むことに基づいてハッシュ値を生成する、請求項7に記載のシステム。
- 前記少なくとも1つのプロセッサ・デバイスは、データ・セグメントに前記テナントIDの使用を加えた連結に対して前記ハッシュ値計算を行い、人工的な拡張されたデータ・セグメントを生成する、請求項7に記載のシステム。
- 前記少なくとも1つのプロセッサ・デバイスは、2つのデータセグメントの内容が同一であったとしても、複数のテナントが異なるデータ・セグメントを指し示すように、異なるハッシュ値を複数のテナントのそれぞれに割り当てる、請求項7に記載のシステム。
- 前記少なくとも1つのプロセッサ・デバイスは、前記テナントIDを前記リポジトリと関連付ける、請求項7に記載のシステム。
- 前記少なくとも1つのプロセッサ・デバイスは、
前記複数のテナントのそれぞれについての前記データ・セグメントを暗号化するために暗号化キーを使用すること、および
データ・セグメントのセキュリティのために、前記複数のテナントのそれぞれについての各テナントIDを暗号化すること、
の少なくとも一方を実施する、請求項7に記載のシステム。 - コンピューティング環境における、プロセッサ・デバイスによる、重複排除システムのハッシュ・ベース・マルチテナンシのためのコンピュータ・プログラムであって、前記コンピュータ・プログラムは、コンピュータ可読プログラム・コード部分を含み、前記コンピュータ可読プログラム・コード部分は、
単一のハッシュ・ベース・インデックス・テーブルを用いて、マルチテナント重複排除システムにおいてデータ・セグメントを分離するためにテナント識別(ID)を入力データの一部であるかのようにハッシュ値計算に組み込む第1の実行可能部分
を含み、
2つのデータセグメントの内容が同一であったとしても、複数のテナントが異なるデータ・セグメントを指し示すように、異なるハッシュ値を複数のテナントのそれぞれに割り当てること、および
前記複数のテナントのそれぞれを分離してリポジトリに格納することであって、前記リポジトリは仮想ストレージ・プールおよび物離トレージ・プールの少なくとも一方であり、かつ、前記リポジトリは専用ストレージ・プールおよび共用ストレージ・プールの少なくとも一方である、分離してリポジトリに格納すること、
の少なくとも一方を実行する第2の実行可能部分をさらに含む、
コンピュータ・プログラム。 - 前記テナントIDを組み込むことに基づいてハッシュ値を生成する第2の実行可能部分をさらに含む、請求項13に記載のコンピュータ・プログラム。
- データ・セグメントに前記テナントIDの使用を加えた連結に対して前記ハッシュ値計算を行い、人工的な拡張されたデータ・セグメントを生成する第2の実行可能部分をさらに含む、請求項13に記載のコンピュータ・プログラム。
- 前記テナントIDを前記リポジトリと関連付ける第3の実行可能部分をさらに含む、請求項13に記載のコンピュータ・プログラム。
- 前記複数のテナントのそれぞれについての前記データ・セグメントを暗号化するために暗号化キーを使用すること、および
データ・セグメントのセキュリティのために、前記複数のテナントのそれぞれについての各テナントIDを暗号化すること、
の少なくとも一方を実施する第2の実行可能部分をさらに含む、請求項13に記載のコンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/322,079 US10803019B2 (en) | 2014-07-02 | 2014-07-02 | Hash-based multi-tenancy in a deduplication system |
US14/322,079 | 2014-07-02 | ||
PCT/IB2015/054532 WO2016001785A1 (en) | 2014-07-02 | 2015-06-16 | Hash-based multi-tenancy in a deduplication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017524213A JP2017524213A (ja) | 2017-08-24 |
JP6568212B2 true JP6568212B2 (ja) | 2019-08-28 |
Family
ID=55017129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017520029A Active JP6568212B2 (ja) | 2014-07-02 | 2015-06-16 | 重複排除システムのハッシュ・ベース・マルチテナンシ |
Country Status (4)
Country | Link |
---|---|
US (1) | US10803019B2 (ja) |
JP (1) | JP6568212B2 (ja) |
CN (1) | CN106471477A (ja) |
WO (1) | WO2016001785A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6231669B2 (ja) * | 2014-09-15 | 2017-11-15 | 華為技術有限公司Huawei Technologies Co.,Ltd. | データ書込み要求処理方法及びストレージアレイ |
US10649974B1 (en) * | 2015-09-30 | 2020-05-12 | EMC IP Holding Company | User-level processes in a shared multi-tenant de-duplication system |
US10380098B1 (en) * | 2015-09-30 | 2019-08-13 | EMC IP Holding Company LLC | Fine-grained shared multi-tenant de-duplication system |
US10671608B1 (en) * | 2015-11-01 | 2020-06-02 | Yellowbrick Data, Inc. | Memory-aware system and method for identifying matching portions of two sets of data in a multiprocessor system |
JP6620595B2 (ja) * | 2016-02-25 | 2019-12-18 | 富士通株式会社 | 情報処理システム、情報処理装置、管理装置、処理プログラム、及び処理方法 |
SG11201704732PA (en) * | 2016-04-19 | 2017-11-29 | Huawei Tech Co Ltd | Vector processing for segmentation hash values calculation |
US10305861B2 (en) | 2016-08-29 | 2019-05-28 | Microsoft Technology Licensing, Llc. | Cross-tenant data leakage isolation |
US12045487B2 (en) | 2017-04-21 | 2024-07-23 | Pure Storage, Inc. | Preserving data deduplication in a multi-tenant storage system |
US10558641B2 (en) | 2017-04-21 | 2020-02-11 | Microsoft Technology Licensing, Llc | Trigger system for databases using proxy |
US10678754B1 (en) * | 2017-04-21 | 2020-06-09 | Pure Storage, Inc. | Per-tenant deduplication for shared storage |
US11403019B2 (en) * | 2017-04-21 | 2022-08-02 | Pure Storage, Inc. | Deduplication-aware per-tenant encryption |
CN107256243A (zh) * | 2017-05-31 | 2017-10-17 | 杭州云证网络科技有限公司 | 一种基于多重哈希算法的数据存取证方法及其装置 |
US10977215B2 (en) | 2017-08-08 | 2021-04-13 | International Business Machines Corporation | System and method for storage optimization in a de-duplication system |
US10241965B1 (en) | 2017-08-24 | 2019-03-26 | Deephaven Data Labs Llc | Computer data distribution architecture connecting an update propagation graph through multiple remote query processors |
US10282129B1 (en) | 2017-10-24 | 2019-05-07 | Bottomline Technologies (De), Inc. | Tenant aware, variable length, deduplication of stored data |
US11106375B2 (en) * | 2019-04-04 | 2021-08-31 | Netapp, Inc. | Deduplication of encrypted data within a remote data store |
US12074471B2 (en) | 2020-12-18 | 2024-08-27 | Eaton Intelligent Power Limited | Apparatus and methods for distribution of UPS-associated energy storage |
US11687492B2 (en) * | 2021-06-21 | 2023-06-27 | International Business Machines Corporation | Selective data deduplication in a multitenant environment |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447829B1 (en) * | 2006-02-10 | 2013-05-21 | Amazon Technologies, Inc. | System and method for controlling access to web services resources |
US8291490B1 (en) | 2008-06-30 | 2012-10-16 | Emc Corporation | Tenant life cycle management for a software as a service platform |
CN101639835A (zh) | 2008-07-30 | 2010-02-03 | 国际商业机器公司 | 多租户场景中应用数据库分区的方法和装置 |
US9473419B2 (en) * | 2008-12-22 | 2016-10-18 | Ctera Networks, Ltd. | Multi-tenant cloud storage system |
US9262643B2 (en) | 2010-02-22 | 2016-02-16 | Sookasa Inc. | Encrypting files within a cloud computing environment |
US8775486B2 (en) * | 2011-04-04 | 2014-07-08 | Symantec Corporation | Global indexing within an enterprise object store file system |
US8782762B2 (en) | 2011-08-17 | 2014-07-15 | International Business Machines Corporation | Building data security in a networked computing environment |
JP5929326B2 (ja) | 2012-03-02 | 2016-06-01 | 日本電気株式会社 | ストレージシステム |
US8875247B2 (en) * | 2013-03-14 | 2014-10-28 | Facebook, Inc. | Instant personalization security |
-
2014
- 2014-07-02 US US14/322,079 patent/US10803019B2/en active Active
-
2015
- 2015-06-16 CN CN201580036293.1A patent/CN106471477A/zh active Pending
- 2015-06-16 WO PCT/IB2015/054532 patent/WO2016001785A1/en active Application Filing
- 2015-06-16 JP JP2017520029A patent/JP6568212B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US10803019B2 (en) | 2020-10-13 |
CN106471477A (zh) | 2017-03-01 |
WO2016001785A1 (en) | 2016-01-07 |
JP2017524213A (ja) | 2017-08-24 |
US20160004716A1 (en) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6568212B2 (ja) | 重複排除システムのハッシュ・ベース・マルチテナンシ | |
US11153094B2 (en) | Secure data deduplication with smaller hash values | |
US9792450B2 (en) | Preserving redundancy in data deduplication systems by encryption | |
US10701134B2 (en) | Transferring data between block and file storage systems | |
US20170317991A1 (en) | Offloading storage encryption operations | |
JP6227007B2 (ja) | データ圧縮領域へのデータの実時間分類 | |
US10261946B2 (en) | Rebalancing distributed metadata | |
WO2013008264A1 (en) | Storage system and its data processing method | |
US20190129971A1 (en) | Storage system and method of controlling storage system | |
US10242021B2 (en) | Storing data deduplication metadata in a grid of processors | |
US10223209B2 (en) | Splitting a clone having snapshots from a parent | |
JP2021533619A (ja) | マルチテナントデータベース管理システムにおけるデータベース暗号化のシステム及び方法 | |
US10255288B2 (en) | Distributed data deduplication in a grid of processors | |
US8848918B2 (en) | Method and system for deleting data | |
US10268384B2 (en) | File transfers between machines without target CPU intervention | |
US10719399B2 (en) | System combining efficient reliable storage and deduplication | |
US10740203B2 (en) | Aggregation of updated tracks to be copied to a backup volume for physically contiguous storage on a RAID stride |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6568212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |