JP5444728B2 - ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム - Google Patents
ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム Download PDFInfo
- Publication number
- JP5444728B2 JP5444728B2 JP2009014428A JP2009014428A JP5444728B2 JP 5444728 B2 JP5444728 B2 JP 5444728B2 JP 2009014428 A JP2009014428 A JP 2009014428A JP 2009014428 A JP2009014428 A JP 2009014428A JP 5444728 B2 JP5444728 B2 JP 5444728B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- identification value
- stored
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000013500 data storage Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 34
- 238000013144 data compression Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 7
- 230000010365 information processing Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100217298 Mus musculus Aspm gene Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
ここで、ファイルメタデータ格納装置200が格納するメタデータについて説明する。ファイルメタデータ格納装置200において格納管理されるメタデータは、クライアントメタデータと、システムメタデータとの2種類に分類される。クライアントメタデータは、クライアント100で動作するアプリケーションによって生成される。また、システムメタデータは、クライアント100が発行(送信)した処理リクエストに基づいてファイルデータをストレージシステム400に格納する際にファイルメタデータ格納措置200によって生成される。
クライアント100からストレージシステム400にデータを書き込むために、ユーザは、クライアント100を用いて、生成したデータを書き込む操作を行う。すると、クライアント100のファイルシステム101が生成したファイルが、外部のストレージシステム400へのデータの格納を指し示していた場合、ネットワークファイルシステムクライアント102は、ファイルデータ本体から、他のクライアントと共通して使用されるハッシュ関数を用いてダイジェスト値を算出する(ステップS1)。
ステップS4において、一致しないと判定した場合、リクエスト制御部203は、ダイジェスト値をファイルダイジェスト値格納部202に登録(格納)させる。そして、リクエスト制御部203は、クライアントメタデータ群とダイジェスト値とを関連付けて、ファイルメタデータ格納部201に格納させる(ステップS5)。
ステップS4において、クライアント100から受信したダイジェスト値とファイルダイジェスト値格納部202が格納するダイジェスト値群とが一致すると判定した場合、リクエスト制御部203は、クライアントメタデータ群とダイジェスト値とを関連付けて、ファイルメタデータ格納部201に格納させる(ステップS10)。
以下、クライアント100によるストレージシステム400からのデータの読み込み処理について図5を用いて説明する。図5は、ストレージシステムが実行するデータ読み出し処理例を示す流れ図である。
10 データ本体識別値保存手段
20 データ本体識別値判定手段、
30 分割データ識別値保存手段、
40 分割データ識別値判定手段
100 クライアント
101 ファイルシステム
102 ネットワークファイルシステムクライアント
200 ファイルメタデータ格納装置
201 ファイルメタデータ格納部
202 ファイルダイジェスト値格納部
203 リクエスト制御部
300 ファイルデータ格納装置
301 ブロックデータ格納部
302 ブロックデータダイジェスト値格納部
303 ブロックアドレス管理データ格納部
304 リクエスト制御部
305 構成管理データ格納部
400 ストレージシステム
Claims (7)
- 複数の格納装置を備え、データ本体を識別可能なデータ本体識別値とデータ本体の特徴を示す特徴データとを含む格納依頼を受信してデータ本体を前記格納装置に格納するための処理を行うストレージシステムであって、
格納依頼に含まれていたデータ本体識別値を保存するデータ本体識別値保存手段と、
格納依頼に含まれていた特徴データを保存する特徴データ保存手段と、
新たな格納依頼に含まれているデータ本体識別値と前記識別値保存手段に保存されているデータ本体識別値とを比較することによってデータ本体を格納装置に格納すべきか否か判定するデータ本体識別値判定手段と、
新たな格納依頼に含まれているデータ本体識別値が前記データ本体識別値保存手段に保存されているいずれのデータ本体識別値とも合致しないと前記データ本体識別値判定手段が判定した場合に、格納依頼に含まれていた特徴データと前記特徴データ保存手段に保存されている特徴データとを比較することによってデータ本体が格納される格納装置を選択する格納装置選択手段と、
データ本体を分割した分割データを識別可能な分割データ識別値を保存する分割データ識別値保存手段と、
前記データ本体識別値判定手段が本体データを格納装置に格納すべきと判定した場合に、データ本体に対する分割データ識別値を生成して、生成した分割データ識別値と前記分割データ識別値保存手段に保存されている分割データ識別値とを比較することによってデータ本体の分割データを格納装置に格納すべきか否か判定する分割データ識別値判定手段と
を備えたことを特徴とするストレージシステム。 - 格納装置選択手段は、特徴データ保存手段に保存されている特徴データのうち、格納依頼に含まれていた特徴データと最も類似する特徴データで示される本体データが格納されている格納装置を選択する
請求項1記載のストレージシステム。 - 特徴データは複数のメタデータを含み、
格納装置選択手段は、特徴データ保存手段に保存されている特徴データのうち、格納依頼に含まれていた特徴データに含まれるメタデータに一致するメタデータの数が最も多い特徴データで示される本体データが格納されている格納装置を選択する
請求項2記載のストレージシステム。 - 格納装置選択手段は、特徴データ保存手段に、格納依頼に含まれていた特徴データと類似する特徴データが保存されていないと判定した場合に、空き容量が最も多い格納装置を選択する
請求項1記載のストレージシステム。 - 特徴データは複数のメタデータを含み、
格納装置選択手段は、特徴データ保存手段に、格納依頼に含まれていた特徴データに含まれるメタデータに一致するメタデータを含む特徴データが保存されていない場合に、格納依頼に含まれていた特徴データと類似する特徴データが前記特徴データ保存手段に保存されていないと判定する
請求項4記載のストレージシステム。 - 複数の格納装置を備え、データ本体を識別可能なデータ本体識別値とデータ本体の特徴を示す特徴データとを含む格納依頼を受信してデータ本体を前記格納装置に格納するための処理を行うストレージシステムにおけるコンピュータがプログラムに従って実行するデータ書込方法であって、
格納依頼に含まれていたデータ本体識別値をデータ本体識別値保存手段に保存し、
格納依頼に含まれていた特徴データを特徴データ保存手段に保存し、
データ本体を分割した分割データを識別可能な分割データ識別値を分割データ識別値保存手段に保存し、
新たな格納依頼に含まれているデータ本体識別値と前記データ本体識別値保存手段に保存されているデータ本体識別値とを比較することによってデータ本体を格納装置に格納すべきか否か判定し、
新たな格納依頼に含まれているデータ本体識別値が前記データ本体識別値保存手段に保存されているいずれのデータ本体識別値とも合致しないと判定された場合に、格納依頼に含まれていた特徴データと前記特徴データ保存手段に保存されている特徴データとを比較することによってデータ本体を格納する格納装置を選択し、
本体データを格納装置に格納すべきと判定された場合に、データ本体に対する分割データ識別値を生成して、生成した分割データ識別値と前記分割データ識別値保存手段に保存されている分割データ識別値とを比較することによってデータ本体の分割データを格納装置に格納すべきか否か判定する
ことを特徴とするストレージシステムにおけるデータ書込方法。 - 複数の格納装置を備え、データ本体を識別可能なデータ本体識別値とデータ本体の特徴を示す特徴データとを含む格納依頼を受信してデータ本体を前記格納装置に格納するための処理を行うストレージシステムに搭載されるデータ書込方法プログラムであって、
コンピュータに、
格納依頼に含まれていたデータ本体識別値をデータ本体識別値保存手段に保存する処理と、
格納依頼に含まれていた特徴データを特徴データ保存手段に保存する処理と、
データ本体を分割した分割データを識別可能な分割データ識別値を分割データ識別値保存手段に保存する処理と、
新たな格納依頼に含まれているデータ本体識別値とデータ本体識別値保存手段に保存されているデータ本体識別値とを比較することによってデータ本体を格納装置に格納すべきか否か判定する処理と、
新たな格納依頼に含まれているデータ本体識別値が前記データ本体識別値保存手段に保存されているいずれのデータ本体識別値とも合致しないと判定された場合に、格納依頼に含まれていた特徴データと前記特徴データ保存手段に保存されている特徴データとを比較することによってデータ本体を格納する格納装置を選択する処理と、
本体データを格納装置に格納すべきと判定された場合に、データ本体に対する分割データ識別値を生成して、生成した分割データ識別値と前記分割データ識別値保存手段に保存されている分割データ識別値とを比較することによってデータ本体の分割データを格納装置に格納すべきか否か判定する処理と
を実行させるためのデータ書込プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009014428A JP5444728B2 (ja) | 2009-01-26 | 2009-01-26 | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009014428A JP5444728B2 (ja) | 2009-01-26 | 2009-01-26 | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010170475A JP2010170475A (ja) | 2010-08-05 |
JP5444728B2 true JP5444728B2 (ja) | 2014-03-19 |
Family
ID=42702555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009014428A Expired - Fee Related JP5444728B2 (ja) | 2009-01-26 | 2009-01-26 | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5444728B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103098015B (zh) * | 2010-09-30 | 2015-11-25 | 日本电气株式会社 | 存储系统 |
JP5681558B2 (ja) * | 2011-05-10 | 2015-03-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | データの保存を制御する装置及び方法 |
WO2015162758A1 (ja) * | 2014-04-24 | 2015-10-29 | 株式会社日立製作所 | ストレージシステム |
US10254989B2 (en) * | 2014-05-30 | 2019-04-09 | Hitachi, Ltd. | Method and apparatus of data deduplication storage system |
US9665287B2 (en) * | 2015-09-18 | 2017-05-30 | Alibaba Group Holding Limited | Data deduplication using a solid state drive controller |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001061563A1 (en) * | 2000-02-18 | 2001-08-23 | Avamar Technologies, Inc. | Hash file system and method for use in a commonality factoring system |
JP3899795B2 (ja) * | 2000-09-21 | 2007-03-28 | 日本電気株式会社 | ファイル管理システムおよび方法 |
US7065619B1 (en) * | 2002-12-20 | 2006-06-20 | Data Domain, Inc. | Efficient data storage system |
JP2007200182A (ja) * | 2006-01-30 | 2007-08-09 | Hitachi Ltd | ストレージ装置、及びストレージシステム |
US7747831B2 (en) * | 2006-03-20 | 2010-06-29 | Emc Corporation | High efficiency portable archive and data protection using a virtualization layer |
-
2009
- 2009-01-26 JP JP2009014428A patent/JP5444728B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010170475A (ja) | 2010-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11662936B2 (en) | Writing data using references to previously stored data | |
US10929017B2 (en) | Data block migration | |
US9792306B1 (en) | Data transfer between dissimilar deduplication systems | |
US10198447B2 (en) | Electronic file migration system and various methods of transparent data migration management | |
US8145614B1 (en) | Selection of a data path based on the likelihood that requested information is in a cache | |
US10715622B2 (en) | Systems and methods for accelerating object stores with distributed caching | |
US8307019B2 (en) | File management method and storage system | |
US8849773B2 (en) | Methods and apparatus for active optimization of data | |
US7688753B1 (en) | Selection of a data path based on one or more performance characteristics of a computer system | |
KR20170054299A (ko) | 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법 | |
US8326811B2 (en) | File management method and computer system | |
WO2014057520A1 (en) | Migration-destination file server and file system migration method | |
US8135918B1 (en) | Data de-duplication for iSCSI | |
US9824131B2 (en) | Regulating a replication operation | |
US10380074B1 (en) | Systems and methods for efficient backup deduplication | |
US9952933B1 (en) | Fingerprint change during data operations | |
US10877848B2 (en) | Processing I/O operations in parallel while maintaining read/write consistency using range and priority queues in a data protection system | |
JP5444728B2 (ja) | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム | |
US20180107404A1 (en) | Garbage collection system and process | |
US20170124107A1 (en) | Data deduplication storage system and process | |
JP5494817B2 (ja) | ストレージシステム、データ管理装置、方法及びプログラム | |
US11550753B2 (en) | Data labeling awareness for backup systems | |
Jung et al. | Data deduplication system for supporting multi-mode | |
KR20150057428A (ko) | 메타데이터 관리장치 및 이의 메타데이터 관리방법 | |
GB2484396A (en) | Rebalancing of data in storage cluster when adding a new node |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5444728 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |