JP5446378B2 - ストレージシステム - Google Patents
ストレージシステム Download PDFInfo
- Publication number
- JP5446378B2 JP5446378B2 JP2009080923A JP2009080923A JP5446378B2 JP 5446378 B2 JP5446378 B2 JP 5446378B2 JP 2009080923 A JP2009080923 A JP 2009080923A JP 2009080923 A JP2009080923 A JP 2009080923A JP 5446378 B2 JP5446378 B2 JP 5446378B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- address
- file
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/137—Hash-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
- G06F12/1027—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
ストレージサーバと、当該ストレージサーバに対するデータの書き込み/読み出しを制御する複数のファイルサーバと、を備えている。
記憶対象データを記憶すると共に、当該記憶対象データを識別する識別データと、上記記憶対象データの格納位置を参照するデータであり当該記憶対象データのデータ内容に基づいて生成されたアドレスデータと、を関連付けたアドレスマップを記憶したストレージサーバに対して、データの書き込み/読み出しを制御する複数のファイルサーバが、上記アドレスマップの複製を分散したデータであり上記ファイルサーバ毎に予め割り当てられた上記識別データを有する各アドレスマップキャッシュをそれぞれ記憶している場合に、上記各ファイルサーバに、
上記ストレージサーバに新たに上記記憶対象データを格納した際に、当該記憶対象データの上記識別データと、当該記憶対象データのデータ内容に基づいて生成された上記アドレスデータと、を関連付けて上記アドレスマップキャッシュに記憶するアドレスマップ操作手段を実現させるプログラムである。
記憶対象データを記憶すると共に、当該記憶対象データを識別する識別データと、上記記憶対象データの格納位置を参照するデータであり当該記憶対象データのデータ内容に基づいて生成されたアドレスデータと、を関連付けたアドレスマップを記憶したストレージサーバに対して、データの書き込み/読み出しを制御すると共に、上記アドレスマップの複製を分散したデータであり上記ファイルサーバ毎に予め割り当てられた上記識別データを有する各アドレスマップキャッシュをそれぞれ記憶している複数のファイルサーバにて、
上記ストレージサーバに新たに上記記憶対象データを格納した際に、当該記憶対象データの上記識別データと、当該記憶対象データのデータ内容に基づいて生成された上記アドレスデータと、を関連付けて上記アドレスマップキャッシュに記憶する。
本発明の第1の実施形態を、図3乃至図5を参照して説明する。図3は、本実施形態におけるコンテンツアドレスストレージシステムの構成を示す機能ブロック図である。図4は、ファイルサーバに記憶されているinodeとファイルサーバとの対応表を示す図である。図5は、imapの様子を示す図である。
図1に示すように、本発明におけるコンテンツアドレスストレージシステムは、相互に接続されたストレージサーバ20とファイルサーバ11,12,13とを備えている。また、コンテンツアドレスストレージシステムには、クライアント31,32,33が接続されている。以下、各構成について詳述する。
次に、上述したストレージシステムつまりファイルサーバ11,12,13の動作を説明する。なお、ここでは、上記imap分割情報記憶部11aには、図4に示すような、inode番号、inodeのコンテンツアドレスの条件、および、inodeを管理するファイルサーバの対応表を記憶している。具体的には、ファイルサーバ11にはinode番号1〜100が割り当てられており、当該inode番号1〜100を用いて、当該ファイルサーバ11が有するimapキャッシュ110で、コンテンツアドレスを6で割った余りが0となるinodeを管理するよう設定されている。同様に、ファイルサーバ12,13には、それぞれinode番号101〜200,201〜300が割り当てられており、それぞれのファイルサーバ12,13のimapキャッシュ120,130にて、余りがそれぞれ1,2となるinodeをそれぞれ管理するよう設定されていることとする。
次に、本発明の第2の実施形態を、図6乃至図10を参照して説明する。図6は、ファイルサーバの構成を示す機能ブロック図である。図7及び図9は、imapキャッシュの様子を示す図である。図8及び図10は、ファイルサーバに記憶されているinodeとファイルサーバとの対応表を示す図である。
次に、本発明の第3の実施形態を、図11乃至図13を参照して説明する。図11は、本実施形態におけるストレージシステム全体の構成を示すブロック図である。図12は、本実施形態におけるストレージシステム全体の他の構成を示すブロック図である。図13は、ファイルサーバに記憶されているinodeとファイルサーバとの対応表を示す図である。
本発明の第4の実施形態を、図14を参照して説明する。図14は、ストレージシステムの構成を示す機能ブロック図である。なお、本実施形態では、ストレージシステムの概略を説明する。
記憶対象データを記憶すると共に、当該記憶対象データを識別する識別データと、上記記憶対象データの格納位置を参照するデータであり当該記憶対象データのデータ内容に基づいて生成されたアドレスデータと、を関連付けたアドレスマップを記憶したストレージサーバに対して、データの書き込み/読み出しを制御する複数のファイルサーバが、上記アドレスマップの複製を分散したデータであり上記ファイルサーバ毎に予め割り当てられた上記識別データを有する各アドレスマップキャッシュをそれぞれ記憶している場合に、上記各ファイルサーバに、
上記ストレージサーバに新たに上記記憶対象データを格納した際に、当該記憶対象データの上記識別データと、当該記憶対象データのデータ内容に基づいて生成された上記アドレスデータと、を関連付けて上記アドレスマップキャッシュに記憶するアドレスマップ操作手段を実現させる。
記憶対象データを記憶すると共に、当該記憶対象データを識別する識別データと、上記記憶対象データの格納位置を参照するデータであり当該記憶対象データのデータ内容に基づいて生成されたアドレスデータと、を関連付けたアドレスマップを記憶したストレージサーバに対して、データの書き込み/読み出しを制御すると共に、上記アドレスマップの複製を分散したデータであり上記ファイルサーバ毎に予め割り当てられた上記識別データを有する各アドレスマップキャッシュをそれぞれ記憶している複数のファイルサーバにて、
上記ストレージサーバに新たに上記記憶対象データを格納した際に、当該記憶対象データの上記識別データと、当該記憶対象データのデータ内容に基づいて生成された上記アドレスデータと、を関連付けて上記アドレスマップキャッシュに記憶する。
11a,12a,13a imap分割情報記憶部
11b,12b,13b imap操作部
11c,12c,13c imap一時記憶部
11d imap分散部
20,21,22,23,24,25 ストレージサーバ
20a,120a imap
20b inode
20c ファイルデータ
31,32,33 クライアント
110,120,130 imapキャッシュ
Claims (11)
- ストレージサーバと、当該ストレージサーバに対するデータの書き込み/読み出しを制御する複数のファイルサーバと、を備え、
前記ストレージサーバは、所定のファイルデータを分割した各ブロックデータを前記ストレージサーバに格納した場合に、当該各ブロックデータの格納位置をそれぞれ参照する各ブロックアドレスデータを含むアドレスリストデータである記憶対象データを記憶すると共に、当該記憶対象データを識別する識別データと、前記記憶対象データの格納位置を参照するデータであり当該記憶対象データのデータ内容に基づいて生成されたアドレスデータと、を関連付けたアドレスマップを記憶しており、
前記各ファイルサーバは、前記アドレスマップの複製を分散したデータであって前記ファイルサーバ毎に予め割り当てられた前記識別データを有する各アドレスマップキャッシュをそれぞれ記憶しており、前記ストレージサーバに新たに前記記憶対象データを格納した際に、当該記憶対象データの前記識別データと、当該記憶対象データのデータ内容に基づいて生成された前記アドレスデータと、を関連付けて前記アドレスマップキャッシュに記憶するアドレスマップ操作手段を備え、
前記アドレスマップ操作手段は、前記新たな記憶対象データの前記アドレスデータに基づいて前記ファイルサーバを特定すると共に、この特定されたファイルサーバが有する前記アドレスマップキャッシュに、当該特定されたファイルサーバに予め割り当てられた前記識別データを前記新たな記憶対象データの識別データとして当該識別データに前記新たな記憶対象データの前記アドレスデータを関連付けて記憶する、
ストレージシステム。 - 請求項1記載のストレージシステムであって、
前記アドレスマップ操作手段は、前記新たな記憶対象データの前記アドレスデータの少なくとも一部に基づいて特定される数値と、前記ファイルサーバの数と、に基づいて判定値を算出し、この判定値に基づいて前記ファイルサーバを特定する、
ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記アドレスマップ操作手段は、前記アドレスデータの少なくとも一部に基づいて特定される数値を、前記ファイルサーバの数で割った余りを、前記判定値として算出する、
ストレージシステム。 - 請求項1乃至3のいずれか一項に記載のストレージシステムであって、
前記各ファイルサーバは、前記アドレスマップキャッシュを複数記憶しており、所定の前記ファイルサーバの障害発生時に、当該障害が発生したファイルサーバに記憶されている前記複数のアドレスマップキャッシュを、複数の他の前記ファイルサーバにそれぞれ分散して記憶するアドレスマップ分散手段を備えた、
ストレージシステム。 - 請求項4記載のストレージシステムであって、
前記各ファイルサーバは、ストレージシステムに装備されている前記ファイルサーバの数をnとした場合に、n−1の整数倍の前記アドレスマップキャッシュをそれぞれ記憶しており、
前記アドレスマップ分散手段は、所定の前記ファイルサーバの障害発生時に、当該障害が発生したファイルサーバに記憶されている前記アドレスマップキャッシュを、複数の他の前記ファイルサーバにそれぞれ均等に分散して記憶する、
ストレージシステム。 - 請求項1乃至5のいずれか一項に記載のストレージシステムであって、
前記アドレスマップ操作手段は、前記ストレージサーバに記憶された前記記憶対象データの前記アドレスデータと、当該記憶対象データの前記識別データと、を関連付けて、当該記憶対象データを記憶している前記ストレージサーバに予め対応して設定されている前記ファイルサーバが有する前記アドレスマップキャッシュに記憶する、
ストレージシステム。 - 請求項6記載のストレージシステムであって、
前記アドレスマップ操作手段は、前記新たな記憶対象データの前記アドレスデータの少なくとも一部に基づいて特定される数値と、前記ファイルサーバの数と、に基づいて算出される判定値毎に相互に対応して設定された前記ストレージサーバと前記ファイルサーバとに、前記記憶対象データと、当該記憶対象データの前記識別データ及び当該記憶対象データのデータ内容に基づいて生成された前記アドレスデータを関連付けたデータと、をそれぞれ記憶する、
ストレージシステム。 - 所定のファイルデータを分割した各ブロックデータをストレージサーバに格納した場合に、当該各ブロックデータの格納位置をそれぞれ参照する各ブロックアドレスデータを含むアドレスリストデータである記憶対象データを記憶すると共に、当該記憶対象データを識別する識別データと、前記記憶対象データの格納位置を参照するデータであり当該記憶対象データのデータ内容に基づいて生成されたアドレスデータと、を関連付けたアドレスマップを記憶したストレージサーバに対して、データの書き込み/読み出しを制御する複数のファイルサーバが、前記アドレスマップの複製を分散したデータであり前記ファイルサーバ毎に予め割り当てられた前記識別データを有する各アドレスマップキャッシュをそれぞれ記憶している場合に、前記各ファイルサーバに、
前記ストレージサーバに新たに前記記憶対象データを格納した際に、当該記憶対象データの前記識別データと、当該記憶対象データのデータ内容に基づいて生成された前記アドレスデータと、を関連付けて前記アドレスマップキャッシュに記憶するアドレスマップ操作手段を実現させると共に、
前記アドレスマップ操作手段は、前記新たな記憶対象データの前記アドレスデータに基づいて前記ファイルサーバを特定すると共に、この特定されたファイルサーバが有する前記アドレスマップキャッシュに、当該特定されたファイルサーバに予め割り当てられた前記識別データを前記新たな記憶対象データの識別データとして当該識別データに前記新たな記憶対象データの前記アドレスデータを関連付けて記憶する、
プログラム。 - 請求項8記載のプログラムであって、
前記アドレスマップ操作手段は、前記新たな記憶対象データの前記アドレスデータの少なくとも一部に基づいて特定される数値と、前記ファイルサーバの数と、に基づいて判定値を算出し、この判定値に基づいて前記ファイルサーバを特定する、
プログラム。 - 所定のファイルデータを分割した各ブロックデータをストレージサーバに格納した場合に、当該各ブロックデータの格納位置をそれぞれ参照する各ブロックアドレスデータを含むアドレスリストデータである記憶対象データを記憶すると共に、当該記憶対象データを識別する識別データと、前記記憶対象データの格納位置を参照するデータであり当該記憶対象データのデータ内容に基づいて生成されたアドレスデータと、を関連付けたアドレスマップを記憶したストレージサーバに対して、データの書き込み/読み出しを制御すると共に、前記アドレスマップの複製を分散したデータでありファイルサーバ毎に予め割り当てられた前記識別データを有する各アドレスマップキャッシュをそれぞれ記憶している複数の前記ファイルサーバにて、
前記ストレージサーバに新たに前記記憶対象データを格納した際に、当該記憶対象データの前記識別データと、当該記憶対象データのデータ内容に基づいて生成された前記アドレスデータと、を関連付けて前記アドレスマップキャッシュに記憶し、
前記アドレスマップキャッシュに記憶するときに、前記新たな記憶対象データの前記アドレスデータに基づいて前記ファイルサーバを特定すると共に、この特定されたファイルサーバが有する前記アドレスマップキャッシュに、当該特定されたファイルサーバに予め割り当てられた前記識別データを前記新たな記憶対象データの識別データとして当該識別データに前記新たな記憶対象データの前記アドレスデータを関連付けて記憶する、
ファイル管理方法。 - 請求項10記載のファイル管理方法であって、
前記ファイルサーバを特定するときに、前記新たな記憶対象データの前記アドレスデータの少なくとも一部に基づいて特定される数値と、前記ファイルサーバの数と、に基づいて判定値を算出し、この判定値に基づいて前記ファイルサーバを特定する、
ファイル管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009080923A JP5446378B2 (ja) | 2009-03-30 | 2009-03-30 | ストレージシステム |
PCT/JP2009/006903 WO2010116434A1 (ja) | 2009-03-30 | 2009-12-16 | ストレージシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009080923A JP5446378B2 (ja) | 2009-03-30 | 2009-03-30 | ストレージシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010231690A JP2010231690A (ja) | 2010-10-14 |
JP5446378B2 true JP5446378B2 (ja) | 2014-03-19 |
Family
ID=42935746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009080923A Expired - Fee Related JP5446378B2 (ja) | 2009-03-30 | 2009-03-30 | ストレージシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5446378B2 (ja) |
WO (1) | WO2010116434A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5467032B2 (ja) * | 2010-12-09 | 2014-04-09 | 日本電信電話株式会社 | 情報管理システムとそのデータ更新操作方法 |
EP2650792A4 (en) * | 2010-12-10 | 2016-11-09 | Fujitsu Ltd | INFORMATION PROCESSING DEVICE AND PROGRAM |
WO2015189936A1 (ja) * | 2014-06-11 | 2015-12-17 | 株式会社 東芝 | 共有ストレージシステム、及びストレージ装置へのアクセスを制御する方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148545A (ja) * | 2005-11-24 | 2007-06-14 | Brother Ind Ltd | 情報配信システム、情報配信方法、ノード装置、及びノード処理プログラム |
US7716180B2 (en) * | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
JP2008234445A (ja) * | 2007-03-22 | 2008-10-02 | Brother Ind Ltd | コンテンツ分散保存システム、複製データ取得方法、ノード装置、及びノード処理プログラム |
-
2009
- 2009-03-30 JP JP2009080923A patent/JP5446378B2/ja not_active Expired - Fee Related
- 2009-12-16 WO PCT/JP2009/006903 patent/WO2010116434A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2010231690A (ja) | 2010-10-14 |
WO2010116434A1 (ja) | 2010-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107045422B (zh) | 分布式存储方法和设备 | |
US8972343B2 (en) | Storage system | |
US6397309B2 (en) | System and method for reconstructing data associated with protected storage volume stored in multiple modules of back-up mass data storage facility | |
EP1569085B1 (en) | Method and apparatus for increasing data storage capacity | |
KR101453425B1 (ko) | 메타데이터 서버 및 메타데이터 관리 방법 | |
JP5701398B2 (ja) | 計算機システム、データ管理方法及びプログラム | |
US7836017B1 (en) | File replication in a distributed segmented file system | |
US20160212203A1 (en) | Multi-site heat map management | |
US20080046538A1 (en) | Automatic load spreading in a clustered network storage system | |
US9031906B2 (en) | Method of managing data in asymmetric cluster file system | |
WO2013173539A1 (en) | Indirection objects in a cloud storage system | |
JP5569074B2 (ja) | ストレージシステム | |
JP2005276094A (ja) | 分散ストレージ装置のファイル管理方法及び分散ストレージシステム並びにプログラム | |
JPWO2004055675A1 (ja) | ファイル管理装置、ファイル管理プログラム、ファイル管理方法およびファイルシステム | |
CN105701219A (zh) | 一种分布式缓存的实现方法 | |
CN104750757B (zh) | 一种基于HBase的数据存储方法和设备 | |
US10909143B1 (en) | Shared pages for database copies | |
CN111078120A (zh) | 一种分布式文件系统的数据迁移方法、系统及相关组件 | |
WO2000065449A1 (fr) | Procede et systeme de gestion de fichiers dans un environnement reparti | |
US6148382A (en) | Arrangement for filtering data item updates to reduce the number of updates to a data item to be stored on mass data storage facility | |
JP2012008854A (ja) | ストレージ仮想化装置 | |
US8612717B2 (en) | Storage system | |
JP5446378B2 (ja) | ストレージシステム | |
WO2022175080A1 (en) | Cache indexing using data addresses based on data fingerprints | |
US5809435A (en) | Efficient index arrangement and method for identifying valid records stored on logging digital data storage subsystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111208 |
|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20120712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5446378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |