JP5470974B2 - 分散ファイルシステム及び分散ファイル格納方法 - Google Patents
分散ファイルシステム及び分散ファイル格納方法 Download PDFInfo
- Publication number
- JP5470974B2 JP5470974B2 JP2009086334A JP2009086334A JP5470974B2 JP 5470974 B2 JP5470974 B2 JP 5470974B2 JP 2009086334 A JP2009086334 A JP 2009086334A JP 2009086334 A JP2009086334 A JP 2009086334A JP 5470974 B2 JP5470974 B2 JP 5470974B2
- Authority
- JP
- Japan
- Prior art keywords
- chunk
- data
- file
- unit
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
101 データ再配置処理依頼部
102 未処理コンテンツ管理情報格納部
200 ストレージノード
201 データ再配置処理依頼受付部
202 データ塊配置位置計算部
203 データ塊送受信部
204 チャンク管理部
205 コンテンツインデックス送受信部
206 チャンク格納部
300 クライアント装置
301 ファイルアクセス部
302 メタデータアクセス部
303 チャンクアクセス部
400 メタサーバ部
401 メタデータ管理部
402 メタデータ格納部
Claims (10)
- メタサーバ装置と複数のストレージノードが接続されており、複数のデータ塊により構成されるチャンクを格納する分散ファイルシステムであって、
前記複数のストレージノードそれぞれは、前記データ塊の再配置の依頼を受けたときに、前記データ塊が、どのようなデータであり、どの前記ストレージノードに格納されているかが記述されたインデックス情報が、どの前記ストレージノードに格納されているのかを前記メタサーバ装置に問い合わせるデータ再配置処理依頼受付部を有し、
前記メタサーバ装置は、前記インデックス情報を格納している前記ストレージノードを記述したマッピング情報を格納するメタデータ格納部と、
前記データ再配置処理依頼受付部により前記インデックス情報がどの前記ストレージノードに格納されているのかを問い合わされたときに、前記メタデータ格納部に格納された前記マッピング情報に基づき、前記インデックス情報を格納している前記ストレージノードを前記データ再配置処理依頼受付部に通知するメタデータ管理部と、を有し、
前記複数のストレージノードそれぞれは、前記データ再配置処理依頼受付部が前記メタデータ管理部により前記インデックス情報を格納している前記ストレージノードを通知されたとき、前記データ再配置処理依頼受付部からの依頼により、前記インデックス情報が格納されている前記ストレージノードから前記インデックス情報を取得するコンテンツインデックス送受信部と、
前記コンテンツインデックス送受信部により前記インデックス情報を取得したときに、前記データ再配置処理依頼受付部からの依頼により、前記インデックス情報に基づき、同時にアクセスされる可能性のあるチャンクが同一ストレージノードに格納されないように前記データ塊の配置位置を計算するデータ塊配置位置計算部と、
前記データ塊配置位置計算部により前記データ塊の配置位置が計算されたときに、前記データ塊配置位置計算部からの依頼により、前記データ塊配置位置計算部により計算された前記データ塊の配置位置に基づき、他の前記ストレージノードと前記データ塊を交換して、前記データ塊の再配置を行うデータ塊送受信部も有することを特徴とする分散ファイルシステム。 - 前記ストレージノードそれぞれの前記データ再配置処理依頼受付部は、前記データ塊送受信部による前記データ塊の再配置が完了したことの通知を前記データ塊配置位置計算部から受けたときに、前記メタサーバ装置の前記メタデータ管理部に前記データ塊の再配置の結果に基づき、前記マッピング情報の更新を依頼し、
前記メタサーバ装置のメタデータ部は、前記データ再配置処理依頼受付部に依頼により、前記データ塊の再配置の結果に基づき、前記マッピング情報の更新を行うことを特徴とする請求項1に記載の分散ファイルシステム。 - データ再配置処理装置も接続されており、
前記データ再配置処理装置は、前記データ塊の再配置が行われていないファイルについての情報を格納する未処理コンテンツ管理情報格納部と、
前記未処理コンテンツ管理情報格納部から、前記データ塊の再配置のおこなわれていない前記ファイルの情報を取得したときに、前記データ塊の再配置のおこなわれていない前記ファイルに対する前記データ塊の再配置を前記ストレージノードそれぞれの前記データ再配置処理依頼受付部に依頼するデータ再配置処理依頼部と、を有し、
前記ストレージノードそれぞれの前記データ再配置処理依頼受付部は、前記データ塊送受信部による前記データ塊の再配置が完了したことの通知を前記データ塊配置位置計算部から受けたときに、前記データ再配置処理装置の前記データ再配置処理依頼部に前記データ塊の再配置が完了したことを通知し、
前記データ再配置処理装置の前記データ再配置依頼部は、前記データ再配置処理依頼受付部から前記データ塊の再配置が完了したことの通知を受けたときに、前記未処理コンテンツ管理情報格納部から前記データ塊の再配置を完了した前記ファイルについての情報を削除することを特徴とする請求項1または2に記載の分散ファイルシステム。 - クライアント装置も接続されており、
前記マップング情報は、前記ファイルを構成する前記チャンクの識別情報と、前記各チャンクが、どの前記ストレージノードに格納されているのか、どれくらいのサイズであるのかも記述されており、
前記クライアント装置は、前記ファイルの書き込みの依頼を受けるファイルアクセス部と、
前記ファイルアクセス部が前記ファイルの書き込みの依頼を受けたときに、前記ファイルアクセス部からの依頼により、前記メタサーバ装置の前記メタデータ管理部に前記マッピングデータ情報を問い合わせるメタデータアクセス部と、を有し、
前記メタサーバ装置の前記メタデータ管理部は、前記メタデータアクセス部により前記マッピング情報の問い合わせを受けたときに、前記メタデータ格納部に格納された前記マッピング情報を前記クライアント装置に通知し、
前記クライアント装置は、前記メタデータ管理部により前記マッピング情報が通知されたときに、前記ファイルアクセス部からの依頼により、前記マッピング情報に基づき、前記ファイルを前記チャンクに分割し、前記各ストレージノードに前記チャンクの書き込みを依頼するチャンクアクセス部も有し、
前記ストレージノードそれぞれは、前記チャンクの格納されたチャンク格納部と、
前記チャンクアクセス部から前記チャンクの書き込みの依頼を受けたときに、前記チャンクを前記格納部に格納するチャンク管理部も有し、
前記ストレージノードそれぞれの前記チャンク管理部は、前記チャンクの書き込みを完了したときに、前記クライアント装置の前記ファイルアクセス部に前記チャンクの書き込みの完了を通知し、
前記クライアント装置の前記ファイルアクセス部は、前記チャンク管理部から前記チャンクの書き込みの完了の通知を受けたときに、前記メタデータアクセス部に前記チャンクの書き込みの完了を通知し、
前記クライアント装置の前記メタデータアクセス部は、前記ファイルアクセス部から前記チャンクの書き込みの完了の通知を受けたときに、前記メタサーバ装置の前記メタデータ部に前記チャンクの書き込みの完了を通知し、
前記メタサーバ装置の前記メタデータ部は、前記メタデータアクセス部から前記チャンクの書き込みの完了の通知を受けたときに、前記チャンクの書き込みの完了した前記ファイルを、前記データ塊の再配置が完了していないファイルとして前記未処理コンテンツ管理情報格納部に登録することを特徴とする請求項1から3のいずれか1項に記載の分散ファイルシステム。 - 前記クライアント装置の前記ファイルアクセス部は、前記ファイルの読み出しの依頼も受け、
前記クライアント装置の前記メタデータアクセス部は、前記ファイルの読み出しの依頼を受けたときに、前記ファイルアクセス部からの依頼により、前記メタサーバ装置の前記メタデータ部に前記マッピングデータ情報を問い合わせ、
前記メタサーバ装置の前記メタデータ管理部は、前記メタデータアクセス部により前記マッピング情報の問い合わせを受けたときに、前記メタデータ格納部に格納された前記マッピング情報を前記クライアント装置に通知し、
前記クライアント装置の前記チャンクアクセス部は、前記メタデータ管理部により前記マッピング情報が通知されたときに、前記ファイルアクセス部からの依頼により、前記マッピング情報に基づき、前記ファイルを前記チャンクに分割し、前記各ストレージノードに前記チャンクの読み出しを依頼し、
前記ストレージノードそれぞれの前記チャンク管理部は、前記チャンクアクセス部から前記チャンクの読み出しの依頼を受けたときに、前記チャンクを前記格納部から読み出すことを特徴とする請求項1から4のいずれか1項に記載の分散ファイルシステム。 - メタサーバ装置と複数のストレージノードが接続されており、複数のデータ塊により構成されるチャンクを格納する分散ファイルシステムにおいて、
前記複数のストレージノードそれぞれによる、前記データ塊の再配置の依頼を受けたときに、前記データ塊が、どのようなデータであり、どの前記ストレージノードに格納されているかが記述されたインデックス情報が、どの前記ストレージノードに格納されているのかを前記メタサーバ装置に問い合わせるデータ再配置処理依頼受付ステップを有し、
メタサーバ装置による、前記インデックス情報を格納している前記ストレージノードを記述したマッピング情報を格納するメタデータ格納ステップと、
前記データ再配置処理依頼受付ステップにより前記インデックス情報がどの前記ストレージノードに格納されているのかを問い合わされたときに、前記メタデータ格納ステップに格納された前記マッピング情報に基づき、前記インデックス情報を格納している前記ストレージノードを前記データ再配置処理依頼受付ステップに通知するメタデータ管理ステップと、を有し、
前記複数のストレージノードそれぞれよる、前記データ再配置処理依頼受付ステップが前記メタデータ管理ステップにより前記インデックス情報を格納している前記ストレージノードを通知されたとき、前記データ再配置処理依頼受付ステップからの依頼により、前記インデックス情報が格納されている前記ストレージノードから前記インデックス情報を取得するコンテンツインデックス送受信ステップと、
前記コンテンツインデックス送受信ステップにより前記インデックス情報を取得したときに、前記データ再配置処理依頼受付ステップからの依頼により、前記インデックス情報に基づき、同時にアクセスされる可能性のあるチャンクが同一ストレージノードに格納されないように前記データ塊の配置位置を計算するデータ塊配置位置計算ステップと、
前記データ塊配置位置計算ステップにより前記データ塊の配置位置が計算されたときに、前記データ塊配置位置計算ステップからの依頼により、前記データ塊配置位置計算ステップにより計算された前記データ塊の配置位置に基づき、他の前記ストレージノードと前記データ塊を交換して、前記データ塊の再配置を行うデータ塊送受信ステップも有することを特徴とする分散ファイル格納方法。 - 前記ストレージノードそれぞれによる前記データ再配置処理依頼受付ステップにより、前記データ塊送受信ステップによる前記データ塊の再配置が完了したことの通知を前記データ塊配置位置計算ステップから受けたときに、前記メタサーバ装置の前記メタデータ管理ステップに前記データ塊の再配置の結果に基づき、前記マッピング情報の更新を依頼し、
前記メタサーバ装置によるメタデータステップは、前記データ再配置処理依頼受付ステップに依頼により、前記データ塊の再配置の結果に基づき、前記マッピング情報の更新を行うことを特徴とする請求項6に記載の分散ファイル格納方法。 - データ再配置処理装置による、前記データ塊の再配置が行われていないファイルについての情報を格納する未処理コンテンツ管理情報格納ステップと、
前記未処理コンテンツ管理情報格納ステップから、前記データ塊の再配置のおこなわれていない前記ファイルの情報を取得したときに、前記データ塊の再配置のおこなわれていない前記ファイルに対する前記データ塊の再配置を前記ストレージノードそれぞれの前記データ再配置処理依頼受付ステップに依頼するデータ再配置処理依頼ステップと、を有し、
前記ストレージノードそれぞれによる前記データ再配置処理依頼受付ステップにより、前記データ塊送受信ステップによる前記データ塊の再配置が完了したことの通知を前記データ塊配置位置計算ステップから受けたときに、前記データ再配置処理装置の前記データ再配置処理依頼ステップに前記データ塊の再配置が完了のしたことを通知し、
前記データ再配置処理装置による前記データ再配置依頼ステップにより、前記データ再配置処理依頼受付ステップから前記データ塊の再配置が完了したことの通知を受けたときに、前記未処理コンテンツ管理情報格納ステップから前記データ塊の再配置の完了した前記ファイルについての情報を削除することを特徴とする請求項6または7に記載の分散ファイル格納方法。 - 前記マップング情報は、前記ファイルを構成する前記チャンクの識別情報と、前記各チャンクが、どの前記ストレージノードに格納されているのか、どれくらいのサイズであるのかも記述されており、
クライアント装置による、前記ファイルの書き込みの依頼を受けるファイルアクセスステップと、
前記ファイルアクセスステップが前記ファイルの書き込みの依頼を受けたときに、前記ファイルアクセスステップからの依頼により、前記メタサーバ装置による前記メタデータ管理ステップに前記マッピングデータ情報を問い合わせるメタデータアクセスステップと、を有し、
前記メタサーバ装置による前記メタデータ管理ステップにより、前記メタデータアクセスステップにより前記マッピング情報の問い合わせを受けたときに、前記メタデータ格納ステップに格納された前記マッピング情報を前記クライアント装置に通知し、
前記クライアント装置による、前記メタデータ管理ステップにより前記マッピング情報が通知されたときに、前記ファイルアクセスステップからの依頼により、前記マッピング情報に基づき、前記ファイルを前記チャンクに分割し、前記各ストレージノードに前記チャンクの書き込みを依頼するチャンクアクセスステップも有し、
前記ストレージノードそれぞれによる、前記チャンクの格納されたチャンク格納ステップと、
前記チャンクアクセスステップから前記チャンクの書き込みの依頼を受けたときに、前記チャンクを前記格納ステップに格納するチャンク管理ステップも有し、
前記ストレージノードそれぞれによる前記チャンク管理ステップにより、前記チャンクの書き込みを完了したときに、前記クライアント装置による前記ファイルアクセスステップに前記チャンクの書き込みの完了を通知し、
前記クライアント装置による前記ファイルアクセスステップにより、前記チャンク管理ステップから前記チャンクの書き込みの完了の通知を受けたときに、前記メタデータアクセスステップに前記チャンクの書き込みの完了を通知し、
前記クライアント装置による前記メタデータアクセスステップにより、前記ファイルアクセスステップから前記チャンクの書き込みの完了の通知を受けたときに、前記メタサーバ装置による前記メタデータステップに前記チャンクの書き込みの完了を通知し、
前記メタサーバ装置による前記メタデータステップは、前記メタデータアクセスステップから前記チャンクの書き込みの完了の通知を受けたときに、前記チャンクの書き込みが完了した前記ファイルを、前記データ塊の再配置が完了していないファイルとして前記未処理コンテンツ管理情報格納ステップに登録することを特徴とする請求項6から8のいずれか1項に記載の分散ファイル格納方法。 - 前記クライアント装置による前記ファイルアクセスステップにより、前記ファイルの読み出しの依頼も受け、
前記クライアント装置による前記メタデータアクセスステップは、前記ファイルの読み出しの依頼を受けたときに、前記ファイルアクセスステップからの依頼により、前記メタサーバ装置による前記メタデータステップに前記マッピングデータ情報を問い合わせ、
前記メタサーバ装置による前記メタデータ管理ステップは、前記メタデータアクセスステップにより前記マッピング情報の問い合わせを受けたときに、前記メタデータ格納ステップに格納された前記マッピング情報を前記クライアント装置に通知し、
前記クライアント装置の前記チャンクアクセスステップは、前記メタデータ管理ステップにより前記マッピング情報が通知されたときに、前記ファイルアクセスステップからの依頼により、前記マッピング情報に基づき、前記ファイルを前記チャンクに分割し、前記各ストレージノードに前記チャンクの読み出しを依頼し、
前記ストレージノードそれぞれによる前記チャンク管理ステップは、前記チャンクアクセスステップから前記チャンクの読み出しの依頼を受けたときに、前記チャンクを前記格納ステップから読み出すことを特徴とする請求項6から9のいずれか1項に記載の分散ファイル格納方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009086334A JP5470974B2 (ja) | 2009-03-31 | 2009-03-31 | 分散ファイルシステム及び分散ファイル格納方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009086334A JP5470974B2 (ja) | 2009-03-31 | 2009-03-31 | 分散ファイルシステム及び分散ファイル格納方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010238038A JP2010238038A (ja) | 2010-10-21 |
JP5470974B2 true JP5470974B2 (ja) | 2014-04-16 |
Family
ID=43092285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009086334A Active JP5470974B2 (ja) | 2009-03-31 | 2009-03-31 | 分散ファイルシステム及び分散ファイル格納方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5470974B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101341441B1 (ko) * | 2011-11-04 | 2013-12-13 | 방한민 | 멀티미디어 콘텐츠 분할 및 분산 방법 |
JP6135226B2 (ja) | 2013-03-21 | 2017-05-31 | 日本電気株式会社 | 情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム |
JP2015069215A (ja) * | 2013-09-26 | 2015-04-13 | 富士通株式会社 | 情報処理装置,情報処理システム,制御プログラム及び制御方法 |
US20160098573A1 (en) * | 2014-10-03 | 2016-04-07 | Zettaset, Inc. | Securing a Distributed File System |
JP7310462B2 (ja) * | 2019-09-04 | 2023-07-19 | 富士通株式会社 | ストレージ制御装置,分散ストレージシステムおよびストレージ制御プログラム |
CN110647562B (zh) * | 2019-09-29 | 2022-04-26 | 中国联合网络通信集团有限公司 | 一种数据查询方法和装置、电子设备、存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000148634A (ja) * | 1998-11-10 | 2000-05-30 | Victor Co Of Japan Ltd | 動画像サーバシステム |
JP2004102450A (ja) * | 2002-09-05 | 2004-04-02 | Toshiba Corp | サーバ装置、車載用電子機器、及びコンテンツ処理方法 |
JP2008225686A (ja) * | 2007-03-09 | 2008-09-25 | Nec Corp | 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム |
-
2009
- 2009-03-31 JP JP2009086334A patent/JP5470974B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010238038A (ja) | 2010-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5470974B2 (ja) | 分散ファイルシステム及び分散ファイル格納方法 | |
CN105933376B (zh) | 一种数据操作方法,服务器及存储系统 | |
JP2020038623A (ja) | データを記憶するための方法、装置及びシステム | |
JP4265245B2 (ja) | 計算機システム | |
CN107888657A (zh) | 低延迟分布式存储系统 | |
CN107179878B (zh) | 基于应用优化的数据存储的方法和装置 | |
CN106502806B (zh) | 一种总线协议命令处理装置及相关方法 | |
CN103605726A (zh) | 一种小文件的存取方法、系统及控制节点和存储节点 | |
RU2595764C2 (ru) | Способ и устройство обработки сообщений | |
CN103488685B (zh) | 一种基于分布式存储系统的碎片文件存储方法 | |
CN102541990A (zh) | 利用虚拟分区的数据库重新分布方法和系统 | |
CN103067461A (zh) | 一种文件的元数据管理系统以及元数据管理方法 | |
US8447825B2 (en) | File sharing system and file sharing method | |
JP2012089094A5 (ja) | ||
CN105635196A (zh) | 一种获取文件数据的方法、系统和应用服务器 | |
WO2004055675A1 (ja) | ファイル管理装置、ファイル管理プログラム、ファイル管理方法およびファイルシステム | |
CN103389945B (zh) | 一种内存管理的方法及装置 | |
CN109600410A (zh) | 数据存储系统以及方法 | |
US20180107404A1 (en) | Garbage collection system and process | |
KR100977159B1 (ko) | 데이터 서버 주소의 변경과 디스크 이동에 투명한 파일메타데이터 관리 방법 및 시스템 | |
CN105320676A (zh) | 一种客户数据查询服务方法及装置 | |
WO2016090985A1 (zh) | 缓存的读取、读取处理方法及装置 | |
CN104079600A (zh) | 文件存储方法、装置、访问客户端及元数据服务器系统 | |
JP5621229B2 (ja) | ストレージシステム、管理方法及びプログラム | |
US10311026B2 (en) | Compressed data layout for optimizing data transactions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110920 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5470974 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |