JP6020210B2 - クォータ管理機能付ファイルシステム、クォータ管理方法およびクォータ管理プログラム - Google Patents

Description

本発明は、クォータ管理機能付ファイルシステム、クォータ管理方法およびクォータ管理プログラムに関する。

クラスタシステムの一種であるＨＰＣ（Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ）では、共有ファイルシステムに並列ファイルシステムが用いられることが多い。一般的に、ファイルシステム用のサーバ数を増やして、分割したファイルを複数のサーバに対して並列に入出力すると、システム全体のスループットが向上される。

しかし、一般的にＨＰＣ用途で広く用いられているＬｕｓｔｒｅ等の並列ファイルシステムでは、メタデータがファイルのオブジェクトとは別のサーバに置かれ、ファイルのメタデータが一カ所に集中する。メタデータサーバに負荷が集中してしまうと、メタデータサーバの処理性能がボトルネックになり、ファイルシステム全体の性能が低下する。

この問題は、メタデータを複数のＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）サーバに分散配置すると解決される。しかし、メタデータとファイルの両方が複数のＩ／Ｏサーバに分散すると、計算ノードとＩ／Ｏサーバ間において、メタデータを参照するための計算ノードからの通信が多発する。通信の多発は、ファイルシステムの入出力性能に悪影響を及ぼす。

メタデータを計算ノード側にキャッシュすると、計算ノードとＩ／Ｏサーバ間の通信が削減されるため、上記の問題は、ある程度解決される。

特許第５０４７９８８号公報

複数のユーザが共用するコンピュータのファイルシステムにおいて、クォータは、ファイルシステム内の各ユーザに割り当てられた範囲と、その範囲内におけるファイル数およびブロック数から算出されるディスク使用量とを含むように設定された情報である。

クォータは、あらかじめ各ユーザに割り当てられたハードディスクの上限値（クォータリミット）を超えないように、ユーザごとにハードディスクの使用量を管理する目的で使用される。クォータを管理すると、特定のユーザがディスクを使い切ってしまい、他のユーザやシステム自体に悪影響を及ぼす状況を防ぐことができる。

メタデータが複数のＩ／Ｏサーバに分散配置されたファイルシステムに対して、一般的なファイルシステムにおけるクォータ管理機能を同様に実装すると、メタデータが分散しているため、クォータを更新する際に更新のための通信が各Ｉ／Ｏサーバ間で多発する。よって、ファイルシステム全体に大きな負荷がかかる。

さらに、メタデータ内にクォータを持たせる場合、クォータが更新されると計算ノード側のメタデータキャッシュの更新も求められるため、頻繁に計算ノード側からメタデータへのアクセスが発生する。このため、計算ノードとＩ／Ｏサーバ間の通信が多発する。

また、特許文献１に記載されたオブジェクトファイルシステムのように、ファイルオブジェクトにメタデータを付加する方法を用いる場合、Ｉ／Ｏサーバごとにクォータを集計できる。しかし、１つのファイルを分割して複数のＩ／Ｏサーバに保存できないため、並列入力および並列出力ができない。よって、ファイルシステム全体のスケーラビリティが低下してしまう。

そこで、本発明は、比較的低負荷にクォータ管理ができるクォータ管理機能付ファイルシステム、クォータ管理方法およびクォータ管理プログラムを提供することを目的とする。

本発明によるクォータ管理機能付ファイルシステムは、１台以上のＩ／Ｏサーバを含み、作成されるファイルを分割し複数のＩ／Ｏサーバに分散させて保存し、各ファイルを読み取るために必要な各メタデータを複数のＩ／Ｏサーバに分散させて保存し、クォータを管理するクォータ管理機能付ファイルシステムであって、Ｉ／Ｏサーバは、クォータ管理機能付ファイルシステム全体のクォータである集計クォータを記憶する集計クォータ記憶部と、Ｉ／Ｏサーバ内のクォータである部分クォータを記憶する部分クォータ記憶部と、分割された実ファイルを保存し、集計クォータ記憶部に保存された集計クォータを参照して作成されたファイルが属するクォータのクォータＩＤを実ファイルに付与するクォータ管理部と、実ファイルが更新された際にクォータＩＤを参考にして部分クォータ記憶部に保存されている部分クォータを更新するクォータ更新部と、通信網を介して他のＩ／Ｏサーバと情報を交換する通信部と、通信部を介してクォータ管理機能付ファイルシステム内の他の全てのＩ／Ｏサーバから部分クォータの更新部分を収集し、収集した更新部分が反映された集計クォータを作成し、通信部を介して作成した集計クォータを他の全てのＩ／Ｏサーバへ配信するクォータ集計部とを含むことを特徴とする。

本発明によるクォータ管理方法は、１台以上のＩ／Ｏサーバを含み、作成されるファイルを分割し複数のＩ／Ｏサーバに分散させて保存し、各ファイルを読み取るために必要な各メタデータを複数のＩ／Ｏサーバに分散させて保存し、クォータを管理するクォータ管理機能付ファイルシステム内のＩ／Ｏサーバにおいて実行されるクォータ管理方法であって、クォータ管理機能付ファイルシステム全体のクォータである集計クォータを記憶し、Ｉ／Ｏサーバ内のクォータである部分クォータを記憶し、分割された実ファイルを保存し、集計クォータを参照して作成されたファイルが属するクォータのクォータＩＤを実ファイルに付与し、実ファイルが更新された際にクォータＩＤを参考にして部分クォータを更新し、通信網を介して他のＩ／Ｏサーバと情報を交換し、クォータ管理機能付ファイルシステム内の他の全てのＩ／Ｏサーバから部分クォータの更新部分を収集し、収集した更新部分が反映された集計クォータを作成し、作成した集計クォータを他の全てのＩ／Ｏサーバへ配信することを特徴とする。

本発明によるクォータ管理プログラムは、１台以上のＩ／Ｏサーバを含み、作成されるファイルを分割し複数のＩ／Ｏサーバに分散させて保存し、各ファイルを読み取るために必要な各メタデータを複数のＩ／Ｏサーバに分散させて保存し、クォータを管理するクォータ管理機能付ファイルシステム内のＩ／Ｏサーバにおいて実行されるクォータ管理プログラムであって、Ｉ／Ｏサーバに、クォータ管理機能付ファイルシステム全体のクォータである集計クォータを記憶する集計クォータ記憶処理、Ｉ／Ｏサーバ内のクォータである部分クォータを記憶する部分クォータ記憶処理、分割された実ファイルを保存する保存処理、集計クォータを参照して作成されたファイルが属するクォータのクォータＩＤを実ファイルに付与するクォータ管理処理、実ファイルが更新された際にクォータＩＤを参考にして部分クォータを更新するクォータ更新処理、通信網を介して他のＩ／Ｏサーバと情報を交換するための通信処理、クォータ管理機能付ファイルシステム内の他の全てのＩ／Ｏサーバから部分クォータの更新部分を収集する収集処理、収集した更新部分が反映された集計クォータを作成する作成処理、および作成した集計クォータを他の全てのＩ／Ｏサーバへ配信する配信処理を実行させることを特徴とする。

本発明によれば、比較的低負荷にクォータ管理ができる。

本発明によるクォータ管理機能付ファイルシステムの一実施形態の構成例を示すシステム構成図である。 Ｉ／Ｏサーバ２００の構成例を示すブロック図である。 クォータ管理機能付ファイルシステム１０のファイル作成処理の動作を示すフローチャートである。 クォータ管理機能付ファイルシステム１０が実現するファイルシステムのツリー構造を示す説明図である。 ファイルと実ファイルとの関係を示す説明図である。 クォータ管理機能付ファイルシステム１０が実現するファイルシステムのファイルメタデータと実ファイルとの関係を示す説明図である。 クォータ管理機能付ファイルシステム１０が実現するファイルシステムのディレクトリメタデータとファイルメタデータとの関係を示す説明図である。 クライアントのファイルのメタデータ取得処理の動作を示すフローチャートである。 クライアントのファイルの実ファイル参照処理の動作を示すフローチャートである。 クォータ管理機能付ファイルシステム１０のクォータ集計処理の動作を示すフローチャートである。 クォータ管理機能付ファイルシステム１０のクォータの集計と配布の例を示す説明図である。 本発明によるクォータ管理機能付ファイルシステムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。図１は、本発明によるクォータ管理機能付ファイルシステムの一実施形態の構成例を示すシステム構成図である。図１に示すクォータ管理機能付ファイルシステム１０は、５台の計算ノード１００〜１０４と、６台のＩ／Ｏサーバ２００〜２０５とを備えている。

図１には、計算ノード１００〜１０４が、Ｉ／Ｏサーバ２００〜２０５に通信網３００を介して接続されている例が示されている。なお、図１には、５台の計算ノードが示されているが、計算ノードの台数は５台でなくてもよい。また、図１には、６台のＩ／Ｏサーバが示されているが、Ｉ／Ｏサーバの台数は６台でなくてもよい。

計算ノード１００〜１０４は、クォータ管理機能付ファイルシステム１０のクライアントとして動作する。計算ノード１００〜１０４は、Ｉ／Ｏサーバ２００〜２０５に対して並列に入出力できる。

Ｉ／Ｏサーバ２００〜２０５は、クォータ管理機能付ファイルシステム１０のサーバ（ストレージサーバ）として動作する。

通信網３００は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。計算ノード１００〜１０４は、Ｉ／Ｏサーバ２００〜２０５と通信可能な状態である。また、Ｉ／Ｏサーバ２００〜２０５は、互いに通信可能な状態である。

次に、Ｉ／Ｏサーバの詳細な構成を図２を参照して説明する。図２は、Ｉ／Ｏサーバ２００の構成例を示すブロック図である。

図２に示すＩ／Ｏサーバ２００は、仮想ファイルメタデータ作成部２１０と、集計クォータ記憶部２２０と、クォータ判定部２３０と、通信部２４０と、クォータ集計部２５０と、部分クォータ２６０と、サーバ負荷監視部２７０と、サーバ内ローカルファイルシステム部２８０と、サーバ内クォータ更新部２９０とを含む。

なお、他のＩ／Ｏサーバ２０１〜２０５も、Ｉ／Ｏサーバ２００と同様の構成をしている。

仮想ファイルメタデータ作成部２１０は、Ｉ／Ｏサーバ２００内のサーバ内ローカルファイルシステム部２８０に、仮想ファイルメタデータを作成する機能を有する。

集計クォータ記憶部２２０は、ファイルシステム全体のクォータである集計クォータを記憶する機能を有する。集計クォータは、定期的に他のＩ／Ｏサーバよりも負荷の低いＩ／Ｏサーバによって作成される情報である。作成されると、集計クォータは、作成したＩ／Ｏサーバにより配信される。

クォータ判定部２３０は、あるクライアントがＩ／Ｏサーバ２００内にファイルのメタデータを作成する際に、集計クォータ記憶部２２０を参照して、ファイルが作成されるディレクトリが、ファイルが属するクォータの範囲内であるか否か判定する機能を有する。

クォータの範囲内である場合、クォータ判定部２３０は、クライアントにメタデータの作成を許可する。クォータの範囲内でない場合、クォータ判定部２３０は、クライアントにメタデータの作成を拒否する。

通信部２４０は、通信網３００を介して、各計算ノードまたは各Ｉ／Ｏサーバと情報を交換する機能を有する。

クォータ集計部２５０は、定期的に部分クォータ２６０の更新部分を収集する機能を有する。なお、他のＩ／Ｏサーバよりも自身のサーバの負荷が低い場合、クォータ集計部２５０は、通信部２４０を介して、他のＩ／Ｏサーバの部分クォータ２６０の更新部分も収集する機能を有する。

収集した後、クォータ集計部２５０は集計クォータを作成する。作成すると、クォータ集計部２５０は、通信部２４０を介して作成した集計クォータを各Ｉ／Ｏサーバへ配布する。

また、クォータ集計部２５０は、タイマ部２５１を含む。タイマ部２５１は、クォータ管理機能付ファイルシステム１０が集計クォータを作成する時間間隔を制御する機能を有する。

クォータのディスク使用量がソフトリミットまでに余裕がある場合、タイマ部２５１は、集計クォータが作成される間隔を長くする。クォータのディスク使用量がソフトリミット間際の場合、タイマ部２５１は、集計クォータが作成される間隔を短くする。クォータのディスク使用量がソフトリミットを超えた場合、タイマ部２５１は、集計クォータが作成される間隔を更に短くし、集計クォータが更新される頻度を上げる。ここで、ソフトリミットは、クォータリミットよりも小さな値が設定された閾値を意味する。

ＨＰＣ向けの共有ファイルシステムでは、他のファイルシステムほどクォータが厳密に常時確認されていなくてもよい。すなわち、クォータのディスク使用量がクォータリミットを超えた時から入出力制限するまでに若干の時差があっても許される場合が多いので、Ｉ／Ｏサーバ内部の部分クォータは、更新後即時に集計されなくてもよい。本実施形態ではタイマ部２５１を設け、部分クォータが集計される時間間隔を調整できるようにしている。

サーバ負荷監視部２７０は、Ｉ／Ｏサーバ２００自身の負荷を監視する機能を有する。監視された負荷情報は、通信部２４０を介して各Ｉ／Ｏサーバ間で交換される。

サーバ内ローカルファイルシステム部２８０には、クライアントが実ファイルをＩ／Ｏサーバに作成する際、実ファイルが作成される。サーバ内ローカルファイルシステム部２８０は、集計クォータ記憶部２２０を参照して、作成された実ファイルの実ファイルデータに、実ファイルの基となるファイルが属するクォータを判別できるクォータＩＤを付加して保存する。

部分クォータ２６０は、サーバ内ローカルファイルシステム部２８０に保存されている実ファイルが消費しているディスク使用量を、クォータＩＤごとに集計した情報である。

サーバ内クォータ更新部２９０は、サーバ内ローカルファイルシステム部２８０内に実ファイルが作成された際、またはサーバ内ローカルファイルシステム部２８０内の実ファイルが更新された際に、部分クォータ２６０を更新する機能を有する。

なお、本実施形態における仮想ファイルメタデータ作成部２１０、クォータ判定部２３０、クォータ集計部２５０、サーバ負荷監視部２７０、サーバ内ローカルファイルシステム部２８０、およびサーバ内クォータ更新部２９０は、例えば、プログラムに従って動作するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。

また、部分クォータ２６０は、例えば、ＣＰＵが直接読み書きできるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）によって実現される。

また、通信部２４０は、例えば、プログラムに従って動作するＣＰＵと、ネットワークカード等の通信制御装置とによって実現される。

また、集計クォータ記憶部２２０は、例えば、データベースシステムといった記憶装置によって実現される。

以下、クォータ制御と部分クォータの作成を説明するために、本発明によるファイル作成処理の動作を図３を参照して説明する。図３は、クォータ管理機能付ファイルシステム１０のファイル作成処理の動作を示すフローチャートである。

最初に、クライアントが作成するファイルが属するファイルシステムのツリー構造を、図４を参照して説明する。図４は、クォータ管理機能付ファイルシステム１０が実現するファイルシステムのツリー構造を示す説明図である。

図４に示すツリー構造では、ルート配下にディレクトリｈｏｍｅ、ディレクトリｅｔｃがある。また、ディレクトリｈｏｍｅ配下にディレクトリｄｉｒ０１、ディレクトリｄｉｒ０２、ディレクトリｄｉｒ０３がある。また、ディレクトリｄｉｒ０１配下にファイルＡがある。また、ディレクトリｄｉｒ０２配下にファイルＢがある。

図４に示すように、ファイルＡは、クォータＩＤが０のクォータ（以下、クォータ０という。）に属するとする。ファイルＢは、クォータＩＤが１のクォータ（以下、クォータ１という。）に属するとする。

図５は、ファイルと実ファイルとの関係を示す説明図である。図５に示すように、ファイルＡは、実ファイルａ〜ｆに分割される。また、ファイルＢは、実ファイルｇ〜ｊに分割される。

ここでは図４に示すように、ディレクトリｄｉｒ０１にファイルＡを、ディレクトリｄｉｒ０２にファイルＢをそれぞれ作成する時のクォータ管理機能付ファイルシステム１０のファイル作成処理の動作を、図３に示すフローチャートを参照して説明する。

クライアントがディレクトリｄｉｒ０１にファイルＡを作成する時の動作を説明する。ファイルＡを作成するとき、いずれかのＩ／ＯサーバにファイルＡのメタデータ４１１が作成される。

クライアントである計算ノードが、メタデータを作成するＩ／Ｏサーバを決定する（ステップＳ１０１）。ここでは、計算ノード１００がＩ／Ｏサーバ２００にメタデータを作成すると決定したとする。

クライアントは、決定したＩ／Ｏサーバに対してメタデータ作成の許可を要求する（ステップＳ１０２）。要求を受信したＩ／Ｏサーバの通信部２４０は、クォータ判定部２３０に、ファイルが作成されるディレクトリが、ファイルが属するクォータの範囲内であるか否か問い合わせる（ステップＳ１０３）。

クライアントからメタデータ作成の許可の要求を受けたＩ／Ｏサーバのクォータ判定部２３０は、判定のために集計クォータ記憶部２２０を参照する。そして、ファイルが作成されるディレクトリがクォータの範囲を超える場合（ステップＳ１０４のＮｏ）、Ｉ／Ｏサーバは、クライアントに対してメタデータの作成を拒否する（ステップＳ１１０）。クォータ管理機能付ファイルシステム１０は、ファイル作成処理を終了する。

ファイルが作成されるディレクトリがクォータの範囲内である場合（ステップＳ１０４のＹｅｓ）、Ｉ／Ｏサーバは、クライアントに対してメタデータの作成を許可する（ステップＳ１０５）。

クライアントである計算ノード１００からメタデータ作成の許可の要求を受けたＩ／Ｏサーバ２００のクォータ判定部２３０は、判定のために集計クォータ記憶部２２０を参照する。

クォータ判定部２３０は、ディレクトリｄｉｒ０１がファイルＡの属するクォータであるクォータ０の範囲内であることから（ステップＳ１０４のＹｅｓ）、計算ノード１００に対してメタデータ作成の許可を通知する（ステップＳ１０５）。

クライアントは、作成許可を通知したＩ／Ｏサーバにメタデータを作成する（ステップＳ１０６）。クライアントである計算ノード１００は、Ｉ／Ｏサーバ２００にファイルＡのメタデータ４１１を作成する。

本実施形態において、ファイルメタデータには、オブジェクトの種類（通常のファイル）、サイズ、作成日、最終更新日、ファイル所有者、アクセス権限など、一般的なファイルシステムのファイルメタデータ情報に加えて、分割された実ファイルへのリンク情報が含まれる。

ファイルメタデータが作成されたＩ／Ｏサーバは、ファイルメタデータに含まれる情報を基に、実ファイルが分散配置される全てのＩ／Ｏサーバにファイルの実ファイル情報を作成する（ステップＳ１０７）。本実施形態において、ファイルの実ファイル情報には、分割された実ファイルの元のファイル内における位置を示すオフセット情報と、そのリンク情報が含まれる。

図６は、クォータ管理機能付ファイルシステム１０が実現するファイルシステムのファイルメタデータと実ファイルとの関係を示す説明図である。図６に示すように、ファイルＡのメタデータ４１１が作成されたＩ／Ｏサーバ２００は、ファイルＡの実ファイル情報４２１を、実ファイルを分散配置する自身のサーバ内に作成する。

また、Ｉ／Ｏサーバ２００は、ファイルＡの実ファイル情報４２２を、実ファイルを分散配置するＩ／Ｏサーバ２０１に作成する。同様に、Ｉ／Ｏサーバ２００は、ファイルＡの実ファイル情報４２３を、実ファイルを分散配置するＩ／Ｏサーバ２０２に作成する（ステップＳ１０７）。

図６に示すファイルＡの実ファイル情報４２１〜４２３には、それぞれ異なる実ファイル情報が含まれている。例えば、ファイルＡの実ファイル情報４２１には、実ファイルａおよび実ファイルｄの情報が含まれている。また、ファイルの実ファイル情報は、ファイルのメタデータから参照される。

クライアントは、分割した実ファイルをファイルの先頭に近い方から順番に各Ｉ／Ｏサーバへ保存する（ステップＳ１０８）。

クライアントである計算ノード１００は、ファイルＡの実ファイルａと実ファイルｄを、Ｉ／Ｏサーバ２００に保存する。計算ノード１００は、ファイルＡの実ファイルｂと実ファイルｅを、Ｉ／Ｏサーバ２０１に保存する。計算ノード１００は、ファイルＡの実ファイルｃと実ファイルｆを、Ｉ／Ｏサーバ２０２に保存する（ステップＳ１０８）。

各Ｉ／Ｏサーバは、保存された実ファイルを基に部分クォータを更新する（ステップＳ１０９）。ファイルが複数のクォータに関わる場合、クォータＩＤは複数付随される。

ファイルに付随されたクォータＩＤの集計方法として、仮想ファイルメタデータ作成部２１０によって作成された、ローカルファイルシステムのメタデータ等を用いて高速に集計する方法等が考えられる。

次に、クライアントがディレクトリｄｉｒ０２にファイルＢを作成する時の動作を説明する。ファイルＢを作成するとき、いずれかのＩ／ＯサーバにファイルＢのメタデータ５１１が作成される。ここでは、クライアントである計算ノード１０１がＩ／Ｏサーバ２０１にファイルＢのメタデータ５１１を作成すると決定したとする（ステップＳ１０１）。

クライアントである計算ノード１０１は、Ｉ／Ｏサーバ２０１に対してメタデータ作成の許可を要求する（ステップＳ１０２）。Ｉ／Ｏサーバ２０１の通信部２４０は、クォータ判定部２３０に、ファイルが作成されるディレクトリが、ファイルが属するクォータの範囲内であるか否か問い合わせる（ステップＳ１０３）。

クライアントである計算ノード１０１からメタデータ作成の許可の要求を受けたＩ／Ｏサーバ２０１のクォータ判定部２３０は、判定のために集計クォータ記憶部２２０を参照する。クォータ判定部２３０は、ディレクトリｄｉｒ０２がファイルＢの属するクォータであるクォータ１の範囲内であることから（ステップＳ１０４のＹｅｓ）、計算ノード１０１に対してメタデータ作成の許可を通知する（ステップＳ１０５）。

クライアントである計算ノード１０１は、Ｉ／Ｏサーバ２０１にファイルＢのメタデータ５１１を作成する（ステップＳ１０６）。

図６に示すように、ファイルＢのメタデータが作成されたＩ／Ｏサーバ２０１は、ファイルＢの実ファイル情報５２２を、実ファイルを分散配置する自身のサーバ内に作成する。ファイルＢの実ファイル情報５２２には、実ファイルｈの情報が含まれている。

また、Ｉ／Ｏサーバ２０１は、ファイルＢの実ファイル情報５２１を、実ファイルを分散配置するＩ／Ｏサーバ２００に作成する。同様に、Ｉ／Ｏサーバ２０１は、ファイルＢの実ファイル情報５２３を、実ファイルを分散配置するＩ／Ｏサーバ２０２に作成する（ステップＳ１０７）。

図６に示すように、クライアントである計算ノード１０１は、ファイルＢの実ファイルｇと実ファイルｊを、Ｉ／Ｏサーバ２００に保存する。計算ノード１０１は、ファイルＢの実ファイルｈを、Ｉ／Ｏサーバ２０１に保存する。計算ノード１０１は、ファイルＢの実ファイルｉを、Ｉ／Ｏサーバ２０２に保存する（ステップＳ１０８）。各Ｉ／Ｏサーバは、保存された実ファイルを基に部分クォータを更新する（ステップＳ１０９）。

このようにして、クォータ管理機能付ファイルシステム１０は、ファイルのメタデータ及び実ファイルを各Ｉ／Ｏサーバに分散して保存する。メタデータをファイルのオブジェクトが保存されるサーバに分散して保存することで、クォータ管理機能付ファイルシステム１０は、メタデータが保存されるサーバに負荷が集中する課題を改善している。

次に、図６に示すように実ファイルが配置された状態で、クライアントが実ファイルを参照するときのクライアントの動作を説明する。

図７を参照して、ディレクトリのメタデータを説明する。図７は、クォータ管理機能付ファイルシステム１０が実現するファイルシステムのディレクトリメタデータとファイルメタデータとの関係を示す説明図である。図７に示すように、ここではクォータ管理機能付ファイルシステム１０に備えられているＩ／Ｏサーバ２０３〜２０５を例に説明する。

ここで、ディレクトリ１配下にディレクトリ２、ディレクトリ３、ファイル１、ファイル２があるとする。ディレクトリ１のメタデータ６０１は、Ｉ／Ｏサーバ２０３〜２０５のいずれかに保存される。同様に、ディレクトリ２のメタデータ６３１、ディレクトリ３のメタデータ６３２は、Ｉ／Ｏサーバ２０３〜２０５のいずれかに保存される。

本実施形態において、ディレクトリのメタデータには、オブジェクトの種類（ディレクトリ）、サイズ、作成日、最終更新日、ディレクトリ所有者、アクセス権限などの、一般的なファイルシステムのディレクトリメタデータ情報に加えて、ディレクトリエントリ情報へのリンク情報が含まれている。

ここでは、ディレクトリ１のメタデータ６０１がＩ／Ｏサーバ２０３に、ディレクトリ２のメタデータ６３１がＩ／Ｏサーバ２０４に、ディレクトリ３のメタデータ６３２がＩ／Ｏサーバ２０５にそれぞれ保存されるとする。

Ｉ／Ｏサーバ２０３は、ディレクトリ１のメタデータ６０１の他に、ディレクトリ１のディレクトリエントリ情報６１１と、ディレクトリエントリ６２１と、ファイル１のメタデータ６３３とを含むとする。Ｉ／Ｏサーバ２０４は、ディレクトリ２のメタデータ６３１の他に、ファイル２のメタデータ６３４を含むとする。

クライアントは、ディレクトリ１のメタデータ６０１からディレクトリ１のディレクトリエントリ情報６１１を経由して、ディレクトリエントリ６２１を参照できる。本実施形態において、ディレクトリエントリ情報には、ディレクトリエントリへのリンク情報が含まれている。

ディレクトリエントリ６２１には、ファイル１のメタデータ６３３、ファイル２のメタデータ６３４、ディレクトリ２のメタデータ６３１、およびディレクトリ３のメタデータ６３２へのリンク情報が含まれる。このためクライアントは、ディレクトリエントリ６２１から、ファイル１のメタデータ６３３等のディレクトリ１直下のメタデータを参照できる。

次に、クォータ管理機能付ファイルシステム１０が実現するファイルシステムにおける実ファイルの参照方法を、図８と図９を参照して説明する。図８は、クライアントのファイルのメタデータ取得処理の動作を示すフローチャートである。図９は、クライアントのファイルの実ファイル参照処理の動作を示すフローチャートである。

ここではクライアントである計算ノードが、ファイル“／ｍｎｔ／ｈｏｍｅ／ｆｉｌｅ”の一部の実ファイルを参照するまでの動作を説明する。

図８のフローチャートを参照し、クライアントがファイルのメタデータを取得するまでの動作を説明する。クライアントは、目的のファイルが格納されているディレクトリ（／ｍｎｔ／ｈｏｍｅ／）のメタデータをキャッシュ済みか否か確認する（ステップＳ２０１）。

目的のファイルが格納されているディレクトリのメタデータをキャッシュ済みの場合（ステップＳ２０１のＹｅｓ）、クライアントは、ファイルのメタデータを取得する（ステップＳ２０２）。

目的のファイルが格納されているディレクトリのメタデータがキャッシュされていない場合（ステップＳ２０１のＮｏ）、クライアントは、キャッシュ済みのメタデータから、下位ディレクトリのメタデータが格納されているＩ／Ｏサーバを特定する（ステップＳ２０３）。そして下位ディレクトリのメタデータを取得した後（ステップＳ２０４）、クライアントは、再び目的のファイルが格納されているディレクトリのメタデータをキャッシュ済みか否か確認する（ステップＳ２０１）。

クライアントがファイルのメタデータを取得するまでの動作を、図７に示すメタデータの関係を例に具体的に説明する。ここで、ディレクトリ（／ｍｎｔ／ｈｏｍｅ／）のメタデータがディレクトリ１のメタデータ６０１、ファイル（／ｍｎｔ／ｈｏｍｅ／ｆｉｌｅ）のメタデータがファイル１のメタデータ６３３であるとする。

クライアントは、メタデータ６０１をキャッシュ済みか否か確認する（ステップＳ２０１）。キャッシュ済みの場合（ステップＳ２０１のＹｅｓ）、クライアントは、メタデータ６０１からディレクトリエントリ情報６１１を参照する。次いで、クライアントは、ディレクトリエントリ情報６１１からディレクトリエントリ６２１を参照する。ディレクトリエントリ６２１からメタデータ６３３を参照し、クライアントは、メタデータ６３３を取得する（ステップＳ２０２）。

メタデータ６０１がキャッシュされていない場合（ステップＳ２０１のＮｏ）、クライアントは、キャッシュ済みのディレクトリ（／ｍｎｔ／）のメタデータから、下位ディレクトリ（／ｍｎｔ／ｈｏｍｅ／）のメタデータが格納されているＩ／Ｏサーバを特定する（ステップＳ２０３）。

下位ディレクトリ（／ｍｎｔ／ｈｏｍｅ／）のメタデータ６０１が格納されているＩ／ＯサーバがＩ／Ｏサーバ２０３であることを特定すると、クライアントは、メタデータ６０１を取得する（ステップＳ２０４）。メタデータ６０１を取得すると、クライアントは、再びメタデータ６０１をキャッシュ済みか否か確認する（ステップＳ２０１）。

次に、図９のフローチャートを参照し、クライアントがファイル“／ｍｎｔ／ｈｏｍｅ／ｆｉｌｅ”の一部の実ファイルを参照するまでの動作を説明する。クライアントは、ｆｉｌｅのメタデータキャッシュを保存しているか確認する（ステップＳ３０１）。

メタデータキャッシュを保存していない場合（ステップＳ３０１のＮｏ）、クライアントは、図８に示すようにｆｉｌｅのメタデータキャッシュを取得する（ステップＳ３０２）。

メタデータキャッシュを保存している場合（ステップＳ３０１のＹｅｓ）、またはメタデータを取得した場合（ステップＳ３０２）、クライアントは、ファイル（／ｍｎｔ／ｈｏｍｅ／ｆｉｌｅ）のメタデータを開く（ステップＳ３０３）。

クライアントは、開いたｆｉｌｅのメタデータと、ｆｉｌｅを参照する位置から、実ファイルが格納されているＩ／Ｏサーバを特定する（ステップＳ３０４）。特定すると、クライアントは、Ｉ／Ｏサーバの実ファイルを参照する（ステップＳ３０５）。

クライアントがファイルの一部の実ファイルを参照するまでの動作を、図６に示すメタデータと実ファイルとの関係を例に具体的に説明する。ここで、ファイル（／ｍｎｔ／ｈｏｍｅ／ｆｉｌｅ）のメタデータがファイルＡのメタデータ４１１、また参照する実ファイルが実ファイルｂであるとする。

クライアントは、メタデータ４１１のキャッシュを保存しているか確認する（ステップＳ３０１）。メタデータ４１１のキャッシュを保存している場合（ステップＳ３０１のＹｅｓ）、クライアントは、メタデータ４１１を開く（ステップＳ３０３）。クライアントは、メタデータ４１１と、ｆｉｌｅを参照する位置から、実ファイルｂの格納されているＩ／Ｏサーバを特定する（ステップＳ３０４）。

実ファイルｂの格納されているＩ／ＯサーバがＩ／Ｏサーバ２０１であることを特定すると、クライアントは、メタデータ４１１から、実ファイルｂの情報を含む実ファイル情報４２２を参照する。クライアントは、実ファイル情報４２２から実ファイルｂを参照する（ステップＳ３０５）。

次に、本発明によるクォータ集計処理の動作を図１０を参照して説明する。図１０は、クォータ管理機能付ファイルシステム１０のクォータ集計処理の動作を示すフローチャートである。図１０に示すクォータ集計処理は、ファイルシステム全体のクォータである集計クォータを得る処理である。

クォータ管理機能付ファイルシステム１０の各Ｉ／Ｏサーバは、タイマ部２５１のタイマを初期化する（ステップＳ４０１）。

タイマ部２５１がタイムアウトしたとき（ステップＳ４０２のＹｅｓ）、各Ｉ／Ｏサーバは、自身が集計クォータを作成するＩ／Ｏサーバであるか否か確認する（ステップＳ４０３）。

ここで、集計クォータを作成するＩ／Ｏサーバには、クォータ管理機能付ファイルシステム１０のＩ／Ｏサーバ内で一番負荷の低いＩ／Ｏサーバが選ばれる。Ｉ／Ｏサーバの負荷情報は、サーバ負荷監視部２７０で監視されている。ＣＰＵ負荷等の監視された負荷情報は、各Ｉ／Ｏサーバ間で交換されている。

集計クォータを作成するＩ／Ｏサーバでない場合（ステップＳ４０３のＮｏ）、そのＩ／Ｏサーバは、タイマ部２５１が再びタイムアウトするまで待機する。

集計クォータを作成するＩ／Ｏサーバの場合（ステップＳ４０３のＹｅｓ）、そのＩ／Ｏサーバは、部分クォータ２６０の更新部分を各Ｉ／Ｏサーバから収集し、集計クォータを作成する（ステップＳ４０４）。Ｉ／Ｏサーバは、作成した集計クォータを他の全てのＩ／Ｏサーバへ配信する（ステップＳ４０５）。

図１１は、クォータ管理機能付ファイルシステム１０のクォータの集計と配布の例を示す説明図である。

図１１に示すように、部分クォータ７００と部分クォータ７１０は、それぞれクォータＩＤが０のクォータとクォータＩＤが１のクォータを持つ。そして、部分クォータ７００内のクォータＩＤが０のクォータ７０１と、部分クォータ７１０内のクォータＩＤが０のクォータ７１１がそれぞれ更新された状態である。

このとき、集計するＩ／Ｏサーバは、クォータ７０１とクォータ７１１を集計し、集計クォータ７２０内のクォータＩＤが０のクォータ７２１を更新する。集計するＩ／Ｏサーバは、更新部分を他の全てのＩ／Ｏサーバへ配信する集計クォータ７３０にも適用する。これより、集計クォータ７３０内のクォータＩＤが０のクォータ７３１は更新される。

配信した後、Ｉ／Ｏサーバは、作成した集計クォータを参照してタイムアウト値を変更する（ステップＳ４０６）。

本実施形態のクォータ管理機能付ファイルシステムを使用する場合、クォータの管理が低負荷で実現される。その理由は、メタデータと分割されたファイルが複数のサーバに分散しているファイルシステムにおいて、分割されたファイルにクォータＩＤを付与することで、各サーバ内でクォータを集計できるため、サーバ間通信を軽減できるからである。また、サーバが自身の負荷監視を行いサーバ間で負荷状況を交換しているため、低負荷なサーバにクォータを集計させることができるからである。

本実施形態のクォータ管理機能付ファイルシステムを使用する場合、クォータのディスク使用量がクォータリミットを超えた時から、入出力制限がかかるまでの遅延時間を小さくすることができる。その理由は、ディスク使用量がクォータリミットに近づいてきたときに、ファイルシステムがクォータの更新頻度を上げるためである。

次に、本発明の概要を説明する。図１２は、本発明によるクォータ管理機能付ファイルシステムの概要を示すブロック図である。本発明によるクォータ管理機能付ファイルシステム１は、通信網３（例えば、通信網３００）を介して通信可能な１台以上のＩ／Ｏサーバ２_１〜２_ｎ（Ｉ／Ｏサーバ２００〜２０５に相当）を含み、作成されるファイルを分割し複数のＩ／Ｏサーバ２_１〜２_ｎに分散させて保存し、各ファイルを読み取るために必要な各メタデータを複数のＩ／Ｏサーバ２_１〜２_ｎに分散させて保存し、クォータを管理するファイルシステムである。

Ｉ／Ｏサーバ２_１は、クォータ管理機能付ファイルシステム１全体のクォータである集計クォータを記憶する集計クォータ記憶部６（例えば、集計クォータ記憶部２２０）と、Ｉ／Ｏサーバ２_１内のクォータである部分クォータを記憶する部分クォータ記憶部７（例えば、部分クォータ２６０）と、分割された実ファイルを保存し、集計クォータ記憶部６に保存された集計クォータを参照して作成されたファイルが属するクォータのクォータＩＤを実ファイルに付与するクォータ管理部８（例えば、サーバ内ローカルファイルシステム部２８０）と、実ファイルが更新された際にクォータＩＤを参考にして部分クォータ記憶部７に保存されている部分クォータを更新するクォータ更新部９（例えば、サーバ内クォータ更新部２９０）と、通信網３を介して他のＩ／Ｏサーバ２_２〜２_ｎと情報を交換する通信部４（例えば、通信部２４０）と、通信部４を介してクォータ管理機能付ファイルシステム１内の他の全てのＩ／Ｏサーバ２_２〜２_ｎから部分クォータの更新部分を収集し、収集した更新部分が反映された集計クォータを作成し、通信部４を介して作成した集計クォータを他の全てのＩ／Ｏサーバ２_２〜２_ｎへ配信するクォータ集計部５（例えば、クォータ集計部２５０）とを含む。

そのような構成により、このクォータ管理機能付ファイルシステムを使用する場合、使用するユーザは、比較的低負荷にクォータ管理ができる。

また、クォータ集計部５は、作成した集計クォータを参照して、集計クォータを作成する時間間隔を変更してもよい。

そのような構成により、このクォータ管理機能付ファイルシステムを使用する場合、使用するユーザは、クォータのディスク使用量がクォータリミットを超えた時から、入出力制限がかかるまでの遅延時間を小さくすることができる。

また、Ｉ／Ｏサーバ２_１は、自身の負荷を監視する負荷監視部（例えば、サーバ負荷監視部２７０）を含み、通信部４を介して他のＩ／Ｏサーバ２_２〜２_ｎと負荷情報を交換してもよい。

また、クォータ管理機能付ファイルシステム１は、最も負荷の低いＩ／Ｏサーバに集計クォータを作成させてもよい。

そのような構成により、このクォータ管理機能付ファイルシステムを使用する場合、使用するユーザは、最も低負荷なサーバにクォータを集計させることができる。

また、Ｉ／Ｏサーバ２_１は、新規に作成されるファイルのＩ／Ｏサーバ２_１内へのメタデータ作成の許可を要求された際に、集計クォータ記憶部６に保存された集計クォータを参照して、ファイルが作成されるディレクトリが、ファイルが属するクォータの範囲内であればメタデータ作成を許可するクォータ判定部（例えば、クォータ判定部２３０）を含んでもよい。

そのような構成により、このクォータ管理機能付ファイルシステムを使用する場合、使用するユーザは、誤ったクォータにファイルを作成せずに済むことができる。

また、Ｉ／Ｏサーバ２_１は、クォータ管理部８内に仮想ファイルメタデータを作成する仮想ファイルメタデータ作成部（例えば、仮想ファイルメタデータ作成部２１０）を含んでもよい。

そのような構成により、このクォータ管理機能付ファイルシステムを使用する場合、使用するユーザは、仮想ファイルメタデータを用いて、実ファイルに付随されたクォータＩＤを高速に集計できる。

１、１０ クォータ管理機能付ファイルシステム
２_１〜２_ｎ、２００〜２０５ Ｉ／Ｏサーバ
５ クォータ集計部
７ 部分クォータ記憶部
８ クォータ管理部
９ クォータ更新部
１００〜１０４ 計算ノード
２１０ 仮想ファイルメタデータ作成部
６、２２０ 集計クォータ記憶部
２３０ クォータ判定部
４、２４０ 通信部
２５０ クォータ集計部
２５１ タイマ部
２６０ 部分クォータ
２７０ サーバ負荷監視部
２８０ サーバ内ローカルファイルシステム部
２９０ サーバ内クォータ更新部
３、３００ 通信網
４１１ ファイルＡのメタデータ
４２１〜４２３ ファイルＡの実ファイル情報
５１１ ファイルＢのメタデータ
５２１〜５２３ ファイルＢの実ファイル情報
６０１ ディレクトリ１のメタデータ
６１１ ディレクトリ１のディレクトリエントリ情報
６２１ ディレクトリエントリ
６３１ ディレクトリ２のメタデータ
６３２ ディレクトリ３のメタデータ
６３３ ファイル１のメタデータ
６３４ ファイル２のメタデータ
７００、７１０ 部分クォータ
７２０、７３０ 集計クォータ
７０１、７１１、７２１、７３１ クォータ

Claims (10)

1. １台以上のＩ／Ｏサーバを含み、作成されるファイルを分割し複数のＩ／Ｏサーバに分散させて保存し、各ファイルを読み取るために必要な各メタデータを複数のＩ／Ｏサーバに分散させて保存し、クォータを管理するクォータ管理機能付ファイルシステムであって、
   前記Ｉ／Ｏサーバは、
   クォータ管理機能付ファイルシステム全体のクォータである集計クォータを記憶する集計クォータ記憶部と、
   Ｉ／Ｏサーバ内のクォータである部分クォータを記憶する部分クォータ記憶部と、
   分割された実ファイルを保存し、前記集計クォータ記憶部に保存された集計クォータを参照して作成されたファイルが属するクォータのクォータＩＤを実ファイルに付与するクォータ管理部と、
   実ファイルが更新された際に前記クォータＩＤを参考にして前記部分クォータ記憶部に保存されている部分クォータを更新するクォータ更新部と、
   通信網を介して他のＩ／Ｏサーバと情報を交換する通信部と、
   前記通信部を介してクォータ管理機能付ファイルシステム内の他の全てのＩ／Ｏサーバから部分クォータの更新部分を収集し、収集した前記更新部分が反映された集計クォータを作成し、前記通信部を介して作成した前記集計クォータを他の全てのＩ／Ｏサーバへ配信するクォータ集計部とを含む
   ことを特徴とするクォータ管理機能付ファイルシステム。
2. クォータ集計部は、作成した集計クォータを参照して、集計クォータを作成する時間間隔を変更する
   請求項１記載のクォータ管理機能付ファイルシステム。
3. Ｉ／Ｏサーバは、自身の負荷を監視する負荷監視部を含み、通信部を介して他のＩ／Ｏサーバと負荷情報を交換する
   請求項１または請求項２記載のクォータ管理機能付ファイルシステム。
4. クォータ管理機能付ファイルシステムは、最も負荷の低いＩ／Ｏサーバに集計クォータを作成させる
   請求項３記載のクォータ管理機能付ファイルシステム。
5. Ｉ／Ｏサーバは、新規に作成されるファイルのＩ／Ｏサーバ内へのメタデータ作成の許可を要求された際に、集計クォータ記憶部に保存された集計クォータを参照して、ファイルが作成されるディレクトリが、ファイルが属するクォータの範囲内であればメタデータ作成を許可するクォータ判定部を含む
   請求項１から請求項４のうちのいずれか１項に記載のクォータ管理機能付ファイルシステム。
6. Ｉ／Ｏサーバは、クォータ管理部内に仮想ファイルメタデータを作成する仮想ファイルメタデータ作成部を含む
   請求項１から請求項５のうちのいずれか１項に記載のクォータ管理機能付ファイルシステム。
7. １台以上のＩ／Ｏサーバを含み、作成されるファイルを分割し複数のＩ／Ｏサーバに分散させて保存し、各ファイルを読み取るために必要な各メタデータを複数のＩ／Ｏサーバに分散させて保存し、クォータを管理するクォータ管理機能付ファイルシステム内の前記Ｉ／Ｏサーバにおいて実行されるクォータ管理方法であって、
   クォータ管理機能付ファイルシステム全体のクォータである集計クォータを記憶し、
   Ｉ／Ｏサーバ内のクォータである部分クォータを記憶し、
   分割された実ファイルを保存し、
   前記集計クォータを参照して作成されたファイルが属するクォータのクォータＩＤを実ファイルに付与し、
   実ファイルが更新された際に前記クォータＩＤを参考にして前記部分クォータを更新し、
   通信網を介して他のＩ／Ｏサーバと情報を交換し、
   クォータ管理機能付ファイルシステム内の他の全てのＩ／Ｏサーバから部分クォータの更新部分を収集し、
   収集した前記更新部分が反映された集計クォータを作成し、
   作成した前記集計クォータを他の全てのＩ／Ｏサーバへ配信する
   ことを特徴とするクォータ管理方法。
8. 作成した集計クォータを参考にして、集計クォータを作成する時間間隔を変更する
   請求項７記載のクォータ管理方法。
9. １台以上のＩ／Ｏサーバを含み、作成されるファイルを分割し複数のＩ／Ｏサーバに分散させて保存し、各ファイルを読み取るために必要な各メタデータを複数のＩ／Ｏサーバに分散させて保存し、クォータを管理するクォータ管理機能付ファイルシステム内の前記Ｉ／Ｏサーバにおいて実行されるクォータ管理プログラムであって、
   前記Ｉ／Ｏサーバに、
   クォータ管理機能付ファイルシステム全体のクォータである集計クォータを記憶する集計クォータ記憶処理、
   Ｉ／Ｏサーバ内のクォータである部分クォータを記憶する部分クォータ記憶処理、
   分割された実ファイルを保存する保存処理、
   前記集計クォータを参照して作成されたファイルが属するクォータのクォータＩＤを実ファイルに付与するクォータ管理処理、
   実ファイルが更新された際に前記クォータＩＤを参考にして前記部分クォータを更新するクォータ更新処理、
   通信網を介して他のＩ／Ｏサーバと情報を交換するための通信処理、
   クォータ管理機能付ファイルシステム内の他の全てのＩ／Ｏサーバから部分クォータの更新部分を収集する収集処理、
   収集した前記更新部分が反映された集計クォータを作成する作成処理、および
   作成した前記集計クォータを他の全てのＩ／Ｏサーバへ配信する配信処理
   を実行させるためのクォータ管理プログラム。
10. Ｉ／Ｏサーバに、
    作成した集計クォータを参考にして、集計クォータを作成する時間間隔を変更する変更処理を実行させる
    請求項９記載のクォータ管理プログラム。

Images