JP6291977B2 - 分散ファイルシステム、バックアップファイル取得方法、制御装置及び管理装置 - Google Patents

Description

本発明は、分散ファイルシステム、バックアップファイル取得方法、制御装置及び管理装置に関する。

近年、サーバ等の情報処理装置が扱うデータ量の増大に伴い、ネットワークに接続された複数のノードにデータを分散し、各ノードにてデータを記憶する分散ファイルシステムの重要性が増大している。分散ファイルシステム又は分散ＮＡＳ（Network Attached Storage）においては、例えば、図１３に図示するように、多数のＮＡＳやＮＡＳに類するネットワークストレージを分散ノード６２−１〜６２−３としてネットワーク上に分散配置する。

図１３に示す分散ファイルシステムにおいて、クライアント６０からの分散ノード６２-１〜６２-３へのアクセス要求を処理するのがファイルシステム統合装置６１である。ファイルシステム統合装置６１は、クライアント６０やバックアップ装置６３のインターフェイスとなるファイルアクセス部３００と、ファイルを各分散ノード６２−１〜６２−３に分散して格納する分散格納部３０１と、を含む。分散ファイルシステムでは、ファイルを記憶するノードを分散して配置することで、ファイル（データ）の記憶に係る処理を並列して実行可能とすると共に、必要に応じて冗長性を付与することで、システム全体の容量、性能及び信頼性の向上を図っている。

ここで、分散ファイルシステムに限らず、凡そファイルを記憶するシステムでは、記憶ファイルのバックアップが重要となる。しかし、分散ファイルシステムにおけるファイルのバックアップに関しては、取り扱うデータ量が膨大であることもあり、典型的なバックアップ手法が確立していない状況にある。

特許文献１において、複数のファイルサーバにあるファイルを一元的に管理するインデックスサーバを設置し、インデックスサーバがファイルの複製先、移動先を決定するシステムが開示されている。

特許文献２において、分散ファイルシステムの全体を複製（リプリケーション）しつつ、複製するファイルを一部に限定するファイルシステムが開示されている。

特開２０１０−２１８３３５号公報 特開２００４−２５２９５７号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

ファイルステムの典型的なバックアップ処理は以下のとおり実行される。第１に、ファイルシステム全体をスキャンし、バックアップの対象となるファイルに関するリストを作成する。その際、ファイルのパス名や更新時刻を確認するために、メタデータを参照することが多い。なお、メタデータは、ファイルの管理データであり、ファイルの更新日時、アクセス権限、サイズ等に関する情報（属性値）を含む。第２に、バックアップの対象ファイルの実データをファイルシステムから取得する。なお、実データとは、ファイルの内容そのものである。第３に、取得した実データをストレージ装置に格納する。

上記のバックアップ処理を、分散ファイルシステムにて実行すると以下の問題が生じる可能性がある。

分散ファイルシステムでは、ファイルが各分散ノードに分散されて格納されているため、分散された単位ごとに、データを格納している分散ノードを特定する処理や、読み込み対象の分散ノードを切り替える処理が必要となる。このような処理は、各分散ノードと接続を開始する、接続を終了するといったオーバーヘッドを生じさせる。つまり、メタデータ及び実データいずれのデータを読み込む場合であっても、分散ファイルシステム特有のオーバーヘッドが生じる。

加えて、データの総量が同じであったとしても、実データにアクセスする際に、個々のファイルサイズが小さいほど、オーバーヘッドが大きくなる。多数のファイルを読み込むために、分散ノードを切り替え、データを取得する処理がより多く発生するためである。

上記の問題を解決するために、例えば、特許文献１が開示するような手法（データの一元管理）を用いることが考えられる。具体的には、図１４に示すように、ファイルシステム統合装置６４のメタデータ管理部４０２からアクセス可能なメタデータ記憶装置６５を設け、当該記憶装置にてメタデータを一元管理（集中管理）することが考えられる。このような手法は、ファイルシステム全体のある瞬間のイメージであるスナップショットの確定、静止点定義には有効な技術であり、主にＮＡＳ仮想化装置等にて用いられている。

しかしながら、メタデータを集中管理することは、メタデータ記憶装置６５が分散ファイルシステムにおける単一障害点（ＳＰＦ；Single Point of Failure）となるだけでなく、性能上のボトルネックとなり得る。さらに、上記の手法は実データに対するアクセス性能の向上に寄与しない。

以上のように、分散ファイルシステムにおいては、ファイルを分散して格納することにより生じるバックアップ処理時のオーバーヘッドの発生、即ち、分散ファイルシステムの性能低下が問題となる。

本発明は、バックアップ処理時の性能向上に寄与する分散ファイルシステム、バックアップファイル取得方法、制御装置及び管理装置を提供することを目的とする。

本発明の第１の視点によれば、ファイルを記憶する複数のノードに対するアクセスを制御する制御装置と、バックアップ装置からの要求を処理する際に要する情報を管理する管理装置と、を含み、前記制御装置は、前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを前記管理装置に転送する転送部を備え、前記管理装置は、前記転送されたファイルのメタデータを記憶する第１の記憶部と、前記転送されたファイルの実データのうち、所定の条件を満たす実データを記憶する第２の記憶部と、前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信し、前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する、ファイルアクセス部と、を備える、分散ファイルシステムが提供される。

本発明の第２の視点によれば、ファイルを記憶する複数のノードに対するアクセスを制御する制御装置と、バックアップ装置からの要求を処理する際に要する情報を管理する管理装置と、を含んで構成される分散ファイルシステムのバックアップファイル取得方法であって、前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを前記管理装置に転送する工程と、前記転送されたファイルのメタデータを第１の記憶部に格納する工程と、前記転送されたファイルの実データのうち、所定の条件を満たす実データを第２の記憶部に格納する工程と、前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信する工程と、前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する工程と、を含む、バックアップファイル取得方法が提供される。
なお、本方法は、制御装置と管理装置という、特定の機械に結びつけられている。

本発明の第３の視点によれば、ファイルを記憶する複数のノードに対するアクセスを制御すると共に、前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを、バックアップ装置からの要求を処理する際に要する情報を管理する管理装置に転送する、制御装置が提供される。

本発明の第４の視点によれば、バックアップ装置からの要求を処理する際に要する情報を管理する管理装置であって、ファイルを記憶する複数のノードに対するアクセスを制御する制御装置から転送されるファイルのメタデータを記憶する第１の記憶部と、前記制御装置から転送されるファイルの実データのうち、所定の条件を満たす実データを記憶する第２の記憶部と、前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信し、前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する、ファイルアクセス部と、を備える、管理装置が提供される。

本発明の各視点によれば、バックアップ処理時の性能向上に寄与する分散ファイルシステム、バックアップファイル取得方法、制御装置及び管理装置が、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る分散ファイルシステムの構成の一例を示す図である。 クライアントからファイル書き込み要求があった場合の動作の一例を示すシーケンス図である。 分散ファイルシステムのスナップショット生成に係る動作の一例を示すシーケンス図である。 ファイルシステム統合装置のスナップショット取得処理に係る動作の一例を示すフローチャートである。 分散ファイルシステムのバックアップファイルの決定に係る動作の一例を示すシーケンス図である。 分散ファイルシステムの実データのバックアップに係る動作の一例を示すシーケンス図である。 複製ファイルシステム管理装置のバックアップファイル送信要求を処理する際の動作の一例を示すフローチャートである。 分散ファイルシステムの構成の一例を示す図である。 分散ファイルシステムの構成の一例を示す図である。 バックアップ方式の一例を説明するための図である。 第２の実施形態に係る分散ファイルシステムの構成の一例を示す図である。 分散ファイルシステムの構成の一例を示す図である。 分散ファイルシステムの構成の一例を示す図である。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述のように、バックアップ処理時の性能向上に寄与する分散ファイルシステムが望まれる。

そこで、一例として図１に示す分散ファイルシステムを提供する。分散ファイルシステムは、ファイルを記憶する複数のノードに対するアクセスを制御する制御装置１００と、バックアップ装置からの要求を処理する際に要する情報を管理する管理装置１０１と、を含む。制御装置１００は、複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、格納しようとするファイルを管理装置に転送する転送部１０２を備える。管理装置１０１は、転送されたファイルのメタデータを記憶する第１の記憶部１０３と、転送されたファイルの実データのうち、所定の条件を満たす実データを記憶する第２の記憶部１０４と、バックアップ装置から、ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、第１の記憶部１０３が記憶するメタデータを取得してバックアップ装置に送信し、バックアップ装置から、ノードが記憶するファイルの実データの送信要求を受けた場合には、第２の記憶部１０４が記憶する実データ及びバックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、バックアップ装置に送信する、ファイルアクセス部１０５と、を備える。

管理装置１０１は、制御装置１００から転送されてくるファイルを用いて、複数の分散ノードからなる分散ファイルシステムの複製を内部に構築し、バックアップ装置からの各種要求を、内部に構築した仮想的なファイルシステムの複製を用いて処理する。また、管理装置１０１は、ファイルシステムの複製を構築する際に、基本的には全ファイルのメタデータを記憶するが、実データに関しては所定の条件（例えば、ファイルサイズが閾値以下）を満たす実データを記憶する。従って、管理装置１０１は、バックアップ装置からメタデータの取得や内部に記憶した実データの送信要求を受けた場合には、分散ノードからなる分散ファイルシステム本体にアクセスせずに、ファイルシステムの複製にアクセスすることで、対処できる。その結果、分散ファイルシステムのバックアップを行う際のオーバーヘッドが減少し、バックアップ処理時の性能向上が達成できる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、第１の実施形態に係る分散ファイルシステムの構成の一例を示す図である。分散ファイルシステムは、クライアント１と、ファイルシステム統合装置２と、複数の分散ノード３−１〜３−ｎ（ｎは正の整数、以下同じ）と、バックアップ装置４と、複製ファイルシステム管理装置５と、を含んで構成される。図２に示す分散ファイルシステムに含まれる各装置は、ネットワークを介して相互に接続されている。なお、以下の説明において、分散ノード３−１〜３−ｎを区別する特段の理由がない場合には、単に「分散ノード３」と表記する。

クライアント１は、分散ファイルシステムを利用するユーザが、業務等で使用するコンピュータ等である。クライアント１から、ファイルシステム統合装置２に対して、ファイルの書き込み要求や読み出し要求がなされる。

ファイルシステム統合装置２は、クライアント１からのアクセス要求を処理する装置である。具体的には、ファイルシステム統合装置２は、ファイルを記憶する分散ノード３に対するアクセスを制御する装置である。ファイルシステム統合装置２は、上述の制御装置１００に相当する。

ファイルシステム統合装置２は、分散ノード３に対するファイルの書き込みや更新要求を行う際には、同等の要求を複製ファイルシステム管理装置５にも行う。さらに、ファイルシステム統合装置２は、分散ノード３、複製ファイルシステム管理装置５に対して、任意のタイミングにてスナップショットを取得させる機能を有する。

分散ノード３は、ファイルシステム統合装置２から書き込まれるファイルを記憶する装置である。なお、分散ノード３は、ファイルシステム統合装置２からの通知に応じて、特定のタイミングにおけるスナップショットを取得する機能を有する。

バックアップ装置４は、実際にバックアップデータを記憶する媒体（例えば、テープ装置、アーカイブ装置等）を備え、分散ファイルシステムのバックアップを管理、実施するソフトウェアがインストールされたコンピュータ等が該当する。

複製ファイルシステム管理装置５は、バックアップ装置４からの各種要求を処理する装置である。複製ファイルシステム管理装置５は、バックアップ装置４からの要求に応えるため、分散ファイルシステム全体が記憶するファイルのメタデータの複製と、分散ノード３が記憶するファイルのうち、所定の条件を満たすファイルに関する実データの複製と、を少なくとも記憶する。複製ファイルシステム管理装置５は、上述の管理装置１０１に相当する。

図２を参照すると、ファイルシステム統合装置２は、ファイルアクセス部１０と、分散格納部１１と、ファイル転送部１２と、スナップショット制御部１３と、を含んで構成される。なお、ファイルアクセス部１０等の各部は、ファイルシステム統合装置２に搭載されたコンピュータに、そのハードウェアを用いて、後に詳述する処理を実行させるコンピュータプログラムにより実現することもできる。

ファイルアクセス部１０は、クライアント１とのインターフェイスを提供する手段である。ファイルアクセス部１０は、クライアント１からのアクセス要求に従い、分散格納部１１やファイル転送部１２に、クライアント１から取得したファイルを引き渡し、ファイル書き込み要求、ファイル更新要求を発する。

分散格納部１１は、ファイルアクセス部１０からのファイル書き込み要求に応じて、分散ノード３にファイルを格納する手段である。具体的には、分散格納部１１は、分散ノード３に対し、ファイルデータ又はその各断片の書き込み要求を送信する。分散格納部１１は、予め定められた分散ファイルシステムの分散格納規則に基づき、書き込み要求を送信する分散ノード３を定める。

なお、ファイルシステム統合装置２が、分散ノード３が記憶するファイルを読み出す際には、図示しない読み出し手段を用いる。

ファイル転送部１２は、分散格納部１１が、分散ノード３−１〜３−ｎのうち少なくとも１以上の分散ノード３にファイルを格納する際に、当該格納しようとするファイルを複製ファイルシステム管理装置５に転送する手段である。即ち、ファイル転送部１２は、分散格納部１１が分散ノード３に対して行うのと同等のファイル書き込み要求を、複製ファイルシステム管理装置５に対して行うと共に、当該ファイルが格納される（格納される予定の）分散ノード３を特定するノード番号等を複製ファイルシステム管理装置５に送信する。

スナップショット制御部１３は、分散ノード３、複製ファイルシステム管理装置５に対して、任意のタイミングにてスナップショットを取得させる手段である。スナップショット制御部１３は、後述するスナップショット取得指示を受信した時点を境にファイルの世代を管理する機能を有する。

分散ノード３は、データ記憶部２０と、メタデータ記憶部２１と、を含んで構成される。データ記憶部２０は、ファイルの実データを記憶する手段である。メタデータ記憶部２１は、ファイルのメタデータを記憶する手段である。

複製ファイルシステム管理装置５は、ファイルアクセス部３０と、スナップショット部３１と、複製ファイルシステム部３２と、を含んで構成される。なお、ファイルアクセス部３０等の各部は、複製ファイルシステム管理装置５に搭載されたコンピュータに、そのハードウェアを用いて、後に詳述する処理を実行させるコンピュータプログラムにより実現することもできる。

ファイルアクセス部３０とスナップショット部３１は共に、バックアップ装置４に対するインターフェイスとして機能する。具体的には、ファイルアクセス部３０は、バックアップ装置４からのデータ送信要求を処理する手段である。

スナップショット部３１は、バックアップ装置４からのスナップショット生成に係る要求を処理する手段である。

複製ファイルシステム部３２は、分散ファイルシステムが記憶する全ファイルのメタデータの複製と、分散ファイルシステムが記憶する一部のファイルに関する実データの複製と、残りの実データを記憶する分散ノードを特定するための情報と、を管理する手段である。つまり、複製ファイルシステム管理装置５は、その内部に分散ノード３からなる分散ファイルシステム本体の複製を有することにより、ファイルシステム本体に対する仮想的なファイルシステムを構築し、管理する。

複製ファイルシステム管理装置５にて、分散ファイルシステムが対象とする全ファイルの実データを記憶することが考えられる。しかし、複製ファイルシステム管理装置５にて、分散ファイルシステム全体が記憶する全データを記憶しようとすると、分散ファイルシステム自身の容量と同じ容量（同じ容量の記憶媒体）が必要となる。そこで、第１の実施形態に係る複製ファイルシステム管理装置５では、所定の条件を満たすファイルを複製ファイルシステム管理装置５に記憶し、当該条件を満たさないファイルは分散ノード３での記憶に留める。

所定の条件には、例えば、ファイルのサイズを条件とすることができる。より具体的には、サイズの大きいファイルは分散ノード３に記憶し、サイズの小さいファイルは複製ファイルシステム管理装置５にも記憶するという条件である。実際には、予め閾値を設定し、当該閾値により複製ファイルシステム管理装置５に実データを記憶するか否かを定める。本実施形態では、サイズが閾値以下のファイルを複製ファイルシステム管理装置５に記憶（複製）するものとして、説明する。ただし、所定の条件をファイルのサイズに限定する趣旨ではない。例えば、ファイルの種別（例えば、テキストファイルやバイナリファイル）等を所定の条件としてもよい。

複製ファイルシステム部３２は、間接データ記憶部２０１と、間接データ参照部２０２と、転送実データ記憶部２０３と、実データ参照部２０４と、転送メタデータ記憶部２０５と、を含んで構成される。

間接データ記憶部２０１は、分散ファイルシステムを構成する複数の分散ノード３のなかから、ファイルが格納された分散ノード３を特定するために必要な情報（以下、間接データと表記する）を記憶する。なお、ファイルが格納される分散ノード３を特定するための間接データは、分散ファイルシステムのデータ格納方式に応じて適宜、選択される情報である。例えば、間接データ記憶部２０１は、ファイルの識別子と当該ファイルを記憶する分散ノード３のノード番号をペアとするような情報を記憶する。

間接データ参照部２０２は、間接データ記憶部２０１が記憶する情報に基づき、分散ノード３に格納されたファイルにアクセスする手段である。

転送実データ記憶部２０３は、ファイルシステム統合装置２から転送されてくるファイルのうち、所定の条件を満たすファイルの実データを記憶する。本実施形態では、上述のように、サイズが閾値以下のファイルが、転送実データ記憶部２０３に記憶される。

実データ参照部２０４は、転送実データ記憶部２０３が記憶するファイルにアクセスするための手段である。

転送メタデータ記憶部２０５は、ファイルシステム統合装置２から転送されてくる全ファイルのメタデータを記憶する。メタデータは、実データと比較すれば、そのサイズは極めて小さく、分散ノード３に記憶される全データのメタデータを記憶したとしても記憶に必要な容量は限定的である。

次に、分散ファイルシステムの動作について説明する。分散ファイルシステムの動作に関する説明は、分散ノード３へのファイルの書き込み、分散ノード３からのバックアップの実施等、機能ごとに行う。

＜クライアント１からのファイル書き込み要求への対応＞
図３は、クライアント１からファイル書き込み要求があった場合の動作の一例を示すシーケンス図である。

ステップＳ１０１において、クライアント１は、ファイルシステム統合装置２に対し、ファイル書き込み要求を送信する。

ステップＳ１０２において、ファイルシステム統合装置２の分散格納部１１は、当該要求に応じて、分散ノード３に対し、ファイルデータ又はその各断片の格納要求を行う。

その際、ファイルシステム統合装置２のファイル転送部１２は、分散ノード３に格納しようとするファイルを複製ファイルシステム管理装置５に転送する（ステップＳ１０３）。つまり、ファイル転送部１２は、分散格納部１１が行うのと同等のファイル書き込み要求を、複製ファイルシステム管理装置５に行う。

なお、図３において、ステップＳ１０２の後にステップＳ１０３を実行するように記載しているが、処理の実行順を限定する趣旨ではなく、これらの実行順が逆でもよいし、並列に（同時に）に実行されてもよい。

ステップＳ１０４において、分散ノード３は、受信した書き込み要求に基づき、データ記憶部２０に実データを、メタデータ記憶部２１に対応するメタデータを、それぞれ格納する。

ステップＳ１０５において、複製ファイルシステム部３２は、ファイル転送部１２から受信したファイル書き込み要求に対し、受信したファイルのメタデータを、転送メタデータ記憶部２０５に格納する。

ステップＳ１０６において、複製ファイルシステム部３２は、転送ファイルのサイズが閾値より大きいか否かを判定し、判定結果に基づいて、間接データ記憶部２０１へのデータ格納、又は、転送実データ記憶部２０３への実データの格納のいずれかを行う（ステップＳ１０７、Ｓ１０８）。

転送ファイルのファイルサイズが閾値よりも大きい場合には、複製ファイルシステム部３２は、当該ファイルが格納される分散ノード３を特定するための情報（間接データ）を間接データ記憶部２０１に格納する（ステップＳ１０７）。

一方、ファイルサイズが閾値以下である場合には、複製ファイルシステム部３２は、当該所定の条件を満たす実データを、転送実データ記憶部２０３に格納する。

なお、図３を参照して説明した動作は、クライアント１からのファイル書き込み要求に応じたものである。クライアント１からファイル更新要求があった場合も、図３に準ずる動作を行う。

ただし、その場合には、分散ノード３には既に対象とするファイルは存在するため、ステップＳ１０４における分散ノード３の動作は「ファイルの更新」となる。また、当該更新ファイルのメタデータも複製ファイルシステム管理装置５に存在するため、ステップＳ１０５における当該装置の動作は「メタデータの更新」となる。

一方、更新ファイルのサイズは変更になることがあって、更新ファイルが所定の条件を満たすか否かは定かではない。そこで、複製ファイルシステム管理装置５は、更新ファイルに対し、ステップＳ１０６〜Ｓ１０８に係る動作を再び実行する。

＜スナップショットの取得＞
バックアップ装置４は、分散ファイルシステムの管理者等により予め定められたスケジュールに従って、分散ファイルシステムのバックアップを実施する。バックアップの実施に先立って、バックアップ装置４は、スナップショットの生成指示を複製ファイルシステム管理装置５に対して行う。

図４は、分散ファイルシステムのスナップショット生成に係る動作の一例を示すシーケンス図である。

ステップＳ２０１において、バックアップ装置４は、複製ファイルシステム管理装置５に対して、スナップショット生成指示を送信する。

ステップＳ２０２において、スナップショット部３１は、ファイルシステム統合装置２に対して、スナップショット取得（採取）の指示を行う。

ステップＳ２０３において、ファイルシステム統合装置２は、スナップショット取得に係る処理を実行する。

図５は、ファイルシステム統合装置２のスナップショット取得処理に係る動作の一例を示すフローチャートである。図５を参照しつつ、ファイルシステム統合装置２によるスナップショット取得に係る動作を説明する。

初めに、スナップショット制御部１３は、スナップショット取得指示を受け付けた時点を境としてファイルの世代を管理する（ステップＳ３０１）。具体的には、スナップショット制御部１３は、スナップショット取得指示を受領した時点で、世代Ａを完了し、その後世代Ｂが開始されることを認識する。

スナップショット制御部１３は、スナップショット取得指示の受信以降、分散ノード３や複製ファイルシステム管理装置５に送信しようとするファイルに世代Ｂを意味するタグを付与する（ステップＳ３０２）。なお、スナップショット取得指示の受信以前のファイル書き込み、ファイル更新要求時に送信されたファイルには、世代Ａのタグが付与されている。

次に、スナップショット制御部１３は、ファイル転送部１２に、世代Ｂのタグが付与されたファイルに関する書き込み、更新要求を、複製ファイルシステム管理装置５に送信するのを中断させる（ステップＳ３０３）。世代Ｂのタグが付与されたファイルの送信を中断することで、世代Ａのタグが付与されたファイルに対する書き込み処理、更新処理が複製ファイルシステム管理装置５にて完了するのを待機する（ステップＳ３０４）。

次に、スナップショット制御部１３は、複製ファイルシステム管理装置５に対して、スナップショットの取得を指示する（ステップＳ３０５）。スナップショット取得指示を受け取った複製ファイルシステム管理装置５は、転送実データ記憶部２０３及び転送メタデータ記憶部２０５のスナップショットを取得する。

その後、スナップショット制御部１３は、複製ファイルシステム管理装置５からスナップショット取得完了に関する応答を受信する（ステップＳ３０６）。なお、当該応答を受信した後は、ファイル転送部１２は、世代Ｂのタグが付与されたファイルの書き込み、更新要求を複製ファイルシステム管理装置５に送信できるようになる。

スナップショット制御部１３は、ステップＳ３０３〜Ｓ３０６の動作と並行して、分散ノード３に対するスナップショット取得に係る処理を行う（ステップＳ３０７）。つまり、スナップショット制御部１３は、ステップＳ３０３〜Ｓ３０６と同様の処理を、分散ノード３に対して行う。

具体的には、スナップショット制御部１３は、分散格納部１１に、世代Ｂのタグが付与されたファイルに関する書き込み、更新要求を、各分散ノード３に送信するのを中断させる。スナップショット制御部１３は、世代Ｂのタグが付与されたファイルの転送を中断することで、世代Ａのタグが付与されたファイルに対する書き込み処理、更新処理が各分散ノード３にて完了するのを待機する。

その後、スナップショット制御部１３は、世代Ａのタグが付与されたファイルの書き込み、更新要求に係る処理が完了した分散ノード３に対して、スナップショットの取得を指示する。スナップショット取得指示を受け取った分散ノード３は、データ記憶部２０及びメタデータ記憶部２１のスナップショットを取得する。

その後、スナップショット制御部１３は、スナップショット取得完了に関する応答を分散ノード３から受信する。また、スナップショット取得完了に関する応答を受信した後は、分散格納部１１は、当該応答を送信してきた分散ノード３に対し、世代Ｂのタグが付与されたファイルの書き込み、更新要求を送信する。

このように、スナップショット制御部１３は、複製ファイルシステム管理装置５に転送されたファイルのうち、古い世代のファイルに関する処理が完了したことを確認し、その後、複製ファイルシステム管理装置５に対して、スナップショット取得指示を行う。スナップショット制御部１３は、分散ノード３に対しても、同様のスナップショット取得指示を行う。

図４における説明に戻ると、複製ファイルシステム管理装置５及び分散ノード３からスナップショット取得完了に関する応答を受信したファイルシステム統合装置２は、スナップショット取得完了通知を複製ファイルシステム管理装置５に対して送信する（ステップＳ２０４）。

当該通知を受信した複製ファイルシステム管理装置５は、バックアップ装置４に対して、スナップショットの生成が完了した旨を通知する（ステップＳ２０５）。

＜バックアップ対象の決定＞
スナップショットの作成が正常に終了すると、バックアップ装置４はバックアップするファイルを決定する。

図６は、分散ファイルシステムのバックアップファイルの決定に係る動作の一例を示すシーケンス図である。

ステップＳ４０１において、バックアップ装置４は、複製ファイルシステム管理装置５に対して、分散ファイルシステムにて記憶されているファイルの属性情報を含む一覧を要求する。

ステップＳ４０２において、複製ファイルシステム管理装置５のファイルアクセス部３０は、複製ファイルシステム部３２に、当該情報要求の処理を依頼する。複製ファイルシステム部３２は、転送メタデータ記憶部２０５から各ファイルの属性情報（例えば、当該ファイルの更新日時等）を取得し、取得した情報をファイルアクセス部３０に返信する。

ファイルアクセス部３０は、受信したファイルの属性情報（一覧情報）を、バックアップ装置４に返信する。つまり、ファイルアクセス部３０は、複製ファイルシステム部３２の転送メタデータ記憶部２０５が記憶するメタデータを取得し、バックアップ装置４に応答する。

バックアップ装置４は、取得したファイルの属性情報に基づき、バックアップするファイルを決定する（ステップＳ４０３）。例えば、バックアップ装置４は、前回バックアップを実施した時点以降に、更新されたファイルをバックアップの対象とする。

＜実データのバックアップ＞
次に、バックアップ装置４は、バックアップファイルの実データに関する送信要求を、複製ファイルシステム管理装置５に対して行う。

図７は、分散ファイルシステムの実データのバックアップに係る動作の一例を示すシーケンス図である。

ステップＳ５０１において、バックアップ装置４は、複製ファイルシステム管理装置５に対して、バックアップファイルに係る実データの送信を要求する。当該要求を受けた、複製ファイルシステム管理装置５のファイルアクセス部３０は、当該送信要求の処理を複製ファイルシステム部３２に依頼する（ステップＳ５０２）。

図８は、複製ファイルシステム管理装置５のバックアップファイル送信要求を処理する際の動作の一例を示すフローチャートである。図８を参照しつつ、複製ファイルシステム管理装置５によるバックアップファイル送信要求を処理する動作を説明する。

ステップＳ６０１において、複製ファイルシステム部３２は、要求されたバックアップファイルが所定の条件を満たすか否かを判定する。具体的には、複製ファイルシステム部３２は、要求されたバックファイルのファイルサイズが予め定めた閾値以下であるか否かを判定する。

要求されたバックファイルのファイルサイズが予め定めた閾値より大きい場合（ステップＳ６０１、Ｎｏ分岐）には、複製ファイルシステム部３２は、間接データ参照部２０２を動作させる。具体的には、ステップＳ６０２において、間接データ参照部２０２は、間接データ記憶部２０１が記憶する情報に基づいて、要求されたファイルを記憶している分散ノード３を特定し、当該分散ノード３に対して直近のスナップショット世代におけるファイルの実データの送信要求を行う。

ステップＳ６０３において、間接データ参照部２０２は、分散ノード３から取得した実データを、ファイルアクセス部３０に応答する。

一方、要求されたバックファイルのファイルサイズが予め定めた閾値以下の場合（ステップＳ６０１、Ｙｅｓ分岐）には、複製ファイルシステム部３２は、実データ参照部２０４を動作させる。具体的には、ステップＳ６０４において、実データ参照部２０４は、転送実データ記憶部２０３が記憶する直近のスナップショット世代におけるファイルの実データを、ファイルアクセス部３０に応答する。

ステップＳ６０５において、ファイルアクセス部３０は、間接データ参照部２０２又は実データ参照部２０４から取得した実データを、バックアップ装置４に送信する。

このように、ファイルアクセス部３０は、バックアップ装置４から、バックアップファイルの実データの送信に係る要求を受けた場合には、所定の条件に基づき、分散ノード３が記憶する実データ又は転送実データ記憶部２０３が記憶する実データのいずれかを、バックアップ装置４に送信する。

図７に戻ると、ステップＳ５０３において、バックアップ装置４は、受信した実データのバックアップを行う。

なお、第１の実施形態では、ファイルシステム統合装置２は、クライアント１から受信した全てのファイル書き込み要求に関し、当該ファイルを複製ファイルシステム管理装置５に転送する形態について説明した。しかし、全てのファイルを複製ファイルシステム管理装置５に転送することに限定する趣旨ではない。例えば、分散ノード３に格納されるファイルであってもバックアップする必要がないファイル等であれば、複製ファイルシステム管理装置５に転送する必要はない。

さらに、第１の実施形態では、複製ファイルシステム管理装置５の転送メタデータ記憶部２０５は、転送されてきた全てのファイルのメタデータを記憶する形態について説明した。しかし、転送メタデータ記憶部２０５にて、全ファイルのメタデータを記憶することに限定する趣旨ではない。例えば、バックアップの対象とならないことが予め判明しているファイルであれば、転送されてきたファイルのメタデータを記憶する必要はない。

以上のように、第１の実施形態に係る分散ファイルシステムでは、メタデータやサイズの小さいファイルを単一のノード（複製ファイルシステム管理装置５）に集約している。そのため、これらの情報を取得する際に、分散ノード３へのアクセスを要しない。その結果、分散ファイルシステムのバックアップを行う際のオーバーヘッドが減少し、バックアップ処理時の性能向上（例えば、バックアップの高速化）が達成できる。

また、必ずしも分散ファイルシステムに限ることではないが、バックアップの負荷が、分散ファイルシステムを使用する業務の性能に影響を与えることがある。このような影響を避けるための技術として、システムの冗長性を利用して、業務とバックアップの負荷を分離する技術が存在する。

例えば、図９に示すように、各分散ノード３ａ、３ｃ、３ｅの複製を行い、分散ノード３ｂ、３ｄ、３ｆを生成する。ファイルシステム統合装置２ａは、分散ノードに対して通常のアクセス（実線にて図示するアクセス）を行う場合には、複製元の分散ノードにアクセスする。一方、ファイルシステム統合装置２ａは、分散ノードからバックアップデータを読み出すアクセス（点線にて図示するアクセス）を行う場合には、複製された分散ノードにアクセスする。

あるいは、図１０に示すように、分散ノード３ｇ〜３ｉに含まれるデータ記憶部２０ｂのそれぞれに同じファイルＡを格納し、通常のアクセスとバックアップ用のアクセスを分離することが考えられる。具体的には、バックアップ用のアクセスと通常のアクセスのトラフィックを分離し、通常業務とバックアップでは、別ノードがデータ要求に応答するようにファイルシステム統合装置２ｂの処理をディスパッチすることも考えられる。

このように、システムの冗長性を利用して、分散ノードにおける負荷の競合を避けることで、バックアップの負荷による業務への影響を緩和することができる。しかし、このような方法であっても、ファイルシステム統合装置２ａ、２ｂにおける負荷の競合は解消されない。

一方、第１の実施形態に係る分散ファイルシステムでは、複製ファイルシステム管理装置５が、独立した転送メタデータ記憶部２０５と、ファイルアクセス部３０を備えているため、バックアップ時のアクセスを完全に分離しつつ、バックアップ対象のファイルのリスト化や属性値を参照するなどの処理を、内蔵するメタデータを用いて行うことができる。つまり、ファイルシステム統合装置２や分散ノード３からなる分散ファイルシステム本体とは独立して、バックアップ装置４の要求に対応できるので、バックアップ時の業務への影響を軽減できる。

また、類似領域であるブロックレベルストレージでは、業務との競合の問題に対応するため、図１１に示すように、ブロックストレージ制御部５０の制御下にあるデータ記憶部５１全体を、別のブロックストレージ制御部５０ａの制御下にあるデータ記憶部５１ａに複製することが考えられる。この場合、バックアップ装置４ｃからのアクセスを完全に分離し、通常業務とバックアップの負荷が分離できる。しかし、このような対応では、機器全体を２セット（又はそれ以上）用意する必要があり、経済的ではない。

一方、第１の実施形態に係る分散ファイルシステムでは、機器全体を複製せず、且つ、バックアップと通常業務の分離を実現できている。

また、特許文献２が開示するように、複製するファイルを一部のファイルに限定すれば、複製側で必要とされる容量、機材が抑制できる。しかし、特許文献２が開示する技術では、特定の基準により予めバックアップ対象を絞ることができない場合には適用できない。

一方、第１の実施形態に係る分散ファイルシステムでは、複製ファイルシステム管理装置５が所定の条件に基づき、ファイルの複製を絞り込み、絞り込みから漏れたファイルに関しては分散ノード３から取得するため、バックアップの対象に対する限定は存在しない。

さらに、バックアップのデータはファイルシステムとして矛盾のないものである必要があるが、複数のノードから構成される分散ファイルシステムでは、全体として矛盾のないデータをバックアップするのが困難である。また、バックアップを、より意味のあるものとするため、バックアップ処理中は記憶データの内容が変化しないよう固定する必要がある。より具体的には、ファイルＡはバックアップされているが、ファイルＡより前に分散ファイルシステムに格納されたファイルＢがバックアップされていないといった状況は避ける必要がある。

そのため、ファイルシステム全体のある瞬間のイメージであるスナップショットを取得し、そのスナップショットのデータをバックアップの対象とする。しかし、分散ファイルシステムは複数のノードから構成されるため、ノード間で共通の瞬間（タイミング）を定義できず、スナップショットの取得が困難である。

第１の実施形態に係る分散ファイルシステムでは、複製ファイルシステム管理装置５が集中型ＮＡＳの構成を採用しているため、「分散ファイルシステムが複製された仮想ファイルシステム側でのスナップショット取得時点」として静止点を定義できるので、分散ファイルシステムとしての静止点にてバックアップが可能となる。

また、複製ファイルシステム管理装置５から分散ノード３へのアクセスを可能とすることで、分散ファイルシステムが記憶の対象とする全ファイルに関する実データを複製ファイルシステム管理装置５に記憶する必要がない。そのため、分散ファイルシステムの複製を集中型ＮＡＳに取得するための高性能・高信頼性・大容量のＮＡＳを必要としない。

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。

図１２は、第２の実施形態に係る分散ファイルシステムの構成の一例を示す図である。図１２において図２と同一構成要素には、同一の符号を付し、その説明を省略する。

図１２に示すファイルシステム統合装置２ｃは、更新情報蓄積部１４を備える点が、第１の実施形態に係るファイルシステム統合装置２と異なる。また、複製ファイルシステム管理装置５ａは、ファイル更新履歴記憶部２０６を備える点が、第１の実施形態に係る複製ファイルシステム管理装置５と異なる。さらに、複製ファイルシステム管理装置５ａでは、間接データ記憶部２０１が存在しない。

図１２に示す更新情報蓄積部１４は、複製ファイルシステム管理装置５ａに転送されるファイルのバッファとして機能する。

ここで、クライアント１からのファイル書き込み、更新要求に対して、ファイル転送部１２が、複製ファイルシステム管理装置５ａにファイルを転送し、その応答を確認後、クライアント１に応答を返却する方法では、クライアント１への応答性能が悪化する可能性がある。そこで、第２の実施形態では、ファイルシステム統合装置２ｃの内部に複製ファイルシステム管理装置５ａに転送するファイルのバッファを設け、複製ファイルシステム管理装置５ａでの複製を非同期にて実行するようにしている。

更新情報蓄積部１４のバッファサイズは、構成機器の性能や想定するクライアント１からのアクセス頻度に応じて決定されるが、バッファサイズを可変とすることも考えられる。更新情報蓄積部１４のバッファが一杯になった場合には、複製ファイルシステム管理装置５ａへの書き込みを同期モードに移行するか、管理者に通報して対処を促す、等の対応を実施する。

第２の実施形態では、間接データ記憶部２０１を削除している。これは、以下の２つのケースを想定したものである。

分散ファイルシステムでは、各ファイル（又はファイルの断片）の格納位置を決定する方法は、２つの種類に大別できる。第１の方法は、各ファイルのファイル名等の属性から一意にデータを格納するノードが定まる方式である。第２の方法は、既存のファイル属性等からはデータを格納するノードが一意に定まらない方式である。以降の説明では、第１の方法を決定的方式、第２の方法を非決定的方式と表記する。

第１の実施形態にて説明した分散ファイルシステムでは、非決定的方式を想定したものである。そのため、個々のファイルを格納する分散ノード３に関するノード情報を間接データ記憶部２０１に保存しておく必要がある。

決定的方式を採用する場合には、ファイル名等、通常のメタデータとして保存されている属性データから必要なデータが格納されている分散ノード３を計算できる。そのため、決定的方式を採用する場合には、間接データ記憶部２０１は不要となる。これが、第１のケースである。決定的方式を採用する場合には、間接データ参照部２０２は、転送メタデータ記憶部２０５が記憶している属性データから、当該実データが記憶されている分散ノード３を特定し、当該分散ノードから実データを取得することになる。

一方、非決定的方式を採用する場合であっても、多少の性能劣化を容認すれば、間接データ参照部２０２が、クライアント１と同様の方法にて、ファイルシステム統合装置２ｃを経由して実データを取得することが可能である。ファイルシステム統合装置２ｃを経由して実データを取得することで、間接データ記憶部２０１に分散ノード３に関する情報を保存し、分散ファイルシステム本体と矛盾しないように維持するといった複雑な制御が不必要となる。これが、第２のケースである。

第２のケースの場合、間接データ参照部２０２は、ファイルシステム統合装置２ｃに対し、該当ファイルの実データを要求し、ファイルシステム統合装置２ｃからデータを取得する。

ここで、バックアップ装置４の機能を一部、複製ファイルシステム管理装置５ａにて実現することが考えられる。例えば、バックアップ装置４がバックアップの対象を決定するのではなく、複製ファイルシステム管理装置５ａが前回のバックアップ時からの差分ファイルの実体をバックアップ装置４に提供する形態も考えられる。このような形態での差分バックアップ時には、メタデータを全てチェックし、バックアップ対象ファイルを選別する必要がある。即ち、第１の実施形態にて図２を用いて説明したような構成では、転送メタデータ記憶部２０５が記憶するメタデータを一通りチェックする必要がある。

しかし、複製ファイルシステム管理装置５ａは、ファイル更新履歴記憶部２０６に、ファイルシステム統合装置２ｃから転送されてくるファイルの更新履歴を記憶しておくことで、転送メタデータ記憶部２０５をチェックすることなく、前回のバックアップ取得時点以後、更新のあったファイル等を効率良く選別してバックアップ対象を決定できる。

以上のように、第２の実施形態に係る分散ファイルシステムでは、更新情報蓄積部１４を用いることにより、クライアント１への応答性能を向上させるとともに、複製ファイルシステム管理装置５ａの一時的な停止や応答遅延に対する耐性を付加できる。また、複製ファイルシステム管理装置５ａでは、ファイル更新履歴記憶部２０６にファイルの更新履歴を記憶することで、バックアップすべき差分ファイルを容易に特定できるようになり、バックアップ性能がより向上する。

第１及び第２の実施形態にて説明した分散ファイルシステムは、通常業務への影響（性能低下、業務の一時停止）を可能な限り抑制しつつ、効率的にバックアップを取りたい環境下にて運用するのが好適である。

なお、第１及び第２の実施形態にて説明した分散ファイルシステムの構成及び動作は例示であって、種々の変形が可能である。例えば、複製ファイルシステム管理装置５の全機能又は一部の機能が、ファイルシステム統合装置２に組み込まれていてもよい。一例として、図３に示すステップＳ１０６の判断処理をファイル転送部１２に組み込み、所定の条件が満たされない場合には、ファイルシステム統合装置２から複製ファイルシステム管理装置５への該当ファイルの転送を省略することが考えられる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
ファイルを記憶する複数のノードに対するアクセスを制御する制御装置と、
バックアップ装置からの要求を処理する際に要する情報を管理する管理装置と、
を含み、
前記制御装置は、
前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを前記管理装置に転送する転送部を備え、
前記管理装置は、
前記転送されたファイルのメタデータを記憶する第１の記憶部と、
前記転送されたファイルの実データのうち、所定の条件を満たす実データを記憶する第２の記憶部と、
前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信し、前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する、ファイルアクセス部と、
を備える、分散ファイルシステム。
［付記２］
前記管理装置は、
前記複数のノードのうち、前記転送されたファイルに対応するファイルを記憶するノードを特定する情報を記憶する第３の記憶部と、
前記バックアップ装置から送信要求を受けたファイルの実データが前記所定の条件を満たす場合には、前記第２の記憶部が記憶する実データを参照し、前記ファイルアクセス部に応答する第１の参照部と、
前記バックアップ装置から送信要求を受けたファイルの実データが前記所定の条件を満たさない場合には、前記第３の記憶部を参照して前記バックアップ装置から送信要求を受けたファイルを記憶するノードから実データを取得し、前記ファイルアクセス部に出力する第２の参照部と、
をさらに備える、付記１の分散ファイルシステム。
［付記３］
前記管理装置は、前記バックアップ装置からスナップショット生成指示を受けると、スナップショット取得指示を前記制御装置に送信し、
前記制御装置は、
前記送信されたスナップショット取得指示を受信した時点を境にファイルの世代を管理するスナップショット制御部を備え、
前記スナップショット制御部は、
前記管理装置に転送されたファイルのうち、古い世代のファイルに関する前記管理装置の処理が完了した後に、前記管理装置に対して、前記第１及び第２の記憶部のスナップショット取得の指示を行い、
前記ノードが古い世代のファイルに関する処理が完了した後に、古い世代のファイルの記憶が完了したノードに対して、スナップショットの取得の指示を行い、
前記管理装置及び前記ノードから、スナップショットの取得が完了した応答を得た後に、前記管理装置にスナップショットの取得が完了したことを通知する、付記２の分散ファイルシステム。
［付記４］
前記転送部は、前記スナップショット制御部が前記管理装置から、スナップショットの取得が完了した応答を得た後に、前記管理装置に新しい世代のファイルを転送する、付記３の分散ファイルシステム。
［付記５］
前記制御装置は、
前記管理装置に転送するファイルを一時的に蓄積する蓄積部をさらに備える、付記１乃至４のいずれか一に記載の分散ファイルシステム。
［付記６］
前記管理装置は、
前記制御装置から転送されてくるファイルの更新履歴を記憶する第４の記憶部をさらに備える付記１乃至５のいずれか一に記載の分散ファイルシステム。
［付記７］
前記所定の条件には、前記転送されたファイルのサイズに関する条件が少なくとも含まれる、付記１乃至６のいずれか一に記載の分散ファイルシステム。
［付記８］
ファイルを記憶する複数のノードに対するアクセスを制御する制御装置と、
バックアップ装置からの要求を処理する際に要する情報を管理する管理装置と、
を含んで構成される分散ファイルシステムのバックアップファイル取得方法であって、
前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを前記管理装置に転送する工程と、
前記転送されたファイルのメタデータを第１の記憶部に格納する工程と、
前記転送されたファイルの実データのうち、所定の条件を満たす実データを第２の記憶部に格納する工程と、
前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信する工程と、
前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する工程と、
を含む、バックアップファイル取得方法。
［付記９］
ファイルを記憶する複数のノードに対するアクセスを制御すると共に、
前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを、バックアップ装置からの要求を処理する際に要する情報を管理する管理装置に転送する、制御装置。
［付記１０］
バックアップ装置からの要求を処理する際に要する情報を管理する管理装置であって、
ファイルを記憶する複数のノードに対するアクセスを制御する制御装置から転送されるファイルのメタデータを記憶する第１の記憶部と、
前記制御装置から転送されるファイルの実データのうち、所定の条件を満たす実データを記憶する第２の記憶部と、
前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信し、前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する、ファイルアクセス部と、
を備える、管理装置。
［付記１１］
ファイルを記憶する複数のノードに対するアクセスを制御する制御装置を制御するコンピュータに実行させるプログラムであって、
前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを、バックアップ装置からの要求を処理する際に要する情報を管理する管理装置に転送する処理を実行させるプログラム。
［付記１２］
バックアップ装置からの要求を処理する際に要する情報を管理する管理装置を制御するコンピュータに実行させるプログラムであって、
ファイルを記憶する複数のノードに対するアクセスを制御する制御装置から転送されるファイルのメタデータを第１の記憶部に記憶する処理と、
前記制御装置から転送されるファイルの実データのうち、所定の条件を満たす実データを第２の記憶部に記憶する処理と、
前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信する処理と、
前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する処理と、
を実行させるプログラム。
なお、付記１１及び付記１２のプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。

付記８〜付記１２の各形態は、付記１と同様に、付記２〜付記７の形態に展開することができる。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１、６０ クライアント
２、２ａ〜２ｃ、６１、６４ ファイルシステム統合装置
３、３-１〜３-ｎ、３ａ〜３ｉ、６２-１〜６２-６ 分散ノード
４、４ａ〜４ｃ、６３、６４ バックアップ装置
５、５ａ 複製ファイルシステム管理装置
１０、１０ａ、１０ｂ、３０、３００、４００ ファイルアクセス部
１１、１１ａ、１１ｂ、３０１、４０１ 分散格納部
１２ ファイル転送部
１３ スナップショット制御部
１４ 更新情報蓄積部
２０、２０ａ、２０ｂ、５１、５１ａ、３０２ データ記憶部
２１、２１ａ、２１ｂ、３０３ メタデータ記憶部
３１ スナップショット部
３２、３２ａ 複製ファイルシステム部
５０、５０ａ ブロックストレージ制御部
５２ ファイル転送部
６５ メタデータ記憶装置
１００ 制御装置
１０１ 管理装置
１０２ 転送部
１０３ 第１の記憶部
１０４ 第２の記憶部
１０５ ファイルアクセス部
２０１ 間接データ記憶部
２０２ 間接データ参照部
２０３ 転送実データ記憶部
２０４ 実データ参照部
２０５ 転送メタデータ記憶部
２０６ ファイル更新履歴記憶部
４０２ メタデータ管理部

Claims (9)

1. ファイルを記憶する複数のノードに対するアクセスを制御する制御装置と、
   バックアップ装置からの要求を処理する際に要する情報を管理する管理装置と、
   を含み、
   前記制御装置は、
   前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを前記管理装置に転送する転送部を備え、
   前記管理装置は、
   前記転送されたファイルのメタデータを記憶する第１の記憶部と、
   前記転送されたファイルの実データのうち、所定の条件を満たす実データを記憶する第２の記憶部と、
   前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信し、前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する、ファイルアクセス部と、
   を備える、分散ファイルシステム。
2. 前記管理装置は、
   前記複数のノードのうち、前記転送されたファイルに対応するファイルを記憶するノードを特定する情報を記憶する第３の記憶部と、
   前記バックアップ装置から送信要求を受けたファイルの実データが前記所定の条件を満たす場合には、前記第２の記憶部が記憶する実データを参照し、前記ファイルアクセス部に応答する第１の参照部と、
   前記バックアップ装置から送信要求を受けたファイルの実データが前記所定の条件を満たさない場合には、前記第３の記憶部を参照して前記バックアップ装置から送信要求を受けたファイルを記憶するノードから実データを取得し、前記ファイルアクセス部に出力する第２の参照部と、
   をさらに備える、請求項１の分散ファイルシステム。
3. 前記管理装置は、前記バックアップ装置からスナップショット生成指示を受けると、スナップショット取得指示を前記制御装置に送信し、
   前記制御装置は、
   前記送信されたスナップショット取得指示を受信した時点を境にファイルの世代を管理するスナップショット制御部を備え、
   前記スナップショット制御部は、
   前記管理装置に転送されたファイルのうち、古い世代のファイルに関する前記管理装置の処理が完了した後に、前記管理装置に対して、前記第１及び第２の記憶部のスナップショット取得の指示を行い、
   前記ノードが古い世代のファイルに関する処理が完了した後に、古い世代のファイルの記憶が完了したノードに対して、スナップショットの取得の指示を行い、
   前記管理装置及び前記ノードから、スナップショットの取得が完了した応答を得た後に、前記管理装置にスナップショットの取得が完了したことを通知する、請求項２の分散ファイルシステム。
4. 前記転送部は、前記スナップショット制御部が前記管理装置から、スナップショットの取得が完了した応答を得た後に、前記管理装置に新しい世代のファイルを転送する、請求項３の分散ファイルシステム。
5. 前記制御装置は、
   前記管理装置に転送するファイルを一時的に蓄積する蓄積部をさらに備える、請求項１乃至４のいずれか一項に記載の分散ファイルシステム。
6. 前記管理装置は、
   前記制御装置から転送されてくるファイルの更新履歴を記憶する第４の記憶部をさらに備える請求項１乃至５のいずれか一項に記載の分散ファイルシステム。
7. 前記所定の条件には、前記転送されたファイルのサイズに関する条件が少なくとも含まれる、請求項１乃至６のいずれか一項に記載の分散ファイルシステム。
8. ファイルを記憶する複数のノードに対するアクセスを制御する制御装置と、
   バックアップ装置からの要求を処理する際に要する情報を管理する管理装置と、
   を含んで構成される分散ファイルシステムのバックアップファイル取得方法であって、
   前記複数のノードのうち少なくとも１以上のノードにファイルを格納する際に、前記格納しようとするファイルを前記管理装置に転送する工程と、
   前記転送されたファイルのメタデータを第１の記憶部に格納する工程と、
   前記転送されたファイルの実データのうち、所定の条件を満たす実データを第２の記憶部に格納する工程と、
   前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信する工程と、
   前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する工程と、
   を含む、バックアップファイル取得方法。
9. バックアップ装置からの要求を処理する際に要する情報を管理する管理装置であって、
   ファイルを記憶する複数のノードに対するアクセスを制御する制御装置から転送されるファイルのメタデータを記憶する第１の記憶部と、
   前記制御装置から転送されるファイルの実データのうち、所定の条件を満たす実データを記憶する第２の記憶部と、
   前記バックアップ装置から、前記ノードが記憶するファイルに関するメタデータの送信要求を受けた場合には、前記第１の記憶部が記憶するメタデータを取得して前記バックアップ装置に送信し、前記バックアップ装置から、前記ノードが記憶するファイルの実データの送信要求を受けた場合には、前記第２の記憶部が記憶する実データ及び前記バックアップ装置から送信要求を受けたファイルを記憶するノードが記憶する実データのいずれかを、前記バックアップ装置に送信する、ファイルアクセス部と、
   を備える、管理装置。

Images