JP7241105B2 - ファイルストレージシステム及びファイルストレージシステムによるファイル管理方法 - Google Patents

Description

本発明は、ファイルストレージシステム及びファイルストレージシステムによるファイル管理方法に関する。

本発明は、好ましくは、分散ファイルシステムのノード間でデータの整合性を保証するための技術に関する。

複数の拠点にそれぞれ設置されたストレージ装置がオブジェクトストレージ装置に接続され、ストレージ装置間のデータ転送を実現する計算機システムが知られている。

本明細書に開示される計算機システム（ファイルストレージシステム）は、拠点に設置されたストレージ装置に格納されたユーザファイルをオブジェクトストレージにレプリケーション（マイグレーション）する機能を提供する。また、アクセスの少ないユーザファイルは、メタデータを残してデータを拠点に設置されたストレージ装置から削除するスタブ化機能、及び、スタブ化されたユーザファイルの再参照時にオブジェクトストレージからデータを取得するリコール機能を提供する。これらの拠点に設置されたストレージ装置とオブジェクトストレージが連携して提供するこれらの機能をファイル仮想化機能と呼ぶ。

また、各拠点のストレージ装置を複数のノードで構成するスケールアウト型の分散ファイルシステムが知られている。

ファイル仮想化機能を高信頼とするためには、電断などの障害時にもデータの整合性を保証するため、ファイル仮想化の適用状況を管理するメタデータを損失しないように、ジャーナリングにより保護が必要である。分散ファイルシステムにおいては、複数のノードがユーザファイルを格納するため、ノード間のデータ整合性を保証する必要がある。

特許文献１に開示された技術では、データとメタデータ（データ管理ファイル）のうちメタデータにのみジャーナルを適用する。さらに、クラスタでユニークとなる擬似タイムスタンプを共有し、複数ノードで受け付けるデータ操作に対して、疑似タイムスタンプを付与したジャーナルを作成し、信頼性を向上させている。

米国特許出願公開第２０１７／０１９２９８９号明細書

しかし、特許文献１に開示された技術では、複数ノードから擬似タイムスタンプという単一リソースへのアクセス競合が生じる。また、クライアントのＩＯに対して疑似タイムスタンプを加算してから付与するため、クライアントＩＯへの応答性能の低下につながる。また、更新するジャーナルの格納先がクライアントＩＯ受領ノードと異なり、応答性能低下の要因となる。

従って、クライアントのＩＯ性能の低下を防ぎつつ、分散ファイルシステムにおいてファイル仮想化の管理情報の整合性を保証することが望まれている。

本発明は、上記事情に鑑みなされたものであり、その目的は、クライアントのＩＯ性能の低下を防ぎつつ、分散ファイルシステムにおいてファイル仮想化の管理情報の整合性を保証することが可能なファイルストレージシステム及びファイルストレージシステムによるファイル管理方法を提供することにある。

本発明の一つの観点に従うファイルストレージシステムは、プロセッサと記憶装置とを有する複数のノードから構成され、分散ファイルシステムによりファイルを格納してクライアントへのファイルの入出力を行う第１のストレージシステムと、第１のストレージシステムに格納されたファイルが転送される第２のストレージシステムとを有し、これら第１のストレージシステム及び第２のストレージシステムによりファイル仮想化機能を実現するファイルストレージシステムであって、時系列順序を示すカウンタ値を含みファイル毎に設けられた管理情報ファイルと、カウンタ値とともにファイルの操作内容が記述されるオペレーションログと、を有し、第１のストレージシステムは、ファイルへの操作要求に基づいて第１のストレージシステムに格納されたファイルの操作を行い、ファイルへの操作内容とともに操作を行うファイルに対応付けられた管理情報ファイルのカウンタ値をオペレーションログに記述して、操作要求の返答を行い、第１のストレージシステムに格納されたファイルを第２のストレージシステムに転送した場合に、管理情報ファイルのカウンタ値を更新する。

本発明によれば、クライアントのＩＯ性能の低下を防ぎつつ、分散ファイルシステムにおいてファイル仮想化の管理情報の整合性を保証することが可能なファイルストレージシステム及びファイルストレージシステムによるファイル管理方法を実現することができる。

実施形態のファイルストレージシステムの概要の一例を説明する図である。 実施形態のファイルストレージシステムの構成図の一例である。 実施形態のファイルストレージシステムに係るＥｄｇｅファイルストレージの構成図である。 実施形態のファイルストレージシステムに係るオブジェクトストレージの構成図である。 実施形態のファイルストレージシステムに係る管理情報ファイル４００の一例である。 実施形態のファイルストレージシステムに係るオペレーションログの一例である。 実施形態のファイルストレージシステムにおけるファイル／ディレクトリ作成処理のフローチャートの一例である。 実施形態のファイルストレージシステムにおけるファイル更新処理のフローチャートの一例である。 実施形態のファイルストレージシステムにおけるファイル参照処理のフローチャートの一例である。 実施形態のファイルストレージシステムにおけるファイルマイグレーション処理のフローチャートの一例である。 実施形態のファイルストレージシステムにおけるディレクトリマイグレーション処理のフローチャートの一例である。 実施形態のファイルストレージシステムにおけるファイルスタブ化処理のフローチャートの一例である。 実施形態のファイルストレージシステムにおける整合性回復処理のフローチャートの一例である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

なお、以下の説明において、「メモリ」は、１以上のメモリであり、典型的には主記憶デバイスでよい。メモリ部における少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。

また、以下の説明において、「プロセッサ」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。

また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。

本開示において、記憶装置（デバイス）は、１台のＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の１台のストレージドライブ、複数台のストレージドライブを含むＲＡＩＤ装置、及び複数のＲＡＩＤ装置を含む。また、ドライブがＨＤＤである場合には、例えば、ＳＡＳ（Serial Attached SCSI） ＨＤＤを含んでもよく、ＮＬ－ＳＡＳ（ニアラインＳＡＳ） ＨＤＤを含んでもよい。

また、以下の説明において、「ｘｘｘテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。

各情報の内容を説明する際に、識別情報について「識別子」、「名」、「ＩＤ」等の表現を用いるが、これらはお互いが置換可能である。これらのうちの少なくとも１つに代えて、多種の識別情報が使用されてよい。

また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶資源（例えば、メモリ）及び／又は通信インターフェースデバイス（例えば、ポート）を用いながら行うため、処理の主語がプログラムとされてもよい。プログラムを主語として説明された処理は、プロセッサまたはそのプロセッサを有する計算機が行う処理としてもよい。

なお、以降の説明において、"○○部は"と動作主体を記した場合、それは、ファイルストレージシステムを構成する情報処理装置のプロセッサがメモリに格納されたプログラムである○○部の処理内容を読み出してロードしたうえで○○部の機能（詳細後記）を実現することを意味する。

プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

なお、実施例を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。

また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（又は、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（又は参照符号）を使用することがある。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

本実施形態のファイルストレージシステムは、一例として次のような構成を有する。

すなわち、本実施形態にかかるファイルストレージシステムは、各拠点の複数のファイルストレージ装置と、各拠点の複数のファイルストレージ装置に接続されるデータセンタのファイルストレージ装置と、データセンタのオブジェクトストレージ装置とを備える。

各ファイルストレージ装置は複数のノードから構成され、ファイルシステムを格納し、ファイルシステム内の要素のパスと、オブジェクトストレージ装置内における、要素のアーカイブ先とを対応づけて記憶する。クライアントからのリクエストによりファイルシステムが更新された場合、その操作内容を自身のノード内のオペレーションログに追記し、また、操作の対象となる要素ごとに管理情報ファイルを更新する。この時、ファイルごとにカウンタを持ち、オペレーションログに現在のカウンタの値を含める。ファイルごとのカウンタの値は、クライアントからのリクエストによりファイルシステムが更新された場合には値を更新しない。これによってクライアントＩＯの応答性能の低下を防ぐ。

さらに、ファイル仮想化機能がマイグレーション処理とスタブ化処理を実行するときには、当該ファイルのカウンタの値を＋１した値をオペレーションログに追記する。また、当該ファイルに対応する管理情報ファイル内のカウンタ値を＋１する。これにより、クライアントからのリクエストによるファイルシステム更新と、ファイル仮想化による前後関係が分かる、つまり、最終的なファイルの状態を一意に決定することができ、ファイル仮想化の管理情報の整合性を回復可能とする。

図１は、本実施形態のファイルストレージシステムの概要の一例を説明する図である。

サイト１０－１はファイルストレージ装置の一例であるＥｄｇｅファイルストレージ（第１のストレージシステム）１００を含む。Ｅｄｇｅファイルストレージ１００は複数のノード１５０を有する。本実施形態のＥｄｇｅファイルストレージ１００は３つのノード１５０－１、１５０－２、１５０－３から構成されている。

Ｅｄｇｅファイルストレージ１００は、クライアント６００にファイル共有サービスを提供し、分散ファイルシステム１３０を有する。Ｅｄｇｅファイルストレージ１００は、ファイルシステム１３０内の要素であるファイル及びディレクトリに対する操作をそれぞれ実行可能である。

Ｅｄｇｅファイルストレージ１００を構成するノード１５０は、ＩＯ Ｈｏｏｋプログラム１１１とＤａｔａ Ｍｏｖｅｒプログラム１１２を有し、ファイル共有サービスを実現する。ＩＯ Ｈｏｏｋプログラム１１１はファイルシステム１３０に格納されたファイルおよびディレクトリに対する操作を検出し、各ノード１５０のオペレーションログ５００に操作内容を追記する。また、ＩＯ Ｈｏｏｋプログラム１１１は、ファイルおよびディレクトリに対応する管理情報ファイル４００を分散ファイルシステム１３０に格納する。ここで、オペレーションログ５００がそれぞれのノード１５０に設けられているのは、オペレーションログ５００にアクセスするためのノード１５０間アクセスを少なくするためである。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ＩＯ Ｈｏｏｋプログラム１１１が検出したファイルおよびディレクトリをオブジェクトストレージ（第２のストレージシステム、図２参照）３００に転送する。転送する目的は、バックアップやアーカイブを含む。Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、オブジェクトストレージ３００にレプリケーションしたという情報を、各ノード１５０のオペレーションログ５００に追記する。また、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、オブジェクトストレージ３００にレプリケーションしたファイルのデータをＥｄｇｅファイルストレージ１００から削除するスタブ化処理を実施する。この時も同様に、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、スタブ化したという情報を、各ノード１５０のオペレーションログ５００に追記する。

整合性回復に用いるオペレーションログ５００に関わるファイル処理の具体例を説明する。ここで、（）内の番号は図１に示す吹き出しの番号に対応付けられている。

（１）クライアント６００により、ファイルシステム１３０に対する操作が行われる。この操作の内容は、例えば、操作の対象であるＥｄｇｅファイルストレージ１００のファイルシステム１３０のファイルＢに対する、「データ更新」である。ここで、ファイルＢにデータを更新する例を示している。
（２）続いて、ＩＯ Ｈｏｏｋプログラム１１１は、ファイルＢに対するデータ更新を検出し、ファイルＢに対してデータ更新を実行する。
（３）ＩＯ Ｈｏｏｋプログラム１１１は、現在のファイルＢのＣｏｕｎｔｅｒ４１４（図５参照）の値とファイル更新の情報をオペレーションログ５００に追記する。
（４）ＩＯ Ｈｏｏｋプログラム１１１は、検出したファイルＢの更新範囲の情報を部分状態の変更としてファイルＢのメタデータや別ファイルやデータベースなどに格納する。本実施形態は、ファイルＢ管理情報ファイル４００の例を示している。
（５）Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、マイグレーションまたはスタブ化処理実行後、現在のファイルＢのＣｏｕｎｔｅｒ４１４の値を＋１した値とマイグレーションまたはスタブ化情報をオペレーションログ５００に追記する。
（６）Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ファイルＢの管理情報ファイル４００のＣｏｕｎｔｅｒ５０６の値を＋１する。

上記処理により、Ｅｄｇｅファイルストレージ１００のファイルシステム１３０に格納されたファイルに対するクライアント６００からの操作とＤａｔａ Ｍｏｖｅｒプログラム１１２の操作をオペレーションログ５００に格納することで、電断等の所外発生時にファイルと管理情報ファイル４００とが不整合になった場合において、オペレーションログ５００から操作を検出でき、整合性を回復することができる。

以下に用語の説明を示す。

差分データの更新情報は、更新されたファイルごとに、当該ファイルのメタデータに格納されてもよいし、当該ファイルとは別のファイルに格納されてもよいし、差分データの更新情報を管理するデータベースに格納されてもよい。差分データの更新情報は、操作内容、操作対象、操作対象のオブジェクトアドレス、Ｏｆｆｓｅｔ、Ｌｅｎｇｔｈを含む。

ファイル状態は、Ｅｄｇｅファイルストレージ１００のファイルシステム１３０内に格納されているファイルの状態を示す管理情報である。ファイル状態は、Ｄｉｒｔｙ、Ｃａｃｈｅｄ、Ｓｔｕｂの３つの状態を持つ。

ファイル部分状態（またはファイルデータ状態、またはオフセット状態）は、Ｅｄｇｅファイルストレージ１００のファイルシステム１３０内に格納されているファイルデータのオフセットごとの状態を示す管理情報である。ファイル部分状態は、ファイル部分、つまりファイルデータのオフセットごとにＤｉｒｔｙ、Ｃａｃｈｅｄ、Ｓｔｕｂの３つの状態を持つ。

状態がＤｉｒｔｙとは、ファイルまたはファイルデータのオフセットが、データセンタ２０に反映されていない状態を示す。

状態がＣａｃｈｅｄとは、ファイルまたはファイルデータのオフセットが、データセンタ２０に反映されており、かつ、Ｅｄｇｅファイルストレージ１００のファイルシステム１３０にファイルデータを格納している状態を示す。

状態がＳｔｕｂとは、ファイルまたはファイルデータのオフセットが、データセンタ２０に反映されており、かつ、Ｅｄｇｅファイルストレージ１００のファイルシステム１３０にファイルデータを格納していない状態を示す。

ファイル状態およびファイル部分状態の格納場所は、各ファイルのメタデータでもよいし、当該ファイルとは別のファイルでもよいし、ファイル状態およびファイル部分状態を管理するデータベースでもよい。

図２は、本実施形態に係るファイルストレージシステムの構成図の一例である。

ファイルストレージシステム１は、各サイト１０－１、１０－２とデータセンタ２０と、それらを接続するネットワーク３０を有する。サイト１０－１、１０－２には、１つまたは複数のクライアント６００と、１つまたは複数のＥｄｇｅファイルストレージ１００が配置される。データセンタ２０には、１つまたは複数のクライアント６００と、１つまたは複数のＣｏｒｅファイルストレージ２００と、１つまたは複数のオブジェクトストレージ３００を有する。

各サイト１０－１、１０－２において、クライアント６００とＥｄｇｅファイルストレージ１００は、例えば、拠点内ＬＡＮ（Local Area Network）等のネットワークで接続されている。クライアント６００は、例えば、ＮＦＳ（Network File System）やＣＩＦＳ（Common Internet File System）などのファイル共有プロトコルを用いてＥｄｇｅファイルストレージ１００が提供するファイル共有サービスを利用する。

データセンタ２０において、クライアント６００とＣｏｒｅファイルストレージ２００と、オブジェクトストレージ３００は、例えば、拠点内ＬＡＮ（Local Area Network）等のネットワークで接続されている。

各サイトを接続するネットワーク３０は、例えばＷＡＮ（Wide Area Network）等であり、例えば、各Ｅｄｇｅファイルストレージ１００は、例えば、ＨＴＴＰ（Hypertext Transfer Protocol）などのプロトコルを用いて、Ｃｏｒｅファイルストレージ２００にアクセスする。

なお、本実施形態では、計算機システム内に２つのサイト１０－１、１０－２を有する例を示して説明しているが、計算機システム内のサイトの数はいくつでもよい。

なお、ネットワークの種類は上記ネットワークに限定されず、種々のネットワークを利用可能である。

図３は、Ｅｄｇｅファイルストレージ１００の構成図である。

Ｅｄｇｅファイルストレージ１００は、１または複数のノード１５０で構成される。図３のＥｄｇｅファイルストレージ１００はノード１５０－１、ノード１５０－２、ノード１５０－３の３ノードの例を示しているが、Ｅｄｇｅファイルストレージ１００を構成するノード数はいくつでもよい。

ノード１５０は、コントローラ１０１と、記憶装置１０２とを有する。コントローラ１０１は、メモリ１０３、ＣＰＵ１０５、ネットワークインタフェース（Ｉ／Ｆ）１０６、１０７及びインタフェース１０４を有する。これらは、例えばバス等の通信路により相互に接続される。

ＣＰＵ１０５は、メモリ１０３に格納されたプログラムを実行する。ネットワークＩ／Ｆ１０６は、サイト内のネットワークを介してクライアント６００と通信するインタフェースである。ネットワークＩ／Ｆ１０７は、ネットワーク３０を介してデータセンタ２０と通信するインタフェースである。Ｉ／Ｆ１０４は、記憶装置１０２と相互に通信するために、Ｉ／Ｆ１２０に接続されるインタフェースである。Ｅｄｇｅファイルストレージ１００の内部の複数のノード１５０間を接続するＩ／Ｆは、ネットワークＩ／Ｆ１０６と共通でもよいし、ネットワークＩ／Ｆ１０７と共通でもよいし、これらとは独立した内部ネットワークのＩ／Ｆでもよい。

メモリ１０３には、Ｅｄｇｅファイルストレージ１００を制御するプログラム及び情報が格納される。具体的には、例えば、メモリ１０３は、ファイル共有プログラム１１０と、ＩＯ Ｈｏｏｋプログラム１１１と、Ｄａｔａ Ｍｏｖｅｒプログラム１１２と、ファイルシステムプログラム１１３と、整合性回復プログラム１１５と、オペレーティングシステム（ＯＳ）１１４と、を格納する。なお、メモリ１０３に格納されている各プログラム及び情報は、記憶装置１０２に格納されてもよい。この場合、これらはＣＰＵ１０５によってメモリ１０３に読み出されて実行される。

ファイル共有プログラム１１０は、クライアント６００との間で、ファイル共有プロトコルを用いたインタフェースを提供するプログラムである。ＩＯ Ｈｏｏｋプログラム１１１は、ファイル共有プログラム１１０を介してファイルシステム１３０に格納されたファイルおよびディレクトリを検出するプログラムである。Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ＩＯ Ｈｏｏｋプログラム１１１が検出したディレクトリおよびファイルをＣｏｒｅファイルストレージ２００に転送するためのプログラムである。整合性回復プログラム１１５は、電断等の障害によりファイルの状態や部分状態に不整合が発生した場合に、整合性回復処理を実行するプログラムである。ファイルシステムプログラム１１３は、ファイルシステム１３０を制御するプログラムである。

記憶装置１０２は、メモリ１２１、ＣＰＵ１２２及びＩ／Ｆ１２０を有する。これらは、例えばバス等の通信路により、相互に接続される。Ｉ／Ｆ１２０は、コントローラ１０１との接続に使用するインタフェースである。メモリ１２１及びディスク１２３には、プログラムやデータが格納される。ＣＰＵ１２２は、コントローラ１０１からの命令に基づき、メモリ１２１内のプログラムを実行する。記憶装置１０２は、ＦＣ－ＳＡＮ（Fibre Channel Storage Area Network）等のブロック形式のストレージ機能をコントローラ１０１に提供してよい。

Ｃｏｒｅファイルストレージ２００の構成はＥｄｇｅファイルストレージ１００と同じであるので、図示及び説明を簡略化する。

図４は、オブジェクトストレージ３００の構成図である。

オブジェクトストレージ３００は、コントローラ３０１と、記憶装置３０２とを有する。コントローラ３０１は、メモリ３０３、ＣＰＵ３０５、ネットワークＩ／Ｆ３０６及びＩ／Ｆ３０４を有する。これらは、例えばバス等の通信路により相互に接続される。

ＣＰＵ３０５は、メモリ３０３に格納されたプログラムを実行する。ネットワークＩ／Ｆ３０６は、データセンタ２０内ネットワークを介してＣｏｒｅファイルストレージ２００と通信するインタフェースである。Ｉ／Ｆ３０４は、記憶装置３０２と通信するために、Ｉ／Ｆ３２０に接続されるインタフェースである。

メモリ３０３には、オブジェクトストレージ３００を制御するプログラム及び情報が格納される。具体的には、例えば、メモリ３０３には、オブジェクト操作プログラム３１０と、ネームスペース管理プログラム３１１と、オペレーティングシステム（ＯＳ）３１２と、が格納される。なお、メモリ３０３に格納されている各プログラム及び情報は、記憶装置３０２格納されてもよい。この場合、これらはＣＰＵ３０５によってメモリ２０３に読み出されて実行される。

オブジェクト操作プログラム３１０は、Ｃｏｒｅファイルストレージ２００からの要求（例えば、ＰＵＴ要求やＧＥＴ要求）を処理するプログラムである。ネームスペース管理プログラム３１１は、ネームスペースを作成・管理するプログラムである。

記憶装置３０２は、メモリ３１２、ＣＰＵ３２２、ディスク３２３及びＩ／Ｆ３２０を有する。これらは、例えばバス等の通信路により相互に接続される。Ｉ／Ｆ３２０は、コントローラ３０１との接続に使用するインタフェースである。メモリ３１２及びディスク３２３には、プログラムやデータが格納される。ＣＰＵ３２２は、コントローラ３０１からの命令に基づき、メモリ３２１内のプログラムを実行する。記憶装置３０２は、ＦＣ－ＳＡＮ等のブロック形式のストレージ機能をコントローラ３０１に提供してよい。

図５は、管理情報ファイル４００の一例である。

管理情報ファイル４００は、Ｅｄｇｅファイルストレージ１００に格納されているユーザファイル毎に、このユーザファイルに対応付けられて生成される。管理情報ファイル４００は、ユーザファイル管理情報４１０及び部分管理情報４２０を有する。

ユーザファイル管理情報４１０は、オブジェクトアドレス４１１毎にエントリを有する。各エントリは、ユーザファイルに付与されたオブジェクトアドレス４１１、ユーザファイルのファイル状態４１２、ユーザファイルのファイルハンドラ４１３、Ｃｏｕｎｔｅｒ４１４である。

オブジェクトアドレス４１１は、管理情報ファイル４００に対応するユーザファイルが格納されたオブジェクトストレージ３００上のアドレスである。ファイル状態４１２はユーザファイルの状態を示し、ＤｉｒｔｙまたはＣａｃｈｅｄまたはＳｔｕｂのいずれかである。Ｃｏｕｎｔｅｒ４１４は、ファイルが生成されてからＤａｔａ Ｍｏｖｅｒプログラム１１２によってマイグレーション、またはスタブ化された回数を示す。Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ファイルをマイグレーション、またはスタブ化されるたびにそのファイルに対応する管理情報ファイル４００内部に保持するＣｏｕｎｔｅｒ４１４をインクリメントする。

部分管理情報４２０は、オフセット（Ｏｆｆｓｅｔ）４２１、長さ（Ｌｅｎｇｔｈ）４２２及び部分状態４２３を有する。オフセット４２１は、ユーザファイルが部分的に更新処理されたときのその更新処理の開始位置を示し、長さ４２２はオフセット４２１の位置からどれだけのデータ長だけ更新処理がされたかを示し、部分状態４２３は当該部分の状態を示し、Ｄｉｒｔｙ、またはＳｔｕｂ、またはＣａｃｈｅｄのいずれかである。

図６は、オペレーションログ５００の一例である。

既に説明したように、オペレーションログ５００はノード１５０毎に設けられている。オペレーションログ５００には、オペレーション種別５０１と、ファイルハンドラ５０２と、タイプ５０３と、Ｏｆｆｓｅｔ５０４と、Ｌｅｎｇｔｈ５０５と、Ｃｏｕｎｔｅｒ５０６と、Ｔｉｍｅｓｔａｍｐ５０７が記録されている。

オペレーション種別５０１は、例えば、作成、更新、メタデータ更新、レプリケーション、スタブ化などがある。ファイルハンドラ５０２は、操作対象ファイル本体のファイルハンドルである。タイプ５０３は操作対象となるものがファイルであるのかディレクトリであるのかを示す値である。

Ｏｆｆｓｅｔ５０４は、当該オペレーションのファイル内の対象範囲の開始オフセットである。Ｌｅｎｇｔｈ５０５は、対象オペレーションのサイズである。

Ｃｏｕｎｔｅｒ５０６は、ファイルが生成されてからＤａｔａ Ｍｏｖｅｒプログラム１１２によってマイグレーション、またはスタブ化された回数を示す。オペレーション種別が生成、更新、参照、メタデータ更新、メタデータ参照など、ＩＯ Ｈｏｏｋプログラム１１１が操作する場合は管理情報ファイル４００のＣｏｕｎｔｅｒ４１４の値を格納し、オペレーション種別がマイグレーション、スタブ化の場合、つまり、Ｄａｔａ Ｍｏｖｅｒプログラム１１２が操作する場合は管理情報ファイル４００のＣｏｕｎｔｅｒ４１４の値を＋１した値を格納する。タイムスタンプ３１０９はオペレーションを実行した時刻である。

次に、本実施形態に係るファイルストレージシステム１の処理を、図７～図１３のフローチャートを参照して説明する。

図７は、ファイル／ディレクトリ作成処理１０００のフローチャートの一例である。ファイル／ディレクトリ作成処理１０００は、各Ｅｄｇｅファイルストレージ１００において、コントローラ１０１のＣＰＵ１０５がファイル共有プログラム１１０およびＩＯ Ｈｏｏｋプログラム１１１を実行することにより行われる。

ファイル共有プログラム１１０は、クライアント６００からのファイル／ディレクトリ作成要求を受理する（Ｓ１００１）。

ＩＯ Ｈｏｏｋプログラム１１１は、ファイル共有プログラム１１０が受理したファイル／ディレクトリ操作を検出する（Ｓ１００２）

ＩＯ Ｈｏｏｋプログラム１１１は、Ｓ１００２で検出した操作がファイル／ディレクトリ作成か否か判定する（Ｓ１００３）。

Ｓ１００２で検出した操作がファイル／ディレクトリ作成ではない場合（Ｓ１００３：Ｎｏ）、ファイル／ディレクトリ作成処理１０００を終了する（Ｓ１０１０）。

一方、Ｓ１００２で検出した操作がファイル／ディレクトリ作成の場合（Ｓ１００３：Ｙｅｓ）、ＩＯ Ｈｏｏｋプログラム１１１は、ファイルシステムプログラム１１３にファイル／ディレクトリ作成を要求し、ファイルシステムプログラム１１３はファイルシステム１３０にファイル／ディレクトリを作成する。

本ステップにおいてＩＯ Ｈｏｏｋプログラム１１１は、Ｓ１００２で検出した操作の対象ファイルのファイルタイプに応じて、ファイルタイプが通常ファイルであればファイル作成を、ファイルタイプがディレクトリであればディレクトリ作成をファイルシステムプログラム１１３に要求する。

ファイルシステムプログラム１１３は、要求されたファイル種別に基づいてファイル／ディレクトリを作成する（Ｓ１００４）。ＩＯ Ｈｏｏｋプログラム１１１は、作成したファイル／ディレクトリの情報をオペレーションログ５００に追記する。この時、Ｃｏｕｎｔｅｒ５０６にはゼロを格納する（Ｓ１００５）。

ＩＯ Ｈｏｏｋプログラム１１１は、作成したファイル／ディレクトリの状態をＤｉｒｔｙに設定し、Ｃｏｕｎｔｅｒ４１４には初期値であるゼロを格納する（Ｓ１００６）。ファイル／ディレクトリの状態を管理する方法は、ファイルのメタデータに格納する方法、作成したファイル／ディレクトリとは別の管理ファイルに格納する方法（本実施形態）、データベースに格納する方法など、いずれの方法でもよい。

ＩＯ Ｈｏｏｋプログラム１１１は、作成したファイル／ディレクトリの親ディレクトリの状態を判定する（Ｓ１００７）。

作成したファイル／ディレクトリの親ディレクトリの状態がＤｉｒｔｙではない場合（ステップＳ１００７：Ｎｏ）、ＩＯ Ｈｏｏｋプログラム１１１は、親ディレクトリの状態をＤｉｒｔｙに変更する（Ｓ１００８）。

一方、作成したファイル／ディレクトリの親ディレクトリの状態がＤｉｒｔｙの場合（ステップＳ１００７：Ｙｅｓ）、Ｓ１００９に遷移する。

ファイル共有プログラム１１０はクライアント６００にファイル／ディレクトリ作成完了を応答し（Ｓ１００９）、ファイル／ディレクトリ作成処理１０００を終了する（Ｓ１０１０）。

上記ファイル／ディレクトリ作成処理１０００により、作成されたファイル／ディレクトリの情報がオペレーションログ５００に格納され、また、作成されたファイル／ディレクトリの状態および親ディレクトリの状態がＤｉｒｔｙに設定され、前回のマイグレーション処理以降に更新されたファイル／ディレクトリを特定できる。

図８は、ファイル更新処理２０００のフローチャートの一例である。ファイル更新処理２０００は、各Ｅｄｇｅファイルストレージ１００において、コントローラ１０１のＣＰＵ１０５がファイル共有プログラム１１０およびＩＯ Ｈｏｏｋプログラム１１１を実行することにより行われる。

ファイル共有プログラム１１０は、クライアント６００からのファイル更新要求を受理する（Ｓ２００１）。ファイル更新は、具体的にはＷｒｉｔｅオペレーションによるファイルデータの更新および追加、Ｔｒｕｎｃａｔｅオペレーションによるファイルデータの伸張および切り詰め、ファイルのオーナー／グループやアクセス権の変更や、拡張属性の更新および追加などのメタデータの更新を含む。

ＩＯ Ｈｏｏｋプログラム１１１は、ファイル共有プログラム１１０が受理したファイル／ディレクトリ操作を検出する（Ｓ２００２）

ＩＯ Ｈｏｏｋプログラム１１１は、Ｓ１００２で検出した操作がファイル更新か否か判定する（Ｓ２００３）。

Ｓ２００２で検出した操作がファイル更新ではない場合（Ｓ２００３：Ｎｏ）、ファイル更新処理２０００を終了する（Ｓ２０１１）。

一方、Ｓ２００２で検出した操作がファイル更新の場合（Ｓ２００３：Ｙｅｓ）、ＩＯ Ｈｏｏｋプログラム１１１は、ファイルシステムプログラム１１３にファイル更新を要求し、ファイルシステムプログラム１１３はファイルシステム１３０の当該ファイルを更新する。

本ステップにおいてＩＯ Ｈｏｏｋプログラム１１１は、Ｓ２００２で検出したファイル更新のオペレーションに応じて、データ更新ならばＷｒｉｔｅオペレーションやＴｒｕｎｃａｔｅオペレーション、メタデータ更新ならばメタデータ更新オペレーションをファイルシステムプログラム１１３に要求する。ファイルシステムプログラム１１３は、要求されたファイルオペレーションに基づいてファイルを更新する。

ＩＯ Ｈｏｏｋプログラム１１１は、更新したファイルの更新範囲のファイル部分状態を確認し、Ｄｉｒｔｙか否か判定する（Ｓ２００５）。

更新したファイルのファイルデータの更新範囲のファイル部分状態がＤｉｒｔｙではない場合（ステップＳ２００５：Ｎｏ）、ＩＯ Ｈｏｏｋプログラム１１１は、当該ファイルの更新情報をオペレーションログ５００に追記する。この時、Ｃｏｕｎｔｅｒ５０６にはユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４を格納する（Ｓ２００６）。

ＩＯ Ｈｏｏｋプログラム１１１は、更新範囲のファイル部分状態をＤｉｒｔｙに変更する（Ｓ２００７）。この時、ユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４の値は変更しない。

ファイルデータの範囲ごとの状態を管理する方法は、ファイルのメタデータに格納する方法、操作対象ファイルとは別の管理ファイルに格納する方法（本実施形態）、データベースに格納する方法など、いずれの方法でもよい。本ステップにおいて、一部の操作範囲がＤｉｒｔｙではなく、そのほかの操作範囲がＤｉｒｔｙの場合は、Ｄｉｒｔｙではない部分のみＤｉｒｔｙに変更する。

一方、更新したファイルのファイルデータの更新範囲のファイル部分状態がＤｉｒｔｙの場合（ステップＳ２００５：Ｙｅｓ）、Ｓ２００８に遷移する。

ＩＯ Ｈｏｏｋプログラム１１１は、更新したファイルの状態を確認し、Ｄｉｒｔｙか否か判定する（Ｓ２００８）。

更新したファイルの状態がＤｉｒｔｙではない場合（ステップＳ２００８：Ｎｏ）、ＩＯ Ｈｏｏｋプログラム１１１は、ファイルの状態をＤｉｒｔｙに変更する（Ｓ２００９）。

一方、更新したファイルの状態がＤｉｒｔｙの場合（ステップＳ２００８：Ｙｅｓ）、Ｓ２０１０に遷移する。

ファイル共有プログラム１１０はクライアント６００にファイル更新完了を応答し（Ｓ２０１０）、ファイル更新処理２０００を終了する（Ｓ２０１１）。

上記ファイル更新処理２０００により、更新されたファイルの情報がオペレーションログ５００に格納され、また、更新されたファイルのファイルデータの範囲およびファイルの状態がＤｉｒｔｙに設定され、前回のマイグレーション処理以降に更新されたファイルデータおよびファイルを特定できる。

図９は、ファイル参照処理８０００のフローチャートの一例である。ファイル参照処理８０００は、各Ｅｄｇｅファイルストレージ１００において、コントローラ１０１のＣＰＵ１０５がファイル共有プログラム１１０、ＩＯ Ｈｏｏｋプログラム１１１およびＤａｔａ Ｍｏｖｅｒプログラム１１２を実行することにより行われる。

ファイル共有プログラム１１０は、クライアント６００からのファイル参照要求を受理する（Ｓ８００１）。

ＩＯ Ｈｏｏｋプログラム１１１は、ファイル共有プログラム１１０が受理したファイル／ディレクトリ操作を検出する（Ｓ８００２）

ＩＯ Ｈｏｏｋプログラム１１１は、Ｓ８００２で検出した操作がファイル参照か否か判定する（Ｓ８００３）。

Ｓ８００２で検出した操作がファイル参照ではない場合（Ｓ８００３：Ｎｏ）、ファイル参照処理８０００を終了する（Ｓ８０１２）。

一方、Ｓ８００２で検出した操作がファイル参照の場合（Ｓ８００３：Ｙｅｓ）、ＩＯ Ｈｏｏｋプログラム１１１は、操作範囲の部分状態がＳｔｕｂか否かを判定する（Ｓ８００４）。

操作範囲の部分状態がＳｔｕｂの場合（Ｓ８００４：Ｙｅｓ）、Ｓ８００５に遷移し、一方、操作範囲の部分状態がＳｔｕｂではない場合（Ｓ８００４：Ｎｏ）、Ｓ８００８に遷移する。操作範囲のうち、一部でもＳｔｕｂであればＳ８００４はＹｅｓと判定する。

操作範囲の状態がＳｔｕｂの場合、ＩＯ Ｈｏｏｋプログラム１１１は、Ｄａｔａ Ｍｏｖｅｒプログラム１１２にリコールを要求し、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｃｏｒｅファイルストレージ２００からデータを要求する（Ｓ８００５）。リコールとは、データがＥｄｇｅファイルストレージ１００のファイルシステム１３０に格納されておらず、Ｃｏｒｅからデータを取得する処理である。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、オブジェクトストレージ３００からデータを受理する（Ｓ８００６）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ファイルシステムプログラム１１３を介してデータをファイルシステム１３０に格納する（Ｓ８００７）。

ＩＯ Ｈｏｏｋプログラム１１１は、リコール情報をオペレーションログ５００に追記する。この時、Ｃｏｕｎｔｅｒ５０６にはユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４を格納する（Ｓ８００８）。

ＩＯ Ｈｏｏｋプログラム１１１は、操作範囲の部分状態をＳｔｕｂからＣａｃｈｅｄに変更する（Ｓ８００９）。

ＩＯ Ｈｏｏｋプログラム１１１は、ファイルシステムプログラム１１３を介してファイル参照を実行する（Ｓ８０１０）。

ＩＯ Ｈｏｏｋプログラム１１１は、クライアント６００に応答を返し（Ｓ８０１１）、ファイル参照処理８０００を終了する（Ｓ８０１２）。

図１０は、ファイルマイグレーション処理３０００のフローチャートの一例である。ファイルマイグレーション処理３０００は、各Ｅｄｇｅファイルストレージ１００において、コントローラ１０１のＣＰＵ１０５がＤａｔａ Ｍｏｖｅｒプログラム１１２を実行することにより行われる。

なお、ファイルマイグレーション処理３０００は、所定の条件を満たす場合に行われてよい。例えば、ファイルマイグレーション処理３０００は、定期的又は不定期に行われてもよいし、クライアント６００がファイルシステム１３０に対して操作を行ったときに実行されてもよい。また、ファイルマイグレーション処理３０００とディレクトリマイグレーション処理は順番に実行してもよいし、同時に実行してもよい。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ファイルシステム１３０に格納されているファイル／ディレクトリの中から、ファイルの状態がＤｉｒｔｙで、ファイルタイプがファイルの条件を満たすものを取得し、リスト化する（Ｓ３００１）。

本ステップにおいて条件を満たすファイルを取得する方法は、ファイルシステム１３０をクローリングする方法でもよいし、ファイルシステムのオペレーションを記録した操作ログから抽出する方法（本実施形態）でもよいし、ファイルシステム操作情報を管理するデータベースから抽出する方法でもよく、いずれの方法でもよい。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ３００１で作成したリストが空か否か判定する（ステップＳ３００２）。

リストが空の場合（ステップＳ３００２：Ｙｅｓ）、ファイルマイグレーション処理３０００を終了する（Ｓ３０１３）。

一方、リストが空でない場合（ステップＳ３００２：Ｎｏ）、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、リストからエントリを１つ取得する（Ｓ３００３）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、当該エントリの管理情報を取得する。管理情報の格納場所は、ファイルの拡張属性でもよいし、管理ファイル（本実施例）でもよいし、データベースでもよい。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ３００４で取得した管理情報からファイルデータの状態がＤｉｒｔｙのエントリを転送部分リストとして取得する（Ｓ３００５）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ３００５で取得した転送部分リストに記録された箇所を本体ファイルからファイルシステムプログラム１１３を介して取得する（Ｓ３００６）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、管理情報からオブジェクトアドレスを取得し、当該オブジェクトアドレスに対して更新要求を行う。この時、Ｓ３００６で取得したファイルデータを転送する（Ｓ３００７）。

オブジェクトストレージ３００は、Ｅｄｇｅファイルストレージ１００からの要求を受理し、指定されたオブジェクトアドレスに対して受理したデータを格納する（Ｓ３００８）。

オブジェクトストレージ３００は、Ｅｄｇｅファイルストレージ１００に対して応答を返す（Ｓ３００９）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ファイルマイグレーション情報をオペレーションログ５００に追記する（Ｓ３０１０）。この時、Ｃｏｕｎｔｅｒ５０６にはユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４の値を＋１した値を格納する。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｃｏｒｅに転送したファイルのファイル状態と転送部分のファイルデータの部分状態をＣａｃｈｅｄに変更し、ユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４の値を＋１する（Ｓ３０１１）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ３００１で作成したリストから転送したファイルのエントリを削除し、Ｓ３００２に遷移する（Ｓ３０１２）。

図１１は、ディレクトリマイグレーション処理６０００のフローチャートの一例である。ディレクトリマイグレーション処理６０００は、各Ｅｄｇｅファイルストレージ１００において、コントローラ１０１のＣＰＵ１０５がＤａｔａ Ｍｏｖｅｒプログラム１１２を実行することにより行われる。

なお、ディレクトリマイグレーション処理６０００は、所定の条件を満たす場合に行われてよい。例えば、ディレクトリマイグレーション処理６０００は、定期的又は不定期に行われてもよいし、クライアント６００がファイルシステム１３０に対して操作を行ったときに実行されてもよい。また、ファイルマイグレーション処理３０００とディレクトリマイグレーション処理は順番に実行してもよいし、同時に実行してもよい。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ファイルシステム１３０に格納されているファイル／ディレクトリの中から、ファイルの状態がＤｉｒｔｙで、ファイルタイプがディレクトリの条件を満たすものを取得し、リスト化する（Ｓ６００１）。

本ステップにおいて条件を満たすファイルを取得する方法は、ファイルシステム１３０をクローリングする方法でもよいし、ファイルシステムのオペレーションを記録した操作ログから抽出する方法（本実施例）でもよいし、ファイルシステム操作情報を管理するデータベースから抽出する方法でもよく、いずれの方法でもよい。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ６００１で作成したリストが空か否か判定する（ステップＳ６００２）。

リストが空の場合（ステップＳ６００２：Ｙｅｓ）、ディレクトリマイグレーション処理６０００を終了する（Ｓ６０１３）。

一方、リストが空でない場合（ステップＳ６００２：Ｎｏ）、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、リストからエントリを１つ取得する（Ｓ６００３）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、当該エントリの管理情報を取得する（Ｓ６００４）。管理情報の格納場所は、ファイルの拡張属性でもよいし、管理ファイル（本実施例）でもよいし、データベースでもよい。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ６００４で取得した管理情報からディレクトリ情報を取得する（Ｓ６００５）。ディレクト情報は、当該ディレクトリのメタデータと、当該ディレクトリのディレクトリエントリ情報を含む。ディレクトリエントリ情報は、配下のファイル／ディレクトリの名前やオブジェクトアドレスを含む。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ６００５で取得したディレクトリ情報からオブジェクトストレージ用ディレクトリ情報を生成する（Ｓ６００６）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、管理情報からオブジェクトアドレスを取得し、当該オブジェクトアドレスに対して更新要求を行う。この時、Ｓ６００６で生成したオブジェクトストレージ用ディレクトリ情報を転送する（Ｓ６００７）。

オブジェクトストレージ３００は、Ｅｄｇｅファイルストレージ１００からの要求を受理し、指定されたオブジェクトアドレスに対して受理したデータを格納（更新）する（Ｓ６００８）。

オブジェクトストレージ３００は、Ｅｄｇｅファイルストレージ１００に対して応答を返す（Ｓ６００９）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ディレクトリマイグレーション情報をオペレーションログ５００に追記する（Ｓ６０１０）。この時、Ｃｏｕｎｔｅｒ５０６にはユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４の値を＋１した値を格納する。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｃｏｒｅに転送したディレクトリのファイル状態をＣａｃｈｅｄに変更し、ユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４の値を＋１する（Ｓ６０１１）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、Ｓ６００１で作成したリストから転送したディレクトリのエントリを削除し、Ｓ６００２に遷移する（Ｓ６０１２）。

図１２は、ファイルスタブ化処理９０００のフローチャートの一例である。ファイルスタブ化処理９０００は、オブジェクトストレージ３００にマイグレーション済みのファイルのうち、ファイル状態４１２がＣａｃｈｅｄのファイルのデータを削除し、ファイル状態４１２をＳｔｕｂに変更する処理である。

ファイルスタブ化処理９０００は、各Ｅｄｇｅファイルストレージ１００において、コントローラ１０１のＣＰＵ１０５がＤａｔａ Ｍｏｖｅｒプログラム１１２を実行することにより行われる。なお、ファイルスタブ化処理９０００は、所定の条件を満たす場合に行われてよい。例えば、ファイルスタブ化処理９０００は、定期的又は不定期に行われてもよいし、クライアント６００がファイルシステム１３０に対して操作を行ったときに実行されてもよい。また、ファイルマイグレーション処理３０００やディレクトリマイグレーション処理６０００と順番に実行してもよいし、同時に実行してもよい。

ファイルスタブ化処理が開始すると（ステップＳ９０００）、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ファイル状態４１２がＣａｃｈｅｄで、かつ、タイプがファイルのエントリをリストとして取得する（ステップＳ９００１）。

本ステップにおいて条件を満たすファイルを取得する方法は、ファイルシステム１３０をクローリングする方法でもよいし、ファイルシステムのオペレーションを記録した操作ログから抽出する方法でもよいし、ファイルシステム操作情報を管理するデータベースから抽出する方法でもよく、いずれの方法でもよい。

次いで、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ステップＳ９００１で取得したファイルリストが空であるかどうかを判定する（ステップＳ９００２）。その結果、判定が肯定されたら（ステップＳ９００２においてＹＥＳ）プログラムはステップＳ９００９に移行し、判定が否定されたら（ステップＳ９００２においてＮＯ）プログラムはステップＳ９００３に移行する。

ステップＳ９００３では、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ステップＳ９００１で取得したリストからエントリを１つ取得する。次いで、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ステップＳ９００３で取得したエントリが示す管理情報ファイル４００を取得する（ステップＳ９００４）。次いで、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ステップＳ９００４で取得した管理情報ファイル４００が示すユーザファイルを取得する（ステップＳ９００５）。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、スタブ化情報をオペレーションログ５００に追記する（Ｓ９００６）。この時、Ｃｏｕｎｔｅｒ５０６にはユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４の値を＋１した値を格納する。
Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、スタブ化したファイルのファイル状態４１２をＣａｃｈｅｄからＳｔｕｂに変更し、データを削除した範囲の部分状態４２３をＣａｃｈｅｄからＳｔｕｂに変更し、ユーザファイル管理情報４１０のＣｏｕｎｔｅｒ４１４の値を＋１する（Ｓ９００７）。
Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ステップＳ９０１で取得したファイルリストからエントリを削除する（ステップＳ９００８）。

図１３は、整合性回復処理７０００のフローチャートの一例である。整合性回復処理７０００は、オペレーションログ５００を参照し、整合性が取れていないファイルに対して整合性を回復する処理である。各Ｅｄｇｅファイルストレージ１００において、コントローラ１０１のＣＰＵ１０５が整合性回復プログラム１１５を実行することにより行われる。

なお、整合性回復処理７０００は、所定の条件を満たす場合に行われてよい。例えば、整合性回復処理７０００は、電断等の障害からの復帰後に、ノード１５０が起動した後に時行ってもよい。また、定期的又は不定期に行われてもよいし、クライアント６００がファイルシステム１３０に対して操作を行ったときに実行されてもよい。

整合性回復プログラム１１５は、全ノード１５０のオペレーションログ５００を収集する（Ｓ７００１）。

整合性回復プログラム１１５は、オペレーションログ５００に情報が格納されているファイルすべての整合性回復が完了したか判定する（Ｓ７００２）。

オペレーションログ５００に情報が格納されているファイルすべての整合性回復が完了した場合（Ｓ７００２：Ｙｅｓ）、整合性回復処理７０００を終了する（Ｓ７０１２）。

一方、オペレーションログ５００に情報が格納されているファイルすべての整合性回復が完了していない場合（Ｓ７００２：Ｎｏ）、回復対象ファイルを１つ選択する（Ｓ７００３）。

整合性回復プログラム１１５は、回復対象のファイルの管理情報ファイル４００をバックアップからリストアする（Ｓ７００４）。本実施例は、管理情報ファイル４００もマイグレーション対象としてオブジェクトストレージ３００に転送されていることを想定しており、Ｓ７００４は、オブジェクトストレージ３００から管理情報ファイル４００をリストアする。ただし、このバックアップ方法に限定されることはなく、別のバックアップの仕組みでもよい。

整合性回復プログラム１１５は、回復対象ファイルのオペレーションログ５００を収集し、Ｃｏｕｎｔｅｒ５０６の値でソートする（Ｓ７００５）。

整合性回復プログラム１１５は、回復対象ファイルに対してすべての部分の回復が完了したか判定する（Ｓ７００６）。

回復対象ファイルに対してすべての部分の回復が完了した場合（Ｓ７００６：Ｙｅｓ）、Ｓ７００２に遷移する。

一方、回復対象ファイルに対してすべての部分の回復が完了していない場合（Ｓ７００６：Ｎｏ）、整合性回復プログラム１１５は、当該部分の最も大きいＣｏｕｎｔｅｒ５０６の値の中にＷｒｉｔｅオペレーションが含まれているか判定する（Ｓ７００７）。

当該部分の最も大きいＣｏｕｎｔｅｒ５０６の値の中にＷｒｉｔｅオペレーションが含まれている場合（Ｓ７００７：Ｙｅｓ）、整合性回復プログラム１１５は、当該部分の部分状態４２３にＤｉｔｒｙを設定する（Ｓ７００８）。

一方、当該部分の最も大きいＣｏｕｎｔｅｒ５０６の値の中にＷｒｉｔｅオペレーションが含まれていない場合（Ｓ７００７：Ｎｏ）、整合性回復プログラム１１５は、当該部分の最も大きいＣｏｕｎｔｅｒ５０６の値がＳｔｕｂか否かを判定する（Ｓ７００８）。

当該部分の最も大きいＣｏｕｎｔｅｒ５０６の値がＳｔｕｂの場合（Ｓ７００８：Ｙｅｓ）、整合性回復プログラム１１５は、当該部分の部分状態４２３にＳｔｕｂを設定し、Ｓ７００６に遷移する（Ｓ７０１０）。

一方、当該部分の最も大きいＣｏｕｎｔｅｒ５０６の値がＳｔｕｂではない場合（Ｓ７００８：Ｎｏ）、整合性回復プログラム１１５は、当該部分の部分状態４２３にＣａｃｈｅｄを設定し、Ｓ７００７に遷移する（Ｓ７０１１）。

なお、簡略化してＳｔｕｂとＣａｃｈｅｄを区別しないことも可能である。この場合、ＣａｃｈｅｄもＳｔｕｂと擬制して取り扱う。そのために、スタブ化によりＣａｃｈｅｄからＳｔｕｂに変更した場合でも、カウンタ値は更新しない。また、Ｓ７００８ではＳｔｕｂとして取り扱い、すべてＳ７０１０に進み、部分状態がＣａｃｈｅｄのときに障害が発生してもＳｔｕｂとして回復を行う。このようにしても、Ｅｄｇｅファイルストレージ１００内のキャッシュされたファイルのデータが無視され、オブジェクトストレージから同じデータを取得するリコール処理が余分に発生するだけが違いなので、問題は生じない。

このように構成される本実施形態によれば、クライアントのＩＯ性能の低下を防ぎつつ、分散ファイルシステムにおいてファイル仮想化の管理情報の整合性を保証することが可能となる。

なお、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ等の広範囲のプログラム又はスクリプト言語で実装できる。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１…ファイルストレージシステム １０－１、１０－２…サイト ２０…データセンタ １００…Ｅｄｇｅファイルストレージ（第１のストレージシステム） １１１…ＩＯ Ｈｏｏｋプログラム １１２ Ｄａｔａ Ｍｏｖｅｒプログラム １１５…整合性回復プログラム １３０…ファイルシステム １５０…ノード ２００…Ｃｏｒｅファイルストレージ ３００…オブジェクトストレージ（第２のストレージシステム） ４００…管理情報ファイル ５００…オペレーションログ ６００…クライアント

Claims (10)

1. プロセッサと記憶装置とを有する複数のノードから構成され、分散ファイルシステムによりファイルを格納してクライアントへの前記ファイルの入出力を行う第１のストレージシステムと、前記第１のストレージシステムに格納された前記ファイルが転送される第２のストレージシステムとを有し、これら第１のストレージシステム及び第２のストレージシステムによりファイル仮想化機能を実現するファイルストレージシステムであって、
   時系列順序を示すカウンタ値を含み前記ファイル毎に設けられた管理情報ファイルと、前記カウンタ値とともに前記ファイルの操作内容が記述されるオペレーションログと、を有し、
   前記第１のストレージシステムは、
   前記ファイルへの操作要求に基づいて前記第１のストレージシステムに格納された前記ファイルの操作を行い、前記ファイルへの前記操作内容とともに前記操作を行う前記ファイルに対応付けられた前記管理情報ファイルの前記カウンタ値を前記オペレーションログに記述して、前記操作要求の返答を行い、
   前記第１のストレージシステムに格納された前記ファイルを前記第２のストレージシステムに転送した場合に、前記管理情報ファイルの前記カウンタ値を更新する
   ことを特徴とするファイルストレージシステム。
2. 前記ファイルを前記第２のストレージシステムに格納した状態で前記第１のストレージシステムから削除した場合にも、前記管理情報ファイルの前記カウンタ値を更新する
   ことを特徴とする請求項１に記載のファイルストレージシステム。
3. 前記ファイルを第２のストレージシステムに転送した場合に前記操作に係る前記ファイルに対応付けられた前記管理情報ファイルの前記カウンタ値を更新し、前記第１のストレージシステムに格納された内での前記ファイルの操作では前記カウンタ値を更新しないことを特徴とする請求項１に記載のファイルストレージシステム。
4. 前記ファイルの第２のストレージシステムへの転送は、前記ファイルを前記第１のストレージシステムに残して転送するマイグレーション処理であり、転送を受信した第２のストレージシステムは、前記転送されたファイルを格納するまたは格納されている前記ファイルを更新し、
   前記第１のストレージシステムからの前記ファイルの削除はスタブ化処理であり、前記削除したファイルを前記第２のストレージシステムから前記第１のストレージシステムへ転送するリコール処理が可能である
   ことを特徴とする請求項２に記載のファイルストレージシステム。
5. 障害が発生した場合に、前記カウンタ値に基づいて、前記オペレーションログの操作内容と前記第１のストレージシステムに格納されたファイルと前記第２のストレージシステムに格納されたファイルとの関係を特定して、前記ファイルと前記管理情報ファイルとの整合性を回復する
   ことを特徴とする請求項１に記載のファイルストレージシステム。
6. 前記第１のストレージシステムは、前記複数のノードのそれぞれに配置されており、
   前記管理情報ファイルは前記複数のノードの少なくともいずれかに配置されており、
   前記ファイルの操作を行う第１のストレージシステムは、前記操作要求の受付を行って、前記操作の対象となるファイルの前記管理情報ファイルの前記カウンタ値をいずれかの前記ノードから取得し、その操作内容及び前記カウンタ値を自身が配置された前記ノードの前記オペレーションログに記述することを特徴とする請求項１に記載のファイルストレージシステム。
7. 前記管理情報ファイルは、前記第２のストレージシステムの前記ファイルに対する前記第１のストレージシステムの前記ファイルの状態を有しており、
   前記第１のストレージシステムの前記ファイルに対する操作を行ったときに、このファイルの状態を更新する
   ことを特徴とする請求項４に記載のファイルストレージシステム。
8. 前記ファイルの状態は、前記ファイルの部分ごとの部分状態であり、
   前記ファイルの部分状態は、操作後の前記ファイルが前記第２のストレージシステムに反映されていないことを示すＤｉｒｔｙ、操作後の前記ファイルが前記第２のストレージシステムに反映されておりかつ前記ファイルが前記第１のストレージシステムに格納されていることを示すＣａｃｈｅｄ、及び、操作後の前記ファイルが前記第２のストレージシステムに反映されておりかつ前記ファイルが前記第１のストレージシステムに格納されていないことを示すＳｔｕｂを含む
   ことを特徴とする請求項６に記載のファイルストレージシステム。
9. 前記プロセッサは、前記ファイルと前記管理情報ファイルとの整合性を回復する際、
   前記カウンタ値が最大である前記ファイルの操作内容に前記ファイルの更新が含まれていたら、前記部分状態を前記Ｄｉｒｔｙであるとして前記整合性を回復し、前記カウンタ値が最大である前記ファイルの操作内容が前記ファイルのマイグレーション処理のみであったら、前記部分状態を前記Ｃａｃｈｅｄであるとして前記管理情報ファイルの整合性を回復し、前記カウンタ値が最大である前記ファイルの操作内容が前記ファイルのスタブ化処理のみであったら、前記部分状態を前記Ｓｔｕｂであるとして前記管理情報ファイルの整合性を回復することを特徴とする請求項８に記載のファイルストレージシステム。
10. プロセッサと記憶装置とを有する複数のノードから構成され、分散ファイルシステムによりファイルを格納してクライアントへのファイルの入出力を行う第１のストレージシステムと、前記第１のストレージシステムに格納された前記ファイルが転送される第２のストレージシステムとを有し、これら第１のストレージシステム及び第２のストレージシステムによりファイル仮想化機能を実現するファイルストレージシステムによるファイル管理方法であって、
    時系列順序を示すカウンタ値を含み前記ファイル毎に設けられた管理情報ファイルと、前記カウンタ値とともに前記ファイルの操作内容が記述されるオペレーションログと、を有し、
    前記ファイルへの操作要求に基づいて前記第１のストレージシステムに格納された前記ファイルの操作を行い、前記ファイルへの操作内容とともに前記操作を行う前記ファイルに対応付けられた前記管理情報ファイルの前記カウンタ値を前記オペレーションログに記述して、前記操作内容の返答を行い、
    前記第１のストレージシステムに格納された前記ファイルを前記第２のストレージシステムに転送した場合に、前記管理情報ファイルの前記カウンタ値を更新する
    ことを特徴とするファイルストレージシステムによるファイル管理方法。

Images