JP7331027B2 - スケールアウト型ストレージシステム及び記憶制御方法 - Google Patents

Description

本発明は、概して、スケールアウト型ストレージシステムの記憶制御に関する。

スケールアウト型のストレージシステムが知られている。例えば、特許文献１に開示のシステムは、それぞれ記憶デバイスを有する複数の計算機ノードがネットワークで相互接続されたシステムである。特許文献２に開示のシステムは、複数のストレージシステムが複数のストレージボックスを共有したシステムである。

ＵＳ２０１９／０１６３５９３ 特許第６１１４３９７号公報

スケールアウト型ストレージシステムにおいて、各計算機ノードは、メタデータを基に制御を行う。各計算機ノードにおいて、メタデータは、当該計算機ノードが行う制御に必要なデータ、例えば、ストレージシステムの構成を表すデータ、当該計算機ノードがアクセス可能なユーザデータ（例えば、アプリケーションからのＩ／Ｏ（Input/Output）要求に応答して入出力されるデータ）の場所を表すデータ（例えば、論理ボリュームのＩＤ（例えばＬＵＮ（Logical Unit Number））とボリューム内領域のアドレス（例えばＬＢＡ（Logical Block Address））等のデータを含む。

スケールアウト型ストレージシステムでは、或る計算機ノードに障害が発生した場合に別の計算機ノードへのフェイルオーバーが行われるが、フェイルオーバーのためにメタデータが参照される。また、メタデータは、フェイルオーバー以外の制御でも、適宜に参照される。このため、スケールアウト型ストレージシステムにおけるメタデータの適切な保護が望まれる。

スケールアウト型ストレージシステムが、それぞれメモリ及びプロセッサを有する複数の計算機ノードの他に、複数の永続記憶デバイスを有し前記複数の計算機ノードに接続された記憶装置を備える。複数の計算機ノードが、それぞれがメタデータの保護のグループである一つ又は複数の冗長化グループを有する。一つ又は複数の冗長化グループの各々について、下記の通りである。
・当該冗長化グループに属する二つ以上の計算機ノードが、プライマリの計算機ノードであるプライマリノードと、セカンダリの計算機ノードであるセカンダリノードとを含み、プライマリノードからセカンダリノードへのフェイルオーバーが行われるようになっている。
・当該冗長化グループに関わり制御のためにアクセスされるデータであり当該プライマリノードのメモリにおけるメタデータが、記憶装置における異なる永続記憶デバイス間で冗長化される。
・プライマリノードのメモリとセカンダリノードのメモリ間でメタデータが冗長化される。

本発明により、スケールアウト型ストレージシステムにおけるメタデータの適切な保護を実現することができる。

実施形態１に係るメタデータライト処理の概要。 実施形態１に係るストレージシステムの構成例。 ノードのメモリの構成例。 ストレージボックスのメモリの構成例。 ノードテーブルの構成例。 ストレージボックステーブルの構成例。 永続記憶デバイステーブルの構成例。 ポートテーブルの構成例。 ボリュームテーブルの構成例。 ブロックマッピングテーブルの構成例。 メタデータテーブルの構成例。 メタデータマッピングテーブルの構成例。 実施形態１に係るユーザデータリード処理のフローチャート。 実施形態１に係るユーザデータライト処理のフローチャート。 実施形態１に係るストレージボックスのリード処理のフローチャート。 実施形態１に係るストレージボックスのライト処理のフローチャート。 実施形態１に係るメタデータリード処理のうちプライマリノードが行う処理のフローチャート。 実施形態１に係るメタデータリード処理のうちセカンダリノードが行う処理のフローチャート。 実施形態１に係るメタデータライト処理のうちプライマリノードが行う処理のフローチャート。 実施形態１に係るメタデータライト処理のうちセカンダリノードが行う処理のフローチャート。 実施形態１に係るフェイルオーバー処理のうち代表ノードが行う処理のフローチャート。 実施形態１に係るフェイルオーバー処理のうち選出ノードが行う処理のフローチャート。 実施形態１に係るリビルド処理のフローチャート。 実施形態２に係るメタデータライト処理のうちプライマリノードが行う処理のフローチャート。 実施形態２に係るメタデータライト処理のうちセカンダリノードが行う処理のフローチャート。 実施形態３に係るメタデータライト処理のフローチャート。 実施形態３に係るフェイルオーバー処理のうち選出ノードが行う処理のフローチャート。 実施形態４に係るメタデータライト処理のうちプライマリノードが行う処理のフローチャート。 実施形態４に係るセカンダリノードがメタデータライト処理と非同期に行う処理のフローチャート。 実施形態５に係るストレージボックスのライト処理のフローチャート。 実施形態３に係るメタデータライト処理の概要。 実施形態２に係るメタデータライト処理の概要。 実施形態４に係るメタデータライト処理の概要。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下の説明では、「インターフェース装置」は、一つ以上の通信インターフェースデバイスでよい。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

また、以下の説明では、「メモリ」は、一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＮＶＭＥ（Non-Volatile Memory Express）ドライブ、又は、ＳＣＭ（Storage Class Memory）でよい。

また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくとも永続記憶装置でよい。

また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスでよいが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路（例えばＦＰＧＡ（Field-Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。

また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムを主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。また、二つ以上のプログラムが一つのプログラムとして実現されてもよいし、一つのプログラムが二つ以上のプログラムとして実現されてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のテーブルでもよいし、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通符号を使用し、同種の要素を区別して説明する場合には、参照符号を使用することがある。

また、一般に、「データ」は、不加算名詞であるが、以下の説明では、便宜上、少なくとも「メタデータ」については、加算名詞として使用される。
＜実施形態１＞

本実施形態は、計算機ノードがストレージボックスを共有するスケールアウト型ストレージシステムである。複数の計算機ノードに少なくとも一つのストレージボックスがネットワークを介して接続される。計算機ノードが、ストレージボックス及びボックスに搭載された永続記憶デバイスを管理し、仮想的なストレージシステムを実現する。ここで計算機ノードは単に「ノード」と呼ぶことがある。

ストレージシステムを実現するためのデータとホストのデータとが、永続記憶デバイスに永続化される。ここで、ストレージシステムを実現するためのデータを「メタデータ」と呼び、ホストのデータを「ユーザデータ」と呼ぶことがある。メタデータは、例えば、ストレージシステムに存在する複数の計算機ノードと一つ以上のストレージボックスとの構成を表す構成情報、ストレージシステムの監視結果を表すモニタ情報、ストレージシステムにおけるログを表すログ情報、及び、ユーザデータのＩ／Ｏ処理において参照されるアドレス情報（例えば、論理ボリューム毎のアドレス変換情報）等を含む。

ノードは、ホストからユーザデータのライト要求を受信し、ユーザデータのライト処理を開始する。ここでユーザデータのライト処理を「ユーザデータライト処理」と呼ぶことがある。

ノードは、ユーザデータライト処理において、ライト要求と付随したライトデータを、永続記憶デバイス上に永続化するための処理を実行する。ライト処理では、ライト対象のユーザデータをハードウェア故障等から保護するために、ユーザデータが複数の永続記憶デバイスに冗長化して永続化される。また、システムの電源障害等でライト処理が任意のタイミングで中断してもユーザデータの不整合が発生しないように、例えばトランザクション処理の少なくとも一部がライト処理でよい。

ノードは、ユーザデータライト処理において、ライト先の永続記憶デバイスに基づく記憶領域の領域割当て処理を実施し、トランザクションに必要なデータの永続化処理を実施する（典型的には、ユーザデータを永続記憶デバイスに格納する）。

ユーザデータライト処理において、ライト先の永続記憶デバイスに基づく記憶領域の領域割当て処理や、トランザクショントランザクションに必要なデータの永続化処理では、それら処理に必要なメタデータのリード処理とライト処理が実行される。ここでメタデータのリード処理とライト処理は、それぞれ、「メタデータリード処理」及び「メタデータライト処理」と呼ばれることがある。

ノードは、メタデータをユーザデータと同様に、複数の永続記憶デバイスに冗長化して永続化する。

メタデータは、典型的には、ユーザデータより小さい単位で頻繁にアクセスされる。このため、ノードは、メタデータを自身に搭載されたメモリ上にキャッシュとして保持し、以って、メタデータリード処理やメタデータライト処理における計算機ノードと永続記憶デバイス間のＩ／Ｏ処理回数を削減する。

第１のノードが故障等で閉塞した場合、第２のノードが第１のノードのメタデータの制御権を引継ぎ、第２のノードでフェイルオーバー処理を実現する。例えば、冗長化グループが構成され、当該冗長化グループに属するノードのメモリ間でメタデータが冗長化される。

図１は、本実施形態のメタデータライト処理、フェイルオーバー処理、及びリビルド処理の概要の一例を示す。

スケールアウト型ストレージシステムが、複数のノード１０１（例えば、１０１Ａ～１０１Ｃ）と、複数のノード１０１に接続され複数の永続記憶デバイス１１４（例えば、１１４Ａ及び１１４Ｂ）を有するストレージボックス１１１（記憶装置の一例）とを備える。

複数のノード１０１が、それぞれがメタデータ１０の保護のグループである一つ又は複数の冗長化グループを有する。図１が示す例によれば、メタデータ１０Ａ～１０Ｃの各々についての冗長化グループがある。ノード１０１Ａは、ノード１０１Ｂと、メタデータ１０Ａの冗長化グループを構成しており、メタデータ１０Ａについて、ノード１０１Ａはプライマリノードであり、ノード１０１Ｂはセカンダリノードである。ノード１０１Ｂは、ノード１０１Ｃと、メタデータ１０Ｂの冗長化グループを構成しており、メタデータ１０Ｂについて、ノード１０１Ｂはプライマリノードであり、ノード１０１Ｃはセカンダリノードである。ノード１０１Ｃは、ノード１０１Ａと、メタデータ１０Ｃの冗長化グループを構成しており、メタデータ１０Ｃについて、ノード１０１Ｃはプライマリノードであり、ノード１０１Ａはセカンダリノードである。本実施形態において、各冗長化グループについて、プライマリノード及びセカンダリノードの定義は、例えば下記である。
・「プライマリノード」は、当該冗長化グループにおいて保護されるメタデータの制御権を有するノード、例えば、メタデータの更新を行うことができるノードである。プライマリノードが、フェイルオーバー元のノードである。
・「セカンダリノード」は、当該冗長化グループにおいて一つ以上存在するノードであり、当該冗長化グループにおいて保護されるメタデータを基に行われるフェイルオーバーのフェイルオーバー先となり得るノードである。フェイルオーバー後、セカンダリノードがプライマリノードに昇格する。プライマリノードに昇格後のノードに障害が発生した場合、当該冗長化グループにおける残りのいずれかのセカンダリノードがフェイルオーバー先となるフェイルオーバーが行われてよい。

メタデータ１０Ａのメタデータライト処理の例は以下の通りである。

ノード１０１Ａが、メタデータライト要求を受信し、当該メタデータライト要求に付随したライトメタデータ（更新後メタデータの全部又は一部）を自身のキャッシュ（メモリの一部）に格納する（つまり、ノード１０１Ａのメモリにおけるメタデータ１０Ａに上書きする）。ノード１０１Ａは、更新後メタデータ１０Ａ１（又は、更新後メタデータ１０Ａ１の更新前メタデータとの差分）のライト要求を、セカンダリノード１０１Ｂとストレージボックス１１１に転送する。ノード１０１Ａからストレージボックス１１１へのライト要求では、永続記憶デバイス１１４Ａが指定される。

セカンダリノード１０１Ｂは、受信したライト要求に付随したデータ（更新後メタデータ１０Ａ１（又は、更新後メタデータ１０Ａ１の更新前メタデータとの差分））を自身のキャッシュ（メモリの一部）に格納し（つまり、ノード１０１Ｂのメモリにおけるメタデータ１０Ａに上書きし）、更新後メタデータ１０Ａ２（又は、更新後メタデータ１０Ａ２の更新前メタデータとの差分）のライト要求を、ストレージボックス１１１に送信する。ノード１０１Ｂからストレージボックス１１１へのライト要求では、永続記憶デバイス１１４Ｂが指定される。セカンダリノード１０１Ｂは、ストレージボックス１１１へのライト要求に対する完了応答をストレージボックス１１１から受け、且つ、プライマリノード１０１Ａからのライト要求に付随したデータのキャッシュが完了している場合、プライマリノード１０１Ａからのライト要求に対する完了応答をノード１０１Ａに返す。

ストレージボックス１１１は、プライマリノード１０１Ａからのライト要求に従い、受信したライト要求に付随したデータを永続記憶デバイス１１４Ａにおけるメタデータ１０Ａに上書きし、当該ライト要求に対する完了応答をノード１０１Ａに返す。また、ストレージボックス１１１は、セカンダリノード１０１Ｂからのライト要求に従い、受信したライト要求に付随したデータを永続記憶デバイス１１４Ｂにおけるメタデータ１０Ａに上書きし、当該ライト要求に対する完了応答をノード１０１Ｂに返す。これにより、ストレージボックス１１１における異なる永続記憶デバイス１１４Ａと１１４Ｂに更新後メタデータ１０Ａ３と１０Ａ４が格納されることになる。つまり、異なる永続記憶デバイス１１４間でメタデータ１０Ａが冗長化されたことになる。

ノード１０１Ａが、ストレージボックス１１１へのライト要求に対する完了応答をストレージボックス１１１から受信し、セカンダリノード１０１Ｂへのライト要求に対する完了応答をノード１０１Ｂから受信した場合、メタデータライト処理が完了となる。

メタデータの冗長化グループは、メタデータにつき二つ以上のノード間に跨り構成される。図１の例では、上述したように、メタデータ１０Ａはノード１０１Ａとノード１０１Ｂ、メタデータ１０Ｂはノード１０１Ｂとノード１０１Ｃ、メタデータ１０Ｃはノード１０１Ｃとノード１０１Ａのノード間で構成されている。

次に、フェイルオーバー処理とリビルド処理の例として、ノード１０１Ａが故障等で閉塞した場合の処理を説明する。ノード１０１Ｂは、ノード１０１Ａが閉塞したことを取得し、セカンダリノードからプライマリノードに昇格する。その後、ノード１０１Ｂが、リビルド先としてノード１０１Ｃを新しいセカンダリノードとして選択し、メタデータ１０１Ａ２をノード１０１Ｃのメモリへ転送する。これにより、ノード１０１Ｃのメモリにメタデータ１０Ａ５が格納され、結果として、異なるノード１０１Ｂと１０１Ｃのメモリ間で、メタデータ１０Ａが冗長化する。

図２は、本実施形態に係るストレージシステムの物理構成を示す。

ストレージシステムは、複数のノード１０１と、複数のノード１０１にネットワーク１２１を介して接続された一つ以上のストレージボックス１１１とを備える。一つ以上のストレージボックス１１１が、記憶装置の一例である。

ノード１０１は、ＣＰＵ１０３、メモリ１０２、永続記憶デバイス１０４、及びポート１０５を有し、それらはバス１０６で物理接続されている。メモリ１０２は、揮発性メモリと不揮発性メモリとのうちの少なくとも一方でよい。永続記憶デバイス１０４は、ノード１０１上で動作するプログラムを記憶したり、それらプログラムが使用するデータを永続化したりするために使用される。なお、永続記憶デバイス１０４はノード１０１に搭載されないでもよく、永続記憶デバイスが搭載されない場合は、ネットワークブート用のＲＯＭ等、永続記憶デバイス無しにノード１０１をブートできるハードウェアが搭載されてもよい。ポート１０５は、ノード１０１とネットワーク１２１を接続するためのインターフェースであり、例えばEthernetネットワークインターフェースカード（ＮＩＣ）等である（Ethernetは登録商標）。ＣＰＵ１０３がプロセッサの一例であり、ポート１０５がインターフェース装置の一例である。

ストレージボックス１１１は、ＣＰＵ１１２、メモリ１１３、永続記憶デバイス１１４、及びポート１１５を有し、それらはバス１１６で物理接続されている。メモリ１１３は、揮発性メモリと不揮発性メモリの少なくとも一方がでよい。永続記憶デバイス１１４は、ストレージボックス１１１上で動作するプログラムを記憶したり、それらプログラムが使用するデータを永続化したり、ノード１０１上で動作するプログラムが使用するデータを永続化したりするために使用される。ポート１１５は、ストレージボックス１１１とネットワーク１２１を接続するためのインターフェースであり、例えばEthernetネットワークインターフェースカード（ＮＩＣ）等である。ポート１１５、ＣＰＵ１１２及びメモリ１１３が、ストレージボックス１１１のコントローラの一例でよい。一つ以上のストレージボックス１１１のコントローラが、記憶装置が有するストレージコントローラの一例でよい。

ネットワーク１２１は、各ノード１０１と各ストレージボックス１１１間を相互に物理接続するための一つ以上の装置であり、例えばEthernet等のネットワークスイッチである。

図３は、ノード１０１のメモリ１０２の構成例を示す。

メモリ１０２は、テーブルが格納されるテーブル領域２０１と、プログラムが格納されるプログラム領域３０１とを有する。

テーブルとして、例えば、ノードテーブル２１１、ストレージボックステーブル２１２、永続記憶デバイステーブル２１３、ポートテーブル２１４、ボリュームテーブル２１５、ブロックマッピングテーブル２１６、メタデータテーブル２１７、及び、メタデータマッピングテーブル２１８がある。プログラムとして、例えば、ユーザデータリード処理プログラム３１１、ユーザデータライト処理プログラム３１２、メタデータリード処理プログラム３１３、メタデータライト処理プログラム３１４、フェイルオーバー処理プログラム３１５、及びリビルド処理プログラム３１６がある。テーブルとプログラムの詳細は後述する。

なお、本実施形態において、「メタデータ」は、テーブル２１１～２１８のうちの少なくとも一部でよい。また、メタデータは、冗長化グループ毎に存在するが、二つ以上の冗長化グループについてメタデータの少なくとも一部が共通していてもよい。また、本実施形態において、「制御プログラム」は、プログラム３１１～３１６を含んだプログラムでよい。各ノードが、複数の制御プログラムを有していて、各冗長化グループは、異なる二つ以上のノードにおける二つ以上の制御プログラム（例えば、一つのプライマリ（アクティブ）の制御プログラムと一つ以上のセカンダリ（スタンバイ）の制御プログラム）を含んでいていてよい。ノード障害が生じ、障害が生じたノードにプライマリの制御プログラムがある場合、当該プライマリの制御プログラムから、当該プライマリの制御プログラムと同一の冗長化グループに属し他ノードにおけるセカンダリの制御プログラムへフェイルオーバーが行われてよい。制御プログラムがアクセス可能な後述の論理領域及び物理領域は、当該制御プログラムに対して許可されている所定の範囲に属する領域でよい。各冗長化グループについて、当該冗長化グループに含まれるプライマリの制御プログラムは、当該冗長化グループに対応したメタデータの制御権（アクセス権）を有するが、当該冗長化グループとは異なる冗長化グループに対応するメタデータの制御権を有しないでよい。

図４は、ストレージボックス１１１のメモリ１１３の構成例を示す。

メモリ１１３は、テーブルが格納されるテーブル領域２０２と、プログラムが格納されるプログラム領域３０２とを有する。

テーブルとして、例えば、永続記憶デバイステーブル２１３及びポートテーブル２１４がある。プログラムとして、例えば、リード処理プログラム３６１及びライト処理プログラム３６２がある。テーブルとプログラムの詳細は後述する。

図５Ａは、ノードテーブル２１１の構成例を示す。

ノードテーブル２１１は、複数のノード１０１の各々に関する情報を有し、ノード１０１に関する情報のエントリから構成される。エントリは、一つのノード１０１に対応する。エントリの情報は、ＩＤ２１１１、状態２１１２、永続記憶デバイスリスト２１１３、及びポートリスト２１１４からなる。

ＩＤ２１１１は、ノード１０１を一意に特定できる値（例えば、ＵＵＩＤ（Universally Unique Identifier））である。状態２１１２は、ノード１０１の状態（例えば、正常、閉塞等）を表す。永続記憶デバイスリスト２１１３は、ノード１０１が有する一つ以上の永続記憶デバイスに関する情報（例えば、永続記憶デバイステーブル２１３におけるエントリへのリンク）のリストである。ポートリスト２１１４は、ノード１０１が有する一つ以上のポートに関する情報（例えば、ポートテーブル２１４におけるエントリへのリンク）のリストである。

図５Ｂは、ストレージボックステーブル２１２の構成例を示す。

ストレージボックステーブル２１２は、一つ以上のストレージボックス１１１の各々に関する情報のエントリから構成される。エントリは、一つのストレージボックス１１１に対応する。エントリの情報は、ＩＤ２１２１、状態２１２２、永続記憶デバイスリスト２１２３、及びポートリスト２１２４からなる。

ＩＤ２１２１は、ストレージボックス１１１を一意に特定できる値（例えば、ＵＵＩＤ）である。状態２１２２は、ストレージボックス１１１の状態（例えば、正常、閉塞等）を表す。永続記憶デバイスリスト２１２３は、ストレージボックス１１１が有する一つ以上の永続記憶デバイス１１４の各々に関する情報（例えば、永続記憶デバイステーブル２１３におけるエントリへのリンク）のリストである。ポートリスト２１２４は、ストレージボックス１１１が有する一つ以上のポートの各々に関する情報（例えば、ポートテーブル２１４におけるエントリへのリンク）のリストである。

図５Ｃは、永続記憶デバイステーブル２１３の構成例を示す。

永続記憶デバイステーブル２１３は、複数の永続記憶デバイスの各々に関する情報のエントリから構成される。エントリは、一つの永続記憶デバイスに対応する。エントリの情報は、ＩＤ２１３１、状態２１３２、ノードＩＤ/ストレージボックスＩＤ２１３３、及びブロックマッピングリスト２１３４からなる。

ＩＤ２１３１は、永続記憶デバイスを一意に特定できる値（例えば、ＵＵＩＤ）である。状態２１３２は、永続記憶デバイスの状態（例えば、正常、閉塞等）を表す。ノードＩＤ／ストレージボックスＩＤ２１３３は、永続記憶デバイスが搭載されたノード１０１又はストレージボックス１１１のＩＤを示す。ブロックマッピングリスト２１３４は、ボリューム（論理ボリューム）の論理領域（ボリューム内領域）に対応する物理領域（永続記憶デバイスが提供する記憶領域）に対応する情報（例えば、ブロックマッピングテーブル２１６におけるエントリへのリンク）のリストである。

図５Ｄは、ポートテーブル２１４の構成例を示す。

ポートテーブル２１４は、複数のポートの各々に関する情報のエントリから構成される。エントリは、一つのポートに対応する。エントリの情報は、ＩＤ２１４１、状態２１４２、ノードＩＤ／ストレージボックスＩＤ２１４３、及びアドレスリスト２１４４からなる。

ＩＤ２１４１は、ポートを一意に特定できる値である。状態２１４２は、ポートの状態（例えば、正常、閉塞等）を表す。ノードＩＤ／ストレージボックスＩＤ２１４３は、ポートが搭載されたノード１０１又はストレージボックス１１１のＩＤを示す。アドレスリスト２１４４は、アドレスに関する情報（例えば、アドレスと種別)のリストである。アドレスは、ネットワーク１２１上でポートを一意に特定できるもので、例えば、ＭＡＣアドレス、ＩＰアドレス等である。種別は、ポートのネットワークの種別であり、例えば、Ethernet等である。

図５Ｅは、ボリュームテーブル２１５の構成例を示す。

ボリュームテーブル２１５は、一つ以上のボリュームの各々に関する情報のエントリから構成される。エントリは、一つのボリュームに対応する。エントリの情報は、ＩＤ２１５１、ノードＩＤ２１５２、ホスト情報２１５３、及びブロックマッピングリスト２１５４からなる。

ＩＤ２１５１は、ボリュームを一意に特定できる値である。ノードＩＤ２１５２は、当該ボリュームの制御権（例えばアクセス権）を有するノード１０１のＩＤである。ホスト情報２１５３は、ボリュームを使用しているホスト（例えば、ボリュームの提供先のクライアント）の情報（例えばＩＤ）である。ブロックマッピングリスト２１５４は、ボリュームの全論理領域に対応する情報（例えば、ブロックマッピングテーブル２１６におけるエントリへのリンク）のリストである。

図５Ｆは、ブロックマッピングテーブル２１６の構成例を示す。

ブロックマッピングテーブル２１６は、複数のブロックマッピングの各々に関する情報のエントリから構成される。エントリは、一つのブロックマッピングに対応する。エントリの情報は、ＩＤ２１６１、論理領域リスト２１６２、及び物理領域リスト２１６３からなる。

ＩＤ２１６１は、ブロックマッピングを一意に特定できる値である。論理領域リスト２１６２は、複数の論理領域の各々に関する情報のリストであり、一つの論理領域（例えば、論理ブロック）に関する情報は、例えば、当該論理領域に対応するボリュームＩＤ、ボリューム内の論理ブロックアドレス（ＬＢＡ）、及び、論理ブロックサイズを表す情報を含んでよい。物理領域リスト２１６３は、複数の物理領域の各々に関する情報のリストであり、一つの物理領域（例えば、物理ブロック）に関する情報は、当該物理領域に対応する永続記憶デバイスのＩＤ、物理ブロックアドレス、物理ブロックサイズ、及び、データ保護タイプ（例えば、ＲＡＩＤ１/５/６等)を表す情報を含んでよい。

図５Ｇは、メタデータテーブル２１７の構成例を示す。

メタデータテーブル２１７は、複数のメタデータの各々に関する情報のエントリから構成される。エントリは、一つのメタデータに対応する。エントリの情報は、ＩＤ２１７１、タイプ２１７２、プライマリノードＩＤ２１７３、セカンダリノードＩＤリスト２１７４、及びメタデータマッピングリスト２１７５からなる。

ＩＤ２１７２は、メタデータを一意に特定できるものである。タイプ２１７２は、メタデータのタイプを表す。メタデータのタイプとして、例えば、ブロックマッピングテーブル（論理アドレスと物理アドレスの対応関係（マッピング）を管理するデータの一例）、ドライブフォーマット管理データ（どの永続デバイスのどの物理アドレスがフォーマット済かを表すデータ）がある。プライマリノードＩＤ２１７３は、メタデータの制御権を有するノード１０１のＩＤである。セカンダリノードＩＤリスト２１７４は、一つ以上のセカンダリノードＩＤからなり、セカンダリノードＩＤは、メタデータの冗長化先のノード１０１のＩＤである。メタデータマッピングリスト２１７５は、複数のメタデータマッピングの各々に関する情報（例えば、メタデータマッピングテーブル２１８におけるエントリへのリンク）のリストである。メタデータマッピング情報の詳細は後述する。

図５Ｈは、メタデータマッピングテーブル２１８の構成例を示す。

メタデータマッピングテーブル２１８は、複数のメタデータマッピングの各々に関する情報のエントリから構成される。エントリは、一つのメタデータマッピングに対応する。エントリの情報は、ＩＤ２１８１、メタデータＩＤ２１８２、及び物理領域リスト２１８３からなる。

ＩＤ２１８１は、メタデータマッピングを一意に特定できる値である。メタデータＩＤ２１８２は、メタデータマッピングに対応するメタデータのＩＤである。物理領域リストは、複数の物理領域の各々に関する情報のリストであり、一つの物理領域（メタデータの格納先の物理領域）に関する情報は、永続記憶デバイスのＩＤ、物理ブロックアドレス、物理ブロックサイズ、データ保護タイプ、及び、オーナ（メタデータの制御権を有するノード）のノードＩＤを表す情報を含んでよい。データ保護タイプは、例えば、ＲＡＩＤ１/５/６等である。オーナのノードＩＤは、物理領域情報を使用して永続記憶デバイスとリード処理及びライト処理を実行するノードのＩＤである。

以下、本実施形態で行われる処理の例を説明する。

図６は、ユーザデータリード処理のフローを示す。

ユーザデータリード処理は、アプリケーション（例えば、ホストで実行されるアプリケーションプログラム）からのユーザデータリード要求を契機とし、当該リード要求で指定されているボリュームの制御権を有するノード１０１のユーザデータリード処理プログラム３１１により実行される。ユーザデータリード要求は、リード対象のボリュームＩＤ、開始位置、サイズ等のデータリードに必要な情報を含んでよい。

ユーザデータリード処理プログラム３１１は、ユーザデータリード要求の情報をもとに、メタリード処理プログラム３１３にメタデータリードを要求し、メタデータを取得する（Ｓ１０１）。メタデータは、ボリュームの論物アドレス情報等を含む。メタユーザデータリード処理プログラム３１３が実行するメタデータリード処理の詳細は後述する。

ユーザデータリード処理プログラム３１１は、メタデータからアドレス解決を実施し、リード対象の物理領域を特定する（Ｓ１０２）。

ユーザデータリード処理プログラム３１１は、ノード１０１のメモリにおけるキャッシュを検索し、リード対象データがキャッシュ上に存在するか否かを判定する（Ｓ１０３）。

Ｓ１０３の判定結果が真の場合は（Ｓ１０３：Ｙｅｓ）、ユーザデータリード処理プログラム３１１は、キャッシュから対象データを取得する（Ｓ１０４）。

Ｓ１０３の判定結果が偽の場合は（Ｓ１０３：Ｎｏ）、ユーザデータリード処理プログラム３１１は、対象データを格納する（Ｓ１０２で特定された物理領域を有する）永続記憶デバイス１１４を有するストレージボックス１１１に、対象データのデータリードを要求し（Ｓ１０５）、当該ストレージボックス１１１からの結果を待つ（Ｓ１０６）。ストレージボックス１１１は、ユーザデータリード処理プログラム３１１からデータリード要求を受信し、当該データリード要求に従い、永続記憶デバイステーブル２１３及びポートテーブル２１４を基に、対象データを格納する永続記憶デバイス１１４からデータリードを実行し、ユーザデータリード処理プログラム３１１に、読み出されたデータを返却する。ユーザデータリード処理プログラム３１１は、ストレージボックス１１１から取得したデータをキャッシュに格納する（Ｓ１０７）。

ユーザデータリード処理プログラム３１１は、アプリケーション（ユーザデータリード要求の送信元の一例）に、取得したデータを含む結果（ユーザデータリード要求の結果）を返却し（Ｓ１０８）、処理を終了する。

図７は、データライト処理のフローを示す。

データライト処理は、アプリケーションからのユーザデータライト要求を契機とし、当該ライト要求で指定されているボリュームの制御権を有するノード１０１のユーザデータライト処理プログラム３１２により実行される。データライト要求は、ライト対象のボリュームＩＤ、開始位置、サイズ等のデータライトに必要な情報を含んでよい。

ユーザデータライト処理プログラム３１２は、データライト要求の情報をもとに、メタデータリード処理プログラム３１３にメタデータリードを要求し（Ｓ２０１）、メタデータを取得する。メタデータは、ボリュームの論物アドレス情報等を含む。メタデータリード処理プログラム３１３が実行するメタデータリード処理の詳細は後述する。

ユーザデータライト処理プログラム３１２は、メタデータからアドレス解決を実施し（Ｓ２０２）、ライト対象の物理領域を特定する。

当該ボリュームにおけるライト対象の物理領域の割当が必要な場合（Ｓ２０３：Ｙｅｓ）、ユーザデータライト処理プログラム３１２は、物理領域の割当を実行し、メタデータライト処理プログラム３１４にメタデータライト要求を発行して、当該ボリュームの論物マッピング情報等のメタデータを更新する（Ｓ２０４）。メタデータライト処理プログラム３１４が実行するメタデータライト処理の詳細は後述する。

ユーザデータライト処理プログラム３１２は、ユーザデータを冗長化し（Ｓ２０５）、ライト対象の物理領域を有するストレージボックス１１１に対象データのデータライトを要求し（Ｓ２０６）、当該ストレージボックス１１１からの結果を待つ（Ｓ２０７）。

ストレージボックス１１１は、ユーザデータライト処理プログラム３１２からのデータライト要求に従い、対象データを永続記憶デバイス１１４へライトし、ユーザデータライト処理プログラム３１２に結果を返却する。

ユーザデータライト処理プログラム３１２は、当該結果の返却を受けて、キャッシュ上のデータを更新する（Ｓ２０８）。ユーザデータライト処理プログラム３１２は、アプリケーションに、ユーザデータライト要求の結果を返却し（Ｓ２０９）、処理を終了する。

図８Ａは、ストレージボックス１１１のリード処理のフローを示す。

ストレージボックス１１１のリード処理は、ノード１０１からのデータ（ユーザデータ又はメタデータ）のリード要求を契機とし、ストレージボックス１１１のリード処理プログラム３６１により実行される。リード要求は、リード処理に必要な情報を含んでよい。

リード処理プログラム３６１は、リード要求を受信し（Ｓ３０１）、リード要求に従い永続記憶デバイス１１４からリード対象データをリードし、要求元に結果を返却する。

図８Ｂは、ストレージボックス１１１のライト処理のフローを示す。

ストレージボックス１１１のライト処理は、ノード１０１からのデータ（ユーザデータ又はメタデータ）のライト要求を契機とし、ストレージボックス１１１のライト処理プログラム３６２により実行される。ライト要求は、ライト処理に必要な情報を含んでよい。

ライト処理プログラム３６２は、ライト要求を受信し（Ｓ４０１）、ライト要求に従い永続記憶デバイス１１４へライト対象データをライトし（Ｓ４０２）、要求元に結果を返却する（Ｓ４０３）。

図９Ａは、メタデータリード処理のうちプライマリノードが行う処理のフローを示す。図９Ｂは、メタデータリード処理のうちセカンダリノードが行う処理のフローを示す。

メタデータリード処理は、前述のユーザデータリード処理やユーザデータライト処理において発行されたメタデータリード要求を契機とし、メタデータリード処理プログラム３１３により実行される。メタデータリード要求は、メタデータのタイプ、ＩＤ等のメタデータリードに必要な情報を含んでよい。

メタデータリード処理プログラム３１３は、メタデータリード要求の情報をもとに、対象メタデータを特定する（Ｓ５０１）。

メタデータリード処理プログラム３１３は、キャッシュを検索し、対象メタデータがキャッシュ上に存在するか否かを判定する（Ｓ５０２）。Ｓ５０２の判定結果が真の場合は（Ｓ５０２：Ｙｅｓ）、メタデータリード処理プログラム３１３は、キャッシュから対象メタデータを取得する（Ｓ５０３）。

Ｓ５０２の判定結果が偽の場合は（Ｓ５０２：Ｎｏ）、メタデータリード処理プログラム３１３は、対象メタデータを格納する永続記憶デバイス１１４を有するストレージボックス１１１とプライマリノードが通信可能な状態か否かを判定する（Ｓ５０４）。Ｓ５０４の判定結果が真の場合（Ｓ５０４：Ｙｅｓ）、メタデータリード処理プログラム３１３は、ストレージボックス１１１にメタデータリード要求を発行し（Ｓ５０５）、結果を待つ（Ｓ５０７）。ストレージボックス１１１は、メタデータリード処理プログラム３１３からメタデータリード要求を受信した場合、当該要求に従い、対象メタデータを格納する永続記憶デバイス１１４から対象メタデータをリードし、メタデータリード処理プログラム３１３に対象メタデータを返却する。

Ｓ５０２及びＳ５０４のいずれの判定結果も偽の場合は（Ｓ５０２：Ｎｏ、Ｓ５０４：Ｎｏ）、メタデータリード処理プログラム３１３は、セカンダリノードのメタデータリード処理プログラム３１３にメタデータリード要求を発行し（Ｓ５０６）、結果を待つ（Ｓ５０７）。

セカンダリノードのメタデータリード処理プログラム３１３は、プライマリノードのメタデータリード処理プログラム３１３からメタデータリード要求を受信した場合（Ｓ６０１）、当該要求に従い、メタデータリード要求の情報をもとに、対象メタデータを特定する（Ｓ６０２）。セカンダリノードのメタデータリード処理プログラム３１３は、キャッシュを検索する（Ｓ６０３）。対象メタデータがキャッシュ上に存在する場合は（Ｓ６０３：Ｙｅｓ）、セカンダリノードのメタデータリード処理プログラム３１３は、キャッシュから対象メタデータを取得し（Ｓ６０４）、取得したメタデータをプライマリノードのメタデータリード処理プログラム３１３に返却する（Ｓ６０７）。対象メタデータがキャッシュ上に存在しない場合は（Ｓ６０３：Ｎｏ）、セカンダリノードのメタデータリード処理プログラム３１３は、対象メタデータを格納する永続記憶デバイス１１４を有するストレージボックス１１１とセカンダリノードが通信可能な状態であれば、ストレージボックス１１１にメタデータリード要求を発行し（Ｓ６０５）、結果を待つ（Ｓ６０６）。その後、セカンダリノードのメタデータリード処理プログラム３１３は、ストレージボックス１１１から対象メタデータを受信し、当該メタデータをキャッシュに格納し、当該メタデータを、プライマリノードのメタデータリード処理プログラム３１３に返却する。

プライマリノードのメタデータリード処理プログラム３１３は、ストレージボックス１１１又はセカンダリノードから取得したメタデータをキャッシュに格納する（Ｓ５０８）。プライマリノードのメタデータリード処理プログラム３１３は、Ｓ５０３でキャッシュから取得された対象メタデータ、又は、Ｓ５０８を通じてキャッシュから取得された対象メタデータを、要求元に結果として返却する（Ｓ５０９）。

図１０Ａは、メタデータライト処理のうちプライマリノードが行う処理のフローを示す。図１０Ｂは、メタデータライト処理のうちセカンダリノードが行う処理のフローを示す。

メタデータライト処理は、前述のユーザデータリード処理やユーザデータライト処理において発行されるメタデータライト要求を契機とし、メタデータライト処理プログラム３１４により実行される。メタデータライト要求は、メタデータのタイプ、ＩＤ等のメタデータライトに必要な情報を含んでよい。

メタデータライト処理プログラム３１４は、メタデータライト要求の情報をもとに、対象メタデータを特定する（Ｓ７０１）。

メタデータライト処理プログラム３１４は、ストレージボックス１１１とセカンダリノードへ対象データのメタデータライトを要求し（Ｓ７０２）、ストレージボックス１１１とセカンダリノードからの結果を待つ（Ｓ７０３）。

セカンダリノードのメタデータライト処理プログラム３１４は、プライマリノードからメタデータライト要求を受信し（Ｓ８０１）、当該要求の情報をもとに、対象メタデータを特定する（Ｓ８０２）。セカンダリノードのメタデータライト処理プログラム３１４は、ストレージボックス１１１にメタデータライトを要求し（Ｓ８０３）、結果を待ち（Ｓ８０４）、結果を受信後、キャッシュ上のメタデータを更新し（Ｓ８０５）、プライマリノードへ結果を返却する（Ｓ８０６）。

ストレージボックス１１１は、プライマリノード及びセカンダリノードからメタデータライト要求を受信した場合、当該要求に従い永続記憶デバイス１１４へ対象メタデータをライトし、要求元へ結果を返却する。

プライマリノードのメタデータライト処理プログラム３１４は、セカンダリノードとストレージボックス１１１からの結果を受信した後、キャッシュ上のメタデータを更新し（Ｓ７０４）、要求元に結果を返却する（Ｓ７０５）。

図１１Ａは、フェイルオーバー処理のうち代表ノードが行う処理のフローを示す。図１１Ｂは、フェイルオーバー処理のうち選出ノードが行う処理のフローを示す。

フェイルオーバー処理は、ノード１０１が障害等で閉塞した場合に、当該ノード１０１が担当するメタデータの制御権を、他のセカンダリノードに引き継ぐ処理である。本処理は、システムの所定のノード、または冗長化グループに属するノード間で決定されたノードが実行する。以降、メタデータの制御権の引継ぎを指示又は実行するノードを、便宜上、「代表ノード」と呼び、メタデータの制御権の引継ぎを受けるノードを「選出ノード」と呼ぶことがある。

代表ノードのフェイルオーバー処理プログラム３１５は、周期的に各ノードの生存確認を行う等して、障害発生を確認する（Ｓ９０１）。もし、いずれのノードにも障害が発生していない場合は（Ｓ９０２：Ｎｏ）、本処理が終了する。障害ノード（障害が発生しているノード）がある場合は、代表ノードのフェイルオーバー処理プログラム３１５は、次の処理を実行する。

代表ノードのフェイルオーバー処理プログラム３１５は、障害ノードを特定する（Ｓ９０３）。フェイルオーバー処理プログラムは、メタデータテーブル２１７及びメタデータマッピングテーブル２１８を参照し、障害ノードがある冗長化グループのプライマリノードであるか否かを判定する（Ｓ９０４）。Ｓ９０４の判定結果が真の場合（Ｓ９０４：Ｙｅｓ）、フェイルオーバー処理プログラム３１５は、メタデータテーブル２１７及びメタデータマッピングテーブル２１８を基に、当該冗長化グループに属するいずれかのセカンダリノードを選出ノード（フェイルオーバー先ノード）とし、当該選出ノードへメタデータの制御権の引継ぎを要求する（Ｓ９０５）。Ｓ９０５の後（又は、Ｓ９０４の判定結果が偽の場合（Ｓ９０４：Ｎｏ））、代表ノードのフェイルオーバー処理プログラム３１５は、当該冗長化グループに属するプライマリノードにメタデータのリビルドを要求する（Ｓ９０６）。

代表ノードのフェイルオーバー処理プログラム３１５は、結果を待つ（Ｓ９０７）。

選出ノードのフェイルオーバー処理プログラム３１５は、メタデータの制御権の引継ぎ要求を受信し（Ｓ１００１）、当該選出ノードをプライマリノードに昇格させ（Ｓ１００２）、要求元に結果を返却する（Ｓ１００３）。「プライマリノードに昇格」とは、例えば、セカンダリノードＩＤリスト２１７４からプライマリノードＩＤ２１７３に当該選出ノードのＩＤが移動するといったメタデータ更新を含み、選出ノードがプライマリノードとして稼働可能な状態になることでよい。

プライマリノードは、代表ノードからのリビルド要求を受信し、要求にもとづいて、リビルド処理を実行し、要求元へ結果を返却する。リビルド処理の詳細は後述する。Ｓ９０７で結果待ちの代表ノードのフェイルオーバー処理プログラム３１５は、結果を受信後、処理を終了する。

図１２は、リビルド処理のフローを示す。

リビルド処理は、ノードや永続記憶デバイスが故障した場合に、当該装置に格納されていたメタデータを、他の生存する装置から他の装置にデータをコピーし、メタデータの冗長度を回復する処理である。リビルド処理は、プライマリノード（メタデータの制御権を有するノード）のリビルド処理プログラム３１６により行われる。

プライマリノードのリビルド処理プログラム３１６は、代表ノードからリビルド要求を受信する（Ｓ１１０１）。リビルド要求は、例えば、障害部位の装置の種別（例えば、ノード、或いは、ノード内又はストレージボックス内の永続記憶デバイス）と装置のＩＤを表す情報を含む。

リビルド処理プログラム３１６、当該リビルド要求から、障害部位がノードか永続記憶デバイスかを判定する（Ｓ１１０２）。

障害部位がノードの場合（Ｓ１１０２：Ｙｅｓ）、リビルド処理プログラム３１６は、メタデータテーブル２１７及びメタデータマッピングテーブル２１８を基に、当該プライマリノードが属する冗長化グループに属するいずれかのセカンダリノードをリビルド先のノードとして選択し（Ｓ１１０３）、リビルド先ノードにメタデータを転送することで、プライマリノードのメモリにおけるメタデータをリビルド先ノードのメモリに同期し（Ｓ１１０４）、結果（例えば、同期完了の応答）を待つ（１１０７）。これにより、異なるノードのメモリ間でのメタデータの冗長度が回復する。なお、異なるノード間でメタデータはＮ重化（Ｎは２以上の整数）されるが（例えば、Ｎのノードの各々のメモリに同一のメタデータが格納されるが）、この場合、Ｎが、冗長度である。

障害部位が永続記憶デバイスの場合（Ｓ１１０２：Ｎｏ）、リビルド処理プログラム３１６は、メタデータテーブル２１７及びメタデータマッピングテーブル２１８を基に、当該プライマリノードが属する冗長化グループに属するいずれかの永続記憶デバイスをリビルド先永続記憶デバイスとして選択し（Ｓ１１０５）、リビルド先永続記憶デバイスを指定したメタデータライト要求をストレージボックス１１１に送信し（Ｓ１１０６）、結果（例えば完了の応答）を待つ（Ｓ１１０７）。これにより、異なる永続記憶デバイス１１４間でのメタデータの冗長度が回復する。なお、異なる永続記憶デバイス１１４間でメタデータはＭ重化（Ｍは２以上の整数）されるが（例えば、Ｍの永続記憶デバイス１１４の各々に同一のメタデータが格納されるが）、この場合、Ｍが、冗長度である。ノード間のメタデータの冗長度Ｎと、永続記憶デバイス間のメタデータの冗長度Ｍは、同じでもよいし異なっていてもよい。

リビルド処理プログラム３１６は、結果を受信後、本処理を終了する。
＜実施形態２＞

実施形態２を説明する。その際、実施形態１との相違点を主に説明し、実施形態１との共通点については説明を省略又は簡略する（なお、この点は、実施形態３～５の説明についても同様である）。

実施形態２では、メタデータライト処理において、プライマリノードが永続記憶デバイス１１４にメタデータをライトするが、セカンダリノードは、永続記憶デバイス１１４にメタデータをライトしない。これにより、実施形態１と比較して、セカンダリノードとストレージボックス間のメタデータの通信時間を削減でき、以って、プライマリノードのメタデータライト処理プログラム３１４が受けるメタデータライト要求に対する応答時間を短縮することができる。

図１３Ａは、実施形態２に係るメタデータライト処理のうちプライマリノードが行う処理のフローを示す。図１３Ｂは、実施形態２に係るメタデータライト処理のうちセカンダリノードが行う処理のフローを示す。

プライマリノードのメタデータライト処理プログラム３１４は、Ｓ７０１の後、冗長化データを生成する（Ｓ７０６）。結果として、キャッシュ上に、冗長度Ｍのメタデータが存在する。Ｓ７０２において、ストレージボックスへのメタデータライト要求は、冗長度Ｍのメタデータのライト要求である。例えば、冗長度Ｍのメタデータの格納先のＭの永続記憶デバイスが指定されたＭのメタデータライト要求が一つ以上のストレージボックス１１１へ送信されてよい。

なお、Ｓ７０２において、実施形態１と同様に、メタデータライト要求がプライマリノードからセカンダリノードに送信され、セカンダリノードのメタデータライト処理プログラム３１４は、キャッシュ上のメタデータを更新するが、ストレージボックス１１１へメタデータライト要求を送信しない。すなわち、図１３Ｂが示すように、図１０Ｂに示したＳ８０１～Ｓ８０６のうち、Ｓ８０３及びＳ８０４以外の処理が行われる。
＜実施形態３＞

実施形態３では、メタデータライト処理において、プライマリノードは、セカンダリノードへメタデータライト要求を送信せず、ストレージボックス１１１へのみメタデータライト要求を送信する。セカンダリノードは、フェイルオーバー処理において、フェイルオーバー先ノードとして選択された場合、ストレージボックス１１１からメタデータをリードして、プライマリノードに昇格する。これにより、メタデータライト処理において、プライマリノードからセカンダリノードへのメタデータライトのオーバヘッドを削減でき、以って、メタデータライト処理のスループットを向上することが期待できる。

図１４は、実施形態３に係るメタデータライト処理のフローを示す。

プライマリノードのメタデータライト処理プログラム３１４は、Ｓ７０１の後、冗長化データを生成し（すなわち、キャッシュ上に冗長度Ｍのメタデータを生成し）、ストレージボックス１１１へ、冗長度Ｍのメタデータのメタデータライト要求を送信する（Ｓ７０２１）。

図１５は、実施形態３に係るフェイルオーバー処理のうち選出ノードが行う処理のフローを示す。実施形態３に係るフェイルオーバー処理のうち代表ノードが行う処理は実施形態１と同じため代表ノードが行う処理の説明を省略する。

選出ノードのフェイルオーバー処理プログラム３１５は、Ｓ１００１の後、ストレージボックス１１１からメタデータをリードするためのメタデータリード要求をストレージボックス１１１に送信する（Ｓ１０００１）。フェイルオーバー処理プログラム３１５は、当該要求に応答してメタデータをストレージボックス１１１から受信し、当該メタデータを選出ノードのキャッシュに登録する（Ｓ１０００２）。その後、Ｓ１００２及びＳ１００３が行われる。
＜実施形態４＞

実施形態４では、メタデータライト処理において、セカンダリノードにメタデータを転送する代わりに、メタデータの更新情報のみがプライマリノードからセカンダリノードに転送される。その後、セカンダリノードは、メタデータライト処理とは非同期に、更新情報に従い、ストレージボックスから対象メタデータをリードする。これにより、実施形態２と同様に、プライマリノードのメタデータライト処理プログラム３１４が受けるメタデータライト要求に対する応答時間を短縮することが期待できる。

図１６Ａは、実施形態４に係るメタデータライト処理のうちプライマリノードが行う処理のフローを示す。図１６Ｂは、実施形態４に係るセカンダリノードがメタデータライト処理と非同期に行う処理のフローを示す。

プライマリノードのメタデータライト処理プログラム３１４は、Ｓ７０１の後、セカンダリノードに更新情報を転送する（Ｓ７０２２）。「更新情報」は、更新後メタデータの更新前メタデータとの差分を表す情報であり、例えば、更新されたメタデータのＩＤと、データが更新された領域のアドレスと、当該領域の差分データ（更新後データ）とを含んだ情報でよい。つまり、更新情報は、更新後メタデータ全体ではなく、更新された部分に該当するデータを含んだ情報でよい。更新情報のサイズは更新後メタデータ全体のサイズに比べると小さいため、プライマリノードとセカンダリノード間のデータ通信量を削減することができる。

プライマリノードのメタデータライト処理プログラム３１４は、Ｓ７０２２の後、実施形態３で説明したＳ７０２１を行う。

セカンダリノードのメタデータライト処理プログラム３１４は、プライマリノードからのメタデータの更新情報を受信し（Ｓ１２０１）、当該更新情報をもとに対象メタデータを特定し（Ｓ１２０２）、要求元へ結果（例えば完了応答）を返却する（Ｓ１２０３）。

その後、任意のタイミングで、セカンダリノードのメタデータリード処理プログラム３１３は、ストレージボックス１１１にメタデータリード要求を送信し（Ｓ１２０４）、結果を待つ（Ｓ１２０５）。当該メタデータリード要求で指定されるリード対象は、Ｓ１２０１で受信された更新情報に従う。つまり、リード対象は、更新後メタデータ全体ではなくその一部（更新部分）でよい。ストレージボックスは、当該メタデータリード要求に応答して永続記憶デバイス１１４から対象データ（例えば、更新後メタデータの一部）をリードし、要求元へ結果を返却する。セカンダリノードのメタデータリード処理プログラム３１３は、ストレージボックス１１１からの結果を受信し、当該結果中の対象データを用いてキャッシュ上のメタデータを更新し（Ｓ１２０６）、処理を終了する。
＜実施形態５＞

実施形態５では、冗長度Ｍのメタデータの生成は、プライマリノードに代えてストレージボックス１１１が実行する。これにより、メタデータライト処理において、プライマリノードとストレージボックス間のデータ転送回数を削減でき、メタデータライト処理の処理負荷を削減できる。

図１７は、実施形態５に係るストレージボックス１１１のライト処理のフローを示す。

ストレージボックス１１１のライト処理プログラム３６２は、プライマリノードからメタデータライト要求を受信する（Ｓ１３０１）。ライト処理プログラム３６２は、当該要求に従い、冗長データ（ここでは、冗長度Ｍのメタデータ）を生成し（Ｓ１３０２）、冗長度ＭのメタデータをそれぞれＭの永続記憶デバイス１１４へライトし（Ｓ１３０３）、要求元へ結果を返却する（Ｓ１３０４）。

なお、このライト処理は、ストレージボックス１１１がセカンダリノードからメタデータライト要求を受信した場合に行われてもよい。また、このライト処理において生成される冗長データは、メタデータに加えて、ユーザデータも対象でもよい。

上述の実施形態１～５を、例えば以下のように総括することができる。なお、以下の総括の説明は、上述の説明に無い説明（例えば、上述の説明の補足説明や、実施形態の変形例の説明）を含んでもよい。

スケールアウト型ストレージシステムが、それぞれメモリ１０２及びＣＰＵ１０３（プロセッサの一例）を有する複数のノード１０１と、複数の永続記憶デバイス１１４を有し複数のノード１０１に接続された一つ以上のストレージボックス１１１（記憶装置の一例）とを備える。複数のノードが、それぞれがメタデータ１０の保護のグループである一つ又は複数の冗長化グループを有する。一つ又は複数の冗長化グループの各々について、下記の通りである。以下、冗長化グループとして、図１に例示のメタデータ１０Ａの冗長化グループを例に取るが、以下の冗長化グループに関わる説明は、一つ又は複数の冗長化グループの各々に適用されてよい。また、以下、ストレージボックス１１１は一つであるとし、一つのストレージボックス１１１が、複数の永続記憶デバイス１１４を有するとする。
・当該冗長化グループに属する二つ以上のノード１０１が、プライマリのノードであるプライマリノード１０１Ａと、セカンダリのノードであるセカンダリノード１０１Ｂとを含み、プライマリノード１０１Ａからセカンダリノード１０１Ｂへのフェイルオーバーが行われるようになっている。
・メタデータ１０Ａ（当該冗長化グループに関わり制御のためにアクセスされるデータであり当該プライマリノードのメモリ１０２におけるメタデータ）がストレージボックス１１１における異なる永続記憶デバイス１１４Ａ及び１１４Ｂ間で冗長化される。
・プライマリノード１０１Ａのメモリ１０２とセカンダリノード１０１Ｂのメモリ１０２間でメタデータ１０Ａが冗長化される。

これにより、スケールアウト型ストレージシステムにおけるメタデータの適切な保護が実現される。例えば、ノード１０１Ａ及び１０１Ｂのメモリ１０２間でメタデータ１０Ａが冗長化されるため、ノード１０１Ｂのメモリ１０２におけるメタデータ１０Ａ２を基にフェイルオーバーが可能である。また、ノード１０１Ａ及び１０１Ｂのメモリ１０２からメタデータ１０Ａが消失しても、ストレージボックス１１１からメタデータ１０Ａを復元することができる。また、ストレージボックス１１１内のいずれかの永続記憶デバイス１１４に障害が発生しても、ストレージボックス１１１内でもメタデータ１０Ａが冗長化されているため、ストレージボックス１１１からメタデータ１０Ａの読出しが可能である。

ノード１０１は、典型的には、汎用のコンピュータでよい。複数のノード１０１の各々が所定のソフトウェアを実行することにより、複数のノード１０１がＳＤｘ（Software-Defined anything）として構築されてもよい。ＳＤｘとしては、例えば、ＳＤＳ（Software Defined Storage）又はＳＤＤＣ（Software-defined Datacenter）を採用することができる。

ノード１０１Ａにおけるメタデータ１０Ａは、適宜に更新される。メタデータ１０Ａが更新される場合として、例えば、ノード１０１Ａがユーザデータのライト要求に応答してユーザデータをストレージボックス１１１に書き込んだ場合、当該ユーザデータが永続記憶デバイス１１４間（例えばストレージボックス１１１間）で移動した場合、或いは、ストレージシステムの構成が変更された場合（例えば、ノード１０１が増設又は減設された場合、或いは、ボリュームが追加された場合）といった場合があり得る。

冗長化グループは、図１８に例示する通り、二つ以上のノード１０１における二つ以上の制御プログラム１８が属するグループでよい。二つ以上の制御プログラム１８は、一つのプライマリ（アクティブ）の制御プログラム１８Ｐと、一つ以上のセカンダリ（スタンバイ）の制御プログラム１８Ｓとを含んでよい。制御プログラム１８は、上述したプログラム３１１～３１６を含んだプログラムでよい。二つ以上の制御プログラム１８の各々について、メタデータ１０は、当該制御プログラム１８がノード１０１のＣＰＵ１０３により実行されることで行われる制御の際にアクセスされるデータでよい。ノード１０１Ａ（いずれかのノード１０１の一例）に障害が生じた場合、ノード１０１Ａがプライマリノードである一つ以上の冗長化グループの各々について、フェイルオーバー先のセカンダリノードのメモリ１０２に格納されており当該冗長化グループに関わるメタデータ１０を基に、プライマリノードの制御プログラム１８Ｐからセカンダリノードの制御プログラム１８Ｓへのフェイルオーバーが行われてよい。このような構成によれば、冗長化グループによって、プライマリのノードが異なるため、複数のノード１０１にプライマリ（アクティブ）の制御プログラム１８を分散させることができる。

例えば、実施形態１では、メタデータ１０Ａの更新要求に応答して、下記の処理により、ストレージボックス１１１での更新後メタデータ冗長化と、メモリ間での更新後メタデータ冗長化が実現される。これにより、ノード１０１Ａ及び１０１Ｂの各々に、メタデータ１０Ａを永続化するための永続記憶デバイスを搭載する必要が無い。
・ノード１０１Ａが、当該ノード１０１Ａのメモリにおける更新後メタデータ１０Ａ１（又は更新後メタデータの更新前メタデータとの差分）を永続記憶デバイス１１４Ａ（第１の永続記憶デバイスの一例）を含む一つ以上の永続記憶デバイス１１４に基づく第１の記憶領域に格納するための第１のライト要求をストレージボックス１１１に送信する。ここで、「第１の記憶領域」は、例えば、永続記憶デバイス１１４Ａ単体が提供する記憶領域でもよいし、永続記憶デバイス１１４Ａを含む二つ以上の永続記憶デバイス１１４に基づく記憶領域（例えば、ボリューム、或いは、ボリュームに割り当てられる領域）でもよい。
・ノード１０１Ａが、当該ノード１０１Ａのメモリ１０２における更新後メタデータ１０Ａ１（又は更新後メタデータの更新前メタデータとの差分）をノード１０１Ｂのメモリ１０２に格納するための第２のライト要求を当該ノード１０１Ｂに送信する。
・ノード１０１Ｂが、当該ノード１０１Ｂのメモリ１０２における更新後メタデータ１０Ａ２（又は更新後メタデータの更新前メタデータとの差分）を永続記憶デバイス１１４Ｂ（第２の永続記憶デバイスの一例）を含む一つ以上の永続記憶デバイスに基づく第２の記憶領域に格納するための第３のライト要求をストレージボックス１１１に送信する。ここで、「第２の記憶領域」は、例えば、永続記憶デバイス１１４Ｂ単体が提供する記憶領域でもよいし、永続記憶デバイス１１４Ｂを含む二つ以上の永続記憶デバイス１１４に基づく記憶領域（例えば、ボリューム、或いは、ボリュームに割り当てられる領域）でもよい。

なお、実施形態１では、ノード１０１Ｂは、第２のライト要求に付随したデータ（更新後データ、又は、更新後データの更新前データとの差分）をノード１０１Ｂのメモリ１０２に格納し、且つ、第３のライト要求に対する完了応答をストレージボックス１１１から受信した場合に、第２のライト要求に対する完了応答をノード１０１Ａに返してよい。ノード１０１Ａが、第１のライト要求に対する完了応答をストレージボックス１１１から受信し、且つ、第２のライト要求に対する完了応答をノード１０１Ｂから受信した場合に、更新要求に対する完了応答を発行してよい。これにより、永続記憶デバイス１１４Ａ及び１１４Ｂ間でのメタデータ冗長化とノード１０１Ａ及び１０１Ｂのメモリ１０２間でのメタデータ冗長化が実現されてから、更新要求に従う処理（メタデータライト処理）が完了となる。

また、例えば、実施形態３では、図１８に例示するように、ノード１０１Ａのメタデータの更新要求に応答して、ノード１０１Ａが、当該ノード１０１Ａのメモリ１０２における更新後メタデータ１０Ａ１（又は更新後メタデータの更新前メタデータとの差分）の一つ以上のライト要求をストレージボックス１１１に送信することで、異なる永続記憶デバイス１１４Ａ及び１１４Ｂ間での冗長化された更新後メタデータ（１０Ａ３及び１０Ａ４）が格納される。そして、フェイルオーバーのときに、ノード１０１Ｂが、ストレージボックス１１１（例えば、永続記憶デバイス１１４Ｂ）から更新後メタデータをノード１０１Ｂのメモリ１０２に読み出す。これにより、永続記憶デバイス１１４Ａ及び１１４Ｂに更新後メタデータ（又は上述の差分）を並列に書き込むことができるので、更新要求に従う処理（メタデータライト処理）に要する時間の短縮化が期待でき、且つ、少なくともフェイルオーバーの時点において、ノード１０１Ａ及び１０１Ｂのメモリ１０２間でのメタデータ冗長化を実現できる。

なお、実施形態３では、ノード１０１Ａが、上述の一つ以上のライト要求の各々について完了応答をストレージボックス１１１から受信した場合に、更新要求に対する完了応答を発行してよい。これにより、ノード１０１Ａ及び１０１Ｂ間の通信とノード１０１Ｂとストレージボックス１１１との間の通信無しに、更新要求に従う処理が完了するため、当該処理の短縮化が期待できる。

また、例えば、実施形態２では、図１９に例示するように、ノード１０１Ａのメタデータの更新要求に応答して、下記の処理により、ストレージボックス１１１での更新後メタデータ冗長化と、メモリ１０２間での更新後メタデータ冗長化が実現される。これにより、永続記憶デバイス１１４Ａ及び１１４Ｂに更新後メタデータ（又は上述の差分）を並列に書き込むことができるので、更新要求に従う処理（メタデータライト処理）に要する時間の短縮化が期待でき、且つ、ノード１０１Ａ及び１０１Ｂのメモリ１０２間でのメタデータ冗長化を実現できる。
・ノード１０１Ａが、当該ノード１０１Ａのメモリ１０２における更新後メタデータ（又は更新後メタデータの更新前メタデータとの差分）の一つ以上のライト要求をストレージボックス１１１に送信することで、異なる永続記憶デバイス１１４Ａ及び１１４Ｂ間での冗長化された更新後メタデータが格納される。
・ノード１０１Ａが、当該ノード１０１Ａのメモリ１０２におけるメタデータの更新に同期してノード１０１Ｂのメモリ１０２に更新後メタデータを反映する。

なお、実施形態２では、ノード１０１Ａが、一つ以上のライト要求の各々について完了応答をストレージボックス１１１から受信し、且つ、当該ノード１０１Ａのメモリ１０２におけるメタデータの更新に同期してノード１０１Ｂのメモリ１０２に更新後メタデータを反映した場合に、更新要求に対する完了応答を発行してよい。これにより、ノード１０１Ａ及び１０１Ｂのメモリ１０２間の同期は、ノード１０１Ａからストレージボックス１１１への書き込みの間に完結することが期待でき、以って、更新要求に従う処理の短縮化が期待できる。

また、例えば、実施形態４では、図２０に例示するように、ノード１０１Ａのメタデータの更新要求に応答して、ノード１０１Ａが、当該ノード１０１Ａのメモリ１０２における更新後メタデータ（又は更新後メタデータの更新前メタデータとの差分）の一つ以上のライト要求をストレージボックス１１１に送信することで、ストレージボックス１１１における異なる永続記憶デバイス間での冗長化された更新後メタデータが格納される。また、ノード１０１Ａが、ストレージボックス１１１における更新後メタデータ又は上記差分の位置を表す情報を含んだ更新情報をノード１０１Ｂに送信する。更新要求に従う処理とは非同期に、ノード１０１Ｂが、当該更新情報に基づき、ストレージボックス１１１から更新後メタデータ又は上記差分を読み出すことで、当該ノード１０１Ｂのメモリ１０２に更新後メタデータを格納する。これにより、更新要求に従う処理においてノード１０１Ａからノード１０１Ｂへ出力されるデータの量を削減することができ、以って、更新要求に従う処理に要する時間の短縮化が期待できる。

なお、実施形態４では、ノード１０１Ａが、上記一つ以上のライト要求の各々について完了応答をストレージボックス１１１から受信し、且つ、上記更新情報に対して所定の応答（例えば、受領確認の応答）をノード１０１Ｂから受信した場合に、更新要求に対する完了応答を発行してよい。これにより、更新情報よりサイズの大きいデータをノード１０１Ａ及び１０１Ｂ間で及びノード１０１Ｂとストレージボックス１１１との間で通信すること無しに、更新要求に従う処理が完了する。

例えば、実施形態２乃至４のうちのいずれにおいても、ノード１０１Ａが、永続記憶デバイス１１４Ａ及び１１４Ｂ間でのメタデータ冗長化を行ってもよいが、例えば実施形態５では、当該メタデータ冗長化は、ストレージボックス１１１にオフロードされる。すなわち、ノード１０１Ａのメタデータの更新要求に応答して、ノード１０１Ａが、当該ノード１０１Ａのメモリ１０２における更新後メタデータ（又は更新後メタデータの更新前メタデータとの差分）の一つのライト要求をストレージボックス１１１に送信し、ストレージボックス１１１（例えば、ライト処理プログラム３６２）が、当該ライト要求に応答して、当該更新後メタデータ又は当該差分の冗長化を行うことで、ストレージボックス１１１における異なる永続記憶デバイス間での冗長化された更新後メタデータが格納される。これにより、ノード１０１Ａとストレージボックス１１１との間のデータ転送量と、ノード１０１Ａの負荷とを低減できる。なお、永続記憶デバイス１１４間でのメタデータ冗長化は、任意のＲＡＩＤレベルに従うメタデータ冗長化（例えば、ミラーリング、或いは、パリティを用いたデータ保護）でもよいし、Erasure Codingでもよい。

１０１:計算機ノード、１０２:メモリ、１０３:ＣＰＵ、１０４:永続記憶デバイス、１１１ストレージボックス

Claims (2)

1. それぞれメモリ及びプロセッサを有する複数の計算機ノードと、
   複数の永続記憶デバイスを有し前記複数の計算機ノードに接続された記憶装置と
   を備え、
   一つ又は複数の冗長化グループの各々について、
   当該冗長化グループは、二つ以上の計算機ノードにおける二つ以上の制御プログラムが属するグループであり、
   前記二つ以上の制御プログラムの各々について、メタデータは、当該制御プログラムが計算機ノードのプロセッサにより実行されることで行われる制御の際にアクセスされるデータであり、
   当該冗長化グループに属する二つ以上の計算機ノードが、プライマリの計算機ノードであるプライマリノードと、セカンダリの計算機ノードであるセカンダリノードとを含み、
   前記複数の計算機ノードのいずれかのノードに障害が生じた場合、当該計算機ノードがプライマリノードである一つ以上の冗長化グループの各々について、フェイルオーバー先のセカンダリノードのメモリに格納されており当該冗長化グループに関わるメタデータを基に、プライマリノードの制御プログラムからセカンダリノードの制御プログラムへのフェイルオーバーが行われ、
   一つ又は複数の冗長化グループの各々について、下記（Ａ）乃至（Ｄ）が行われる、
   （Ａ）当該冗長化グループに関わり制御のためにアクセスされるデータであり当該プライマリノードのメモリにおけるメタデータが前記記憶装置における異なる永続記憶デバイス間で冗長化される、
   （Ｂ）プライマリノードのメモリとセカンダリノードのメモリ間でメタデータが冗長化される、
   （Ｃ）プライマリノードのメタデータに対する更新要求に応答して、下記（ｃ１）及び（ｃ２）の処理により、前記記憶装置での更新後メタデータ冗長化と、メモリ間での更新後メタデータ冗長化が実現される、
   （ｃ１）プライマリノードが、当該プライマリノードのメモリにおける更新後メタデータ又は更新後メタデータの更新前メタデータとの差分の一つ以上のライト要求を前記記憶装置に送信することで、前記記憶装置における異なる永続記憶デバイス間での冗長化された更新後メタデータが格納される、
   （ｃ２）プライマリノードが、当該プライマリノードのメモリにおけるメタデータの更新に同期してセカンダリノードのメモリに更新後メタデータを反映する、
   （Ｄ）プライマリノードが、前記一つ以上のライト要求の各々について完了応答を前記記憶装置から受信し、且つ、当該プライマリノードのメモリにおけるメタデータの更新に同期してセカンダリノードのメモリに更新後メタデータを反映した場合に、前記更新要求に対する完了応答を発行する、
   スケールアウト型ストレージシステム。
2. 複数の永続記憶デバイスを有する記憶装置に接続されそれぞれメモリ及びプロセッサを有する複数の計算機ノードにより行われる記憶制御方法であって、
   一つ又は複数の冗長化グループの各々について、
   当該冗長化グループは、二つ以上の計算機ノードにおける二つ以上の制御プログラムが属するグループであり、
   前記二つ以上の制御プログラムの各々について、メタデータは、当該制御プログラムが計算機ノードのプロセッサにより実行されることで行われる制御の際にアクセスされるデータであり、
   当該冗長化グループに属する二つ以上の計算機ノードが、プライマリの計算機ノードであるプライマリノードと、セカンダリの計算機ノードであるセカンダリノードとを含み、
   前記複数の計算機ノードのいずれかのノードに障害が生じた場合、当該計算機ノードがプライマリノードである一つ以上の冗長化グループの各々について、フェイルオーバー先のセカンダリノードのメモリに格納されており当該冗長化グループに関わるメタデータを基に、プライマリノードの制御プログラムからセカンダリノードの制御プログラムへのフェイルオーバーが行われ、
   前記記憶制御方法は、
   前記一つ又は複数の冗長化グループの各々について、下記（Ａ）乃至（Ｄ）を行う、
   （Ａ）当該冗長化グループに関わり制御のためにアクセスされるデータであり当該プライマリノードのメモリにおけるメタデータを前記記憶装置における異なる永続記憶デバイス間で冗長化する、
   （Ｂ）プライマリノードのメモリとセカンダリノードのメモリ間でメタデータを冗長化する、
   （Ｃ）プライマリノードのメタデータに対する更新要求に応答して、下記（ｃ１）及び（ｃ２）の処理により、前記記憶装置での更新後メタデータ冗長化と、メモリ間での更新後メタデータ冗長化が実現される、
   （ｃ１）プライマリノードが、当該プライマリノードのメモリにおける更新後メタデータ又は更新後メタデータの更新前メタデータとの差分の一つ以上のライト要求を前記記憶装置に送信することで、前記記憶装置における異なる永続記憶デバイス間での冗長化された更新後メタデータが格納される、及び、
   （ｃ２）プライマリノードが、当該プライマリノードのメモリにおけるメタデータの更新に同期してセカンダリノードのメモリに更新後メタデータを反映する、及び、
   （Ｄ）プライマリノードが、前記一つ以上のライト要求の各々について完了応答を前記記憶装置から受信し、且つ、当該プライマリノードのメモリにおけるメタデータの更新に同期してセカンダリノードのメモリに更新後メタデータを反映した場合に、前記更新要求に対する完了応答を発行する、
   記憶制御方法。

Images