JP7050034B2 - ストレージシステム及びノード管理方法 - Google Patents

Description

本発明は、ストレージシステム及びノード管理方法に関し、複数のストレージ装置（ストレージノード）によってストレージクラスタを構成するストレージシステム、及びそのノード管理方法に適用して好適なものである。

従来、複数のストレージ装置（ストレージノード）をデータの格納領域として取り込み、１つのストレージ装置（ストレージクラスタ）として扱うストレージシステムの技術が知られている。例えば特許文献１には、バックエンドストレージ装置の構成に基づいて、フロントエンドストレージ装置がデータ配置の階層を制御するシステムが開示されている。また、ストレージクラスタへのノード追加時に、ユーザによって指定された場合に、当該ノードでは、ホストとなってＩ／Ｏ処理を指示するコンピュートを起動させず、他からの指示を受けてＩ／Ｏ処理を行うストレージのみを動作させる、といった使い分けは一般的に行われている。

特開２０１２－０４３４０７号公報

しかし、上述した従来技術の場合、ストレージクラスタへのノード追加時に、ストレージ制御プログラムが持つ全ての処理を起動するため、消費するＣＰＵ及びメモリ量が多くなってしまうという問題があった。

本発明は以上の点を考慮してなされたもので、ストレージクラスタへのノード追加時に、ユーザによって指定されたノードの属性に基づいて、当該ノードで起動するプログラムを選択可能にすることで、追加されるノードに必要なＣＰＵ及びメモリ量を削減することが可能なストレージシステム及びノード管理方法を提案しようとするものである。

かかる課題を解決するため本発明においては、複数のノードによってストレージクラスタを構成する以下のストレージシステムが提供される。このストレージシステムは、データを格納するストレージデバイスと、メモリと、ストレージデバイスへＩ／Ｏ処理を行うためのプログラムを稼働させるプロセッサと、を備える。さらに、前記ノードは、第１の属性のノードと、第２の属性のノードと、に属性が指定され、前記ノードにおけるＩ／Ｏ処理は、いずれかの前記第１の属性のノードが実行するフロントエンドＩ／Ｏ処理と、Ｉ／Ｏ処理にかかるデータを格納する前記ストレージデバイスを有する前記第１及び前記第２の属性のノードが実行するバックエンドＩ／Ｏ処理と、を含む複数の処理として実行され、前記第１の属性のノードは上位の前記属性が指定された上位ノードであり、前記第２の属性のノードは下位の前記属性が指定された下位ノードであり、前記上位ノードには管理用の管理ノードが含まれ、前記管理ノードが、前記下位ノードの前記ストレージデバイスへの前記Ｉ／Ｏ処理において前記フロントエンドＩ／Ｏ処理を担当する前記上位ノードを指定し、さらに、前記ストレージクラスタから提供されるストレージプールは、複数段階の階層に分割して管理され、前記上位ノードの前記プロセッサは、各前記ノードの前記ストレージデバイスが提供する格納領域を前記ストレージプールの何れの階層で扱うかを、各前記ノードの前記属性に応じて制御する階層制御を実行する。

また、かかる課題を解決するため本発明においては、複数のノードによってストレージクラスタを構成するストレージシステムによる以下のノード管理方法が提供される。このノード管理方法において、前記ストレージシステムは、データを格納するストレージデバイスと、メモリと、ストレージデバイスへＩ／Ｏ処理を行うためのプログラムを稼働させるプロセッサと、を有し、前記ノードは、第１の属性のノードと、第２の属性のノードと、に属性が指定され、前記ノードにおけるＩ／Ｏ処理は、いずれかの前記第１の属性のノードが実行するフロントエンドＩ／Ｏ処理と、Ｉ／Ｏ処理にかかるデータを格納する前記ストレージデバイスを有する前記第１及び前記第２の属性のノードが実行するバックエンドＩ／Ｏ処理と、を含む複数の処理として実行され、前記第１の属性のノードは上位の前記属性が指定された上位ノードであり、前記第２の属性のノードは下位の前記属性が指定された下位ノードであり、前記上位ノードには管理用の管理ノードが含まれ、前記管理ノードが、前記下位ノードの前記ストレージデバイスへの前記Ｉ／Ｏ処理において前記フロントエンドＩ／Ｏ処理を担当する前記上位ノードを指定し、さらに、前記ストレージクラスタから提供されるストレージプールは、Ｉ／Ｏ頻度が比較的高いデータを格納するための高階層と、Ｉ／Ｏ頻度が比較的低いデータを格納するための低階層と、を含む複数段階の階層に分割して管理され、前記上位ノードの前記プロセッサは、各前記ノードのストレージデバイスが前記ストレージプールに提供するデータの格納領域を前記ストレージプールの何れの階層で扱うかを、各前記ノードの前記属性に応じて制御する階層制御を実行する。

本発明によれば、ストレージクラスタへのノード追加時に、追加されるノードに必要なＣＰＵ及びメモリ量を削減することができる。

本発明の第１の実施形態に係るストレージシステムの構成例を示す図である。 図１に示したストレージシステムのハードウェア構成例を示す図である。 管理ノードで実行されるコンピュータプログラムの一例を示す図である。 通常ノードで実行されるコンピュータプログラムの一例を示す図である。 下位ノードで実行されるコンピュータプログラムの一例を示す図である。 クラスタ構成管理テーブルの構成例を示す図である。 プール管理テーブルの構成例を示す図である。 ボリューム管理テーブルの構成例を示す図である。 格納領域管理テーブルの構成例を示す図である。 ストレージデバイス管理テーブルの構成例を示す図である。 ノード追加処理の処理手順例を示す図である。 ストレージデバイス追加処理の処理手順例を示す図である。 ボリューム作成処理の処理手順例を示す図である。 Ｉ／Ｏ処理の処理手順例を示す図である。 格納領域作成処理の処理手順例を示す図である。 構成伝播処理の処理手順例を示す図である。 ストレージデバイス情報更新処理の処理手順例を示す図である。 バックエンドＩ／Ｏ処理の処理手順例を示す図である。 階層制御処理の処理手順例を示す図である。 格納領域削除処理の処理手順例を示す図である。 第２の実施形態において管理ノードで実行されるコンピュータプログラムの一例を示す図である。 図２１に示したクラスタ構成管理テーブルの構成例を示す図である。

以下の説明において、「インターフェース部」は、１以上のインターフェースとしてよい。当該１以上のインターフェースは、１以上の同種の通信インターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし、２以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

また、以下の説明において、「メモリ部」は、１以上のメモリであり、典型的には主記憶デバイスでよい。メモリ部における少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。

また、以下の説明において、「ストレージデバイス部」は、１以上のストレージデバイスであり、典型的には補助記憶デバイスでよい。「ストレージデバイス」は、物理的な記憶デバイスを意味し、典型的には、不揮発性の記憶デバイス、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。

また、以下の説明において、「記憶部」は、メモリ部及びストレージデバイス部のうちの少なくとも１つ（典型的には少なくともメモリ部）である。

また、以下の説明において、「プロセッサ部」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。

また、以下の説明では、「ｘｘｘテーブル」といった表現によって情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜にメモリ部及び／又はインターフェース部等を用いながら行うため、処理の主語が、プロセッサ部（あるいは、そのプロセッサ部を有するコントローラのようなデバイス）とされてもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体であってもよい。また、以下の説明において、２以上のプログラムが１のプログラムとして実現されてもよいし、１のプログラムが２以上のプログラムとして実現されてもよい。

また、以下の説明において、「ボリューム」は、論理ボリュームの略であり、論理的な記憶デバイスでよい。ボリュームは、実体的なボリューム（実体ボリューム）であってもよいし、仮想的なボリューム（仮想ボリューム）であってもよい。「実体ボリューム」は、その実体ボリュームを提供するストレージシステムが有する物理的な記憶資源（例えば、１以上のＲＡＩＤグループ）に基づくボリュームでよい。「仮想ボリューム」は、容量拡張ボリュームと、スナップショットボリュームとのうちの何れでもよい。容量拡張ボリュームは、複数の仮想領域（仮想的な記憶領域）で構成されており容量仮想化技術（典型的にはThin Provisioning）に従うボリュームでよい。スナップショットボリュームは、オリジナルのボリュームのスナップショットとして提供されるボリュームでよい。スナップショットは、実体ボリュームであってもよい。典型的には、スナップショットボリュームは、オリジナルのボリュームをプライマリボリュームとしてセカンダリのボリュームに位置づけられる。「ストレージプール（単にプールとも称する）」は、論理的な記憶領域（例えば複数のプールボリュームの集合）であり、用途ごとに用意されてよい。例えば、プールとして、容量拡張プールと、スナップショットプールとのうちの少なくとも１種類があってよい。スナップショットプールは、プライマリボリュームから退避されたデータが格納される記憶領域でよい。１つのプールが、容量拡張プールとしてもスナップショットプールとしても使用されてもよい。「プールボリューム」は、プールの構成要素となるボリュームでよい。プールボリュームは、実体ボリュームであってもよい。

また、以下の説明において、「ホストシステム」は、物理的又は仮想的な１以上のホスト計算機である。

また、以下の説明において、「ストレージクラスタ（単にクラスタとも称する）」は、ホストシステムに認識される一のストレージ装置に相当し、実体は、ストレージシステムに相当する。「ストレージシステム」は、１以上の物理的なストレージ装置を含む。「ストレージ装置」は、記憶部を有する装置であればよく、汎用的な計算機であってもよい。少なくとも１つの物理的なストレージ装置が、仮想的な計算機（例えばＶＭ（Virtual Machine））を実行してもよいし、ＳＤｘ（Software-Defined anything）を実行してもよい。ＳＤｘとしては、例えば、ＳＤＳ（Software Defined
Storage）（仮想的なストレージ装置の一例）又はＳＤＤＣ（Software-Defined Data Center）を採用することができる。例えば、同一のストレージ装置において、ホストシステムとしての仮想的な計算機と、ホストシステムから入出力（Ｉ／Ｏ）要求を受信して処理するストレージ装置（ストレージコントローラ）としての仮想的な計算機とが実行されてもよい。また、ストレージシステムは、冗長構成グループを有してよい。冗長構成の例としては、Erasure Coding、ＲＡＩＮ（Redundant Array of Independent Nodes）及びノード間ミラーリングのように複数のノードでの構成であってもよいし、ストレージデバイス部で構成される１以上のＲＡＩＤ（Redundant Array of Independent (or Inexpensive) Disks）グループのように単一のノード内での構成でもよい。

以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。

（１）第１の実施形態
（１－１）構成と概要
図１は、本発明の第１の実施形態に係るストレージシステムの構成例を示す図である。第１の実施形態に係るストレージシステム１００は、１以上の管理ノード１０１と、１以上の通常ノード１０２及び／又は下位ノード１０３と、を備えて構成されるストレージシステムであって、例えばスケールアウト型ストレージシステムのような分散ストレージシステムであってよい。管理ノード１０１、通常ノード１０２、及び下位ノード１０３は、何れもストレージデバイス２１５を有するストレージノード（単にノードとも称する）であり、ストレージシステム１００における役割（属性）によって分類される。以下の説明では、ストレージシステム１００は、図１に示したように、単一の管理ノード１０１と１以上の通常ノード１０２又は下位ノード１０３とを備えるものとする。

本実施形態に係るストレージシステム１００では、コンピュータプログラムがコンピュータに下記の処理Ａ、処理Ｂ、及び処理Ｃを実行させることができる。ここで言う「コンピュータ」は、何れかの管理ノード１０１であってもよいし、ストレージシステム１００に接続された計算機（例えば、管理計算機やホスト計算機）であってもよい。例えば、「コンピュータ」を何れかの管理ノード１０１とし、処理Ａを実行させるコンピュータプログラムをクラスタ構成管理プログラム１１１としてもよい。

［処理Ａ］ ホストシステム（以下、ホスト）に対して「一のストレージ装置」として認識されるストレージクラスタとしてのストレージシステム１００において、ストレージノード（ノード）をストレージクラスタ（クラスタ）に追加する場合に、ユーザに指定された当該ノードの属性情報に基づいて、当該ノードで起動するプログラムを切り替える。ノードに指定する属性は、少なくとも上位／下位の分類が可能とする。本実施形態では、「上位」をさらに「管理」と「通常」とに分類している。
［処理Ｂ］ ホストから入出力（Ｉ／Ｏ）のうちライト指示を受領した場合に、ノードに跨って冗長化され、かつノードの属性に応じて階層が決定される格納領域のうち、上位の階層（高階層）の格納領域に、上記ライト指示に応じたデータの格納を行う。
［処理Ｃ］ 格納領域に対する一定時間内のＩ／Ｏの回数を確認し、階層ごとに定められたＩ／Ｏの適性条件を満たしていない格納領域を、適性条件を満たす階層に移動させる。

本実施形態に係るストレージシステム１００では、上記の処理Ａが実行されることにより、ユーザに下位の属性が指定されたノード（下位ノード１０３）においては、上位の属性を有するノード（例えば通常ノード１０２）よりも起動するプログラムが少なくなるため、当該ノード（下位ノード１０３）に求められるＣＰＵ及びメモリ量を削減することができる。

また、本実施形態に係るストレージシステム１００では、上記の処理Ｂ及び処理Ｃが実行されることにより、下位の属性が指定されたノード（下位ノード１０３）が有する物理領域（ストレージデバイス２１５）から構成される格納領域について、一定時間あたりに処理できる入出力の量であるスループットが低い場合でも、クラスタ内のうち必要とされる入出力の量が少ない領域のデータを格納するため、クラスタ全体において、ホストから要求されるスループットを下げることなくデータを格納することができる。

また、本実施形態に係るストレージシステム１００では、上記の処理Ａ、処理Ｂ及び処理Ｃが実行されることにより、クラスタに大きな容量が必要な場合において、容量増加のために追加するノードに下位の属性を指定することによって、スループットの低下を抑えつつ、当該ノードに求められるＣＰＵ及びメモリ量を削減することができるため、スループットは低いが比較的安価な物理ディスク（ＨＤＤ等）を、追加ノードに使用することができる。

図１を参照しながらストレージシステム１００の説明を続ける。

管理ノード１０１は、ストレージシステム１００において管理を担うノードであって、ホスト２０１（図２参照）に対してビュー１０４を提供する。図１に示したように、ビュー１０４には、ホスト２０１に対して提供されるボリューム１０５と、ボリューム１０５が所属する格納領域であって、実際に使用した容量と割り当て可能な容量の情報を提供するストレージプール（プール）１０６が表示される。ボリューム１０５へのＩ／Ｏは、実際にはストレージプール１０６内の一部領域である格納領域１０７に対して行われる（符号１３１）。この格納領域１０７は、バックエンド（ＢＥ）Ｉ／Ｏ処理プログラム１１５によって複数のノード（ストレージデバイス２１５）に冗長化されている。これにより、仮想ボリュームが実現されている。

図１には、ストレージシステム１００の各ノード１０１～１０３で起動するプログラムの一部が示され、処理の流れに符号１３２～１３６が付されている。なお、図１では、スペースの都合上、「プログラム」という語句を省略して記載している。各ノード１０１～１０３で起動されるプログラムの全容については、図３～図５を参照しながら後述する。また、図１のクラスタ構成管理テーブル１２１は、テーブルの一部しか示しておらず、全体構成については、図６を参照しながら後述する。

図１に示すストレージシステム１００の構成を用いると、上述した処理Ａ，処理Ｂ，処理Ｃは次のように説明される。

まず、処理Ａについて、ストレージシステム１００にノードが追加される場合には、ユーザ（ホスト２０１）からノードの属性を引数としたノード追加が指示され、管理ノード１０１のクラスタ構成管理プログラム１１１がこれを受領する。クラスタ構成管理プログラム１１１は、ノード追加の指示を受領すると、クラスタ構成管理テーブル１２１を参照し、上記属性に応じたプログラムの起動を各ノードのノード管理プログラム１１２に指示する（符号１３２）。そして、プログラムの起動指示を受けたノード管理プログラム１１２が、自ノード内でフロントエンド（ＦＥ）Ｉ／Ｏ処理プログラム１１３、階層制御プログラム１１４、及びバックエンド（ＢＥ）Ｉ／Ｏ処理プログラム１１５といったプログラムをメモリ上に展開、起動する（符号１３３）。

次に、処理Ｂについて、ホスト２０１からストレージシステム１００にＩ／Ｏ処理が要求される場合は、次のように処理が行われる。ホスト２０１からＩ／Ｏ処理を受け付けられるのは、フロントエンドＩ／Ｏ処理プログラム１１３が存在する（起動する）管理ノード１０１または通常ノード１０２に限られる。ホスト２０１からボリューム１０５に対してデータの格納を指示するＩ／Ｏ処理（ライト指示）が要求された場合、フロントエンドＩ／Ｏ処理プログラム１１３が、格納領域１０７のＩＤを指定して、バックエンドＩ／Ｏ処理プログラム１１５に対してデータの格納処理を指示する（符号１３４）。その後、バックエンドＩ／Ｏ処理プログラム１１５が、データの冗長化のために、ノードを跨いで複数のストレージデバイス２１５に対して、データの格納処理を実施する（符号１３５）。

ストレージシステム１００は、処理Ａ及び処理Ｂを実行可能に構成されることで、Ｉ／Ｏ処理に必要な処理を機能によって複数の処理（フロントエンドＩ／Ｏ処理とバックエンドＩ／Ｏ処理）に分割し、下位の属性を有する下位ノード１０３がフロントエンドＩ／Ｏ処理を実行しないようにできる。したがって、下位ノード１０３では、管理ノード１０１や通常ノード１０２に比べて、起動するプログラム数が少なくて済み、さらに、プログラムの実行時に必要なテーブル等のデータ量も少なくなるため、必要なＣＰＵ及びメモリ量を削減することができる。

次に、処理Ｃについては、次のように説明できる。ストレージシステム１００では、階層制御プログラム１１４が、ストレージプール１０６を構成する格納領域１０７ごとに、複数の階層を設ける。本実施形態では、一例として、複数の階層として「高階層」と「低階層」を設ける。また、それぞれの階層には適性条件が設定される。具体的には例えば、「一定時間内に１００以上のＩ／Ｏを受ける」ことを高階層の適性条件とし、「一定時間内に１００未満のＩ／Ｏを受ける」ことを低階層の適性条件とする。そして、階層制御プログラム１１４が、上記の階層の適性条件が満たされているかを定期的に確認し、適性条件を満たしていない格納領域１０７については、ボリューム１０５に割り当てられているデータを別の階層にコピーする（符号１３６）。

ストレージシステム１００は、処理Ｃを実行可能に構成されることで、例えばＨＤＤといった低機能のストレージデバイスを有するノードを下位ノード１０３とし、下位ノード１０３のストレージデバイス２１５から作成される格納領域１０７を「低階層」に置く場合に、低機能のストレージデバイスを使用した場合のストレージシステムとしての性能低下を抑制することができる。

なお、上記の処理Ａはノード追加処理（図１１を参照）に相当し、処理ＢはＩ／Ｏ処理（図１４等を参照）に相当し、処理Ｃは階層制御処理（図１９等を参照）に相当する。

図２は、図１に示したストレージシステムのハードウェア構成例を示す図である。図２には、ストレージシステム１００とネットワークを介して接続されるホスト２０１を含めて、システムのハードウェア構成が例示されている。

図２に示すように、ストレージシステム１００は、ネットワークに接続された複数のノード１０１～１０３を含んで構成され、さらに、ホスト２０１とも接続されている。図２には、ストレージシステム１００が接続されるネットワークとして、ＬＡＮ（Local Area Network）２２１、ＳＡＮ（Storage Area Network）２２２、及びＬＡＮ２２３が示されている。このうち、ＬＡＮ２２１及びＳＡＮ２２２は、フロントエンドのネットワークの一例であって、ホスト２０１、ストレージシステム１００の管理ノード１０１、ストレージシステム１００の通常ノード１０２の間を相互に接続する。また、ＬＡＮ２２３は、バックエンドのネットワークの一例であって、ストレージシステム１００を構成する複数のノード（すなわち、管理ノード１０１、通常ノード１０２、及び下位ノード１０３）の間を相互に接続する。なお、図２では、ホスト２０１、管理ノード１０１、通常ノード１０２、及び下位ノード１０３はそれぞれ１つしか示されていないが、実際には何れも複数構成とすることができる。

ホスト２０１は例えばサーバであって、１以上のホスト２０１の各々がフロントエンドのネットワーク（ＬＡＮ２２１，ＳＡＮ２２２）に接続される。ホスト２０１は、ユーザからの入力操作を受け付けてストレージシステム１００にＩ／Ｏを要求したり、ストレージシステム１００からの応答通知を受領したりする。例えば、ホスト２０１は、フロントエンドのネットワークを介して、ボリューム１０５に属するアドレスを指定したＩ／Ｏ要求をストレージシステム１００に発行する。これに対してストレージシステム１００は、ホスト２０１からのＩ／Ｏ要求に基づいて、ボリューム１０５に対するＩ／Ｏ処理を行う。

ストレージシステム１００の各ノード１０１～１０３は、メモリ２１２、ＳＡＮポート２１３、ＬＡＮポート２１４，２１６、及びストレージデバイス２１５と、これらに接続されたＣＰＵ２１１とを有する。ＣＰＵ２１１はプロセッサ部の一例であり、メモリ２１２はメモリ部の一例である。また、ストレージデバイス２１５はストレージデバイス部の一例である。また、ＳＡＮポート２１３及びＬＡＮポート２１４，２１６はインターフェース部の一例である。

なお、図２の場合、下位ノード１０３は、ＳＡＮポート２１３及びＬＡＮポート２１４を有していない。本実施形態のストレージシステム１００では、管理ノード１０１及び通常ノード１０２は、フロントエンドのＩ／Ｏ処理を実行するために、ホスト２０１との通信用インターフェースであるＳＡＮポート２１３やＬＡＮポート２１４が必要であるのに対し、下位ノード１０３は、フロントエンドのＩ／Ｏ処理を実行しないため、ＳＡＮポート２１３やＬＡＮポート２１４は必ずしも必要ではない。言い換えれば、下位ノード１０３は、バックエンドのＩ／Ｏ処理を実行するために、少なくとも、ストレージシステム１００内の各ノード１０１～１０３との通信用インターフェースであるＬＡＮポート２１６を有していればよい。

（１－２）プログラムとテーブル
本実施形態に係るストレージシステム１００で用いられるコンピュータプログラム及びテーブルについて詳しく説明する。

図３は、管理ノードで実行されるコンピュータプログラムの一例を示す図である。図３に示したコンピュータプログラムは、管理ノード１０１のメモリ２１２に格納されており、管理ノード１０１のＣＰＵ２１１が各コンピュータプログラムを読み出して実行することにより、各コンピュータプログラムに基づく処理が実行される。また、図３には、管理ノード１０１のメモリ２１２に保持されるテーブルの一例も示されている。管理ノード１０１のＣＰＵ２１１は、上記のコンピュータプログラムを実行する際に、これらのテーブルを参照あるいは更新する。

図３に示したように、管理ノード１０１のメモリ２１２は、クラスタ構成管理プログラム１１１、ノード管理プログラム１１２、フロントエンド（ＦＥ）Ｉ／Ｏ処理プログラム１１３、階層制御プログラム１１４、バックエンド（ＢＥ）Ｉ／Ｏ処理プログラム１１５、ストレージデバイス管理プログラム１１６、格納領域管理プログラム１１７、格納領域作成・削除プログラム１１８、ボリューム管理プログラム１１９、及びプール管理プログラム１２０を格納する。

クラスタ構成管理プログラム１１１は、ユーザまたはプログラムからの指示を受領し、クラスタ内の何れかのノードのプログラムに対して、構成変更指示を発行するプログラムである。

ノード管理プログラム１１２は、指示されたプログラム及びテーブルをメモリ２１２上に展開し、起動するプログラムである。

フロントエンドＩ／Ｏ処理プログラム１１３は、Ｉ／Ｏ処理のうち、ホスト２０１（ユーザ）とのやり取りを含むフロントエンドのＩ／Ｏ処理を実行するプログラムである。フロントエンドＩ／Ｏ処理プログラム１１３は、ホスト２０１からボリューム１０５に対するＩ／Ｏ要求を受領し、データの格納先となる格納領域１０７を決定し、バックエンドＩ／Ｏ処理プログラム１１５に格納指示を発行し、その完了をもってホスト２０１に完了応答を返す。

階層制御プログラム１１４は、格納領域１０７の階層に関する制御を行うプログラムであって、データが適性条件に合わない階層の格納領域１０７に格納されている場合に、適性条件に合う階層の格納領域１０７に当該データを移動させることができる。

バックエンドＩ／Ｏ処理プログラム１１５は、Ｉ／Ｏ処理のうち、ノード間でやり取りを行うバックエンドのＩ／Ｏ処理を実行するプログラムであって、フロントエンドの入力データや指示を基に、処理を実行する。例えば、バックエンドＩ／Ｏ処理プログラム１１５は、フロントエンドＩ／Ｏ処理プログラム１１３からの格納指示を受領すると、データの格納先（格納領域１０７）を有するノードに、データの転送とストレージデバイス２１５に対する書込み指示を行う。

ストレージデバイス管理プログラム１１６は、ストレージデバイス２１５に対するＩ／Ｏ要求を処理するプログラムである。

格納領域管理プログラム１１７は、受領した指示に基づいて、ノード内の格納領域管理テーブル１２４を更新するプログラムである。

格納領域作成・削除プログラム１１８は、格納領域１０７とその格納先の実体であるストレージデバイス２１５のアドレスとの対応関係を決定し、関係するノードの格納領域管理プログラム１１７に対して格納領域管理テーブル１２４の更新を指示するプログラムである。

ボリューム管理プログラム１１９は、ボリューム１０５を作成するためのプログラムである。

プール管理プログラム１２０は、クラスタ内の容量に関する情報を収集し、ユーザに表示するプログラムである。

また、図３に示したように、管理ノード１０１のメモリ２１２は、クラスタ構成管理テーブル１２１、プール管理テーブル１２２、ボリューム管理テーブル１２３、格納領域管理テーブル１２４、及びストレージデバイス管理テーブル１２５を格納する。管理ノード１０１においては、ストレージデバイス管理テーブル１２５は、クラスタ内に存在する全てのストレージデバイス２１５に関する情報を保持し、ボリューム管理テーブル１２３は、クラスタ内に存在する全てのボリューム１０５に関する情報を保持し、格納領域管理テーブル１２４は、クラスタ内に存在する全ての格納領域１０７に関する情報を保持する。また、プール管理テーブル１２２は、クラスタ内の全てのプール１０６について、対応するボリューム１０５とその容量情報（使用済み容量、未使用容量）との関係を示す情報を保持する。プール管理テーブル１２２が保持している情報は、ユーザに対して表示される。各テーブルの構成例は、図６～図１０に後述される。

図４は、通常ノードで実行されるコンピュータプログラムの一例を示す図である。図４に示したコンピュータプログラムは、通常ノード１０２のメモリ２１２に格納されており、通常ノード１０２のＣＰＵ２１１が各コンピュータプログラムを読み出して実行することにより、各コンピュータプログラムに基づく処理が実行される。また、図４には、通常ノード１０２のメモリ２１２に保持されるテーブルの一例も示されている。通常ノード１０２のＣＰＵ２１１は、上記のコンピュータプログラムを実行する際に、これらのテーブルを参照あるいは更新する。

図４に示したように、通常ノード１０２のメモリ２１２は、ノード管理プログラム１１２、フロントエンド（ＦＥ）Ｉ／Ｏ処理プログラム１１３、階層制御プログラム１１４、バックエンド（ＢＥ）Ｉ／Ｏ処理プログラム１１５、ストレージデバイス管理プログラム１１６、格納領域管理プログラム１１７、及びボリューム管理プログラム１１９を格納する。各プログラムの説明は、図３と同様のため省略する。

また、図４に示したように、通常ノード１０２のメモリ２１２は、ボリューム管理テーブル１２３、格納領域管理テーブル１２４、及びストレージデバイス管理テーブル１２５を格納する。通常ノード１０２においては、ボリューム管理テーブル１２３及びストレージデバイス管理テーブル１２５は、自ノードが有するボリューム１０５及びストレージデバイス２１５のみに関する情報をレコードとして記憶する。また、格納領域管理テーブル１２４は、自ノードが有するストレージデバイス２１５が格納先となっている格納領域１０７に関する情報と、自ノードが有するボリューム１０５に対して割り当てられている格納領域１０７に関する情報とを保持していればよい。

図５は、下位ノードで実行されるコンピュータプログラムの一例を示す図である。図５に示したコンピュータプログラムは、下位ノード１０３のメモリ２１２に格納されており、下位ノード１０３のＣＰＵ２１１が各コンピュータプログラムを読み出して実行することにより、各コンピュータプログラムに基づく処理が実行される。また、図５には、下位ノード１０３のメモリ２１２に保持されるテーブルの一例も示されている。下位ノード１０３のＣＰＵ２１１は、上記のコンピュータプログラムを実行する際に、これらのテーブルを参照あるいは更新する。

図５に示したように、下位ノード１０３のメモリ２１２は、ノード管理プログラム１１２、バックエンド（ＢＥ）Ｉ／Ｏ処理プログラム１１５、ストレージデバイス管理プログラム１１６、及び格納領域管理プログラム１１７を格納する。各プログラムの説明は、図３と同様のため省略する。

また、図５に示したように、下位ノード１０３のメモリ２１２は、格納領域管理テーブル１２４及びストレージデバイス管理テーブル１２５を格納する。下位ノード１０３においては、格納領域管理テーブル１２４及びストレージデバイス管理テーブル１２５は、自ノードが有するストレージデバイス２１５及びストレージデバイス２１５が格納先となっている格納領域１０７のみに関する情報をレコードとして保持すればよい。

図６は、クラスタ構成管理テーブルの構成例を示す図である。クラスタ構成管理テーブル１２１は、管理ノード１０１において保持され（図３参照）、ストレージシステム１００が備えるノードごとにレコードを有する。

図６に例示したように、クラスタ構成管理テーブル１２１の各レコードは、ノードＩＤ１２１１、属性１２１２、及び起動プログラム１２１３といった情報を格納する。

ノードＩＤ１２１１は、ストレージシステム１００内で各ノード（ストレージノード１０１～１０３）を一意に識別可能な識別子（ＩＤ）を示す。属性１２１２は、各ノードに紐付く属性を示し、この属性はノード追加時にユーザによって指定することができる。

図６のクラスタ構成管理テーブル１２１は、図１に例示したストレージシステム１００に基づく一例である。具体的には、管理ノード１０１は、ノードＩＤ「１」で「管理」の属性が紐付けられ、通常ノード１０２は、ノードＩＤ「２」で「通常」の属性が紐付けられ、２つの下位ノード１０３は、それぞれノードＩＤが「３」、「４」で「下位」の属性が紐付けられている。そして、起動プログラム１２１３には、各ノードで起動されるプログラムの詳細として、図３～図５に対応するコンピュータプログラムが示されている。なお、本例では、管理ノード１０１の属性を「管理」とし、通常ノード１０２の属性を「通常」として、両者の属性を区別しているが、本実施形態はこれに限定されるものではなく、例えば、管理ノード１０１と通常ノード１０２の属性を区別せずに「上位」とする等してもよい。

なお、本実施形態では、プログラム起動時に関連するテーブルをメモリ２１２上に用意しているため（図３～図５参照）、起動プログラム１２１３にはプログラムだけが記載されているが、例えばプログラムとテーブルの展開が別々に行われるような構成の場合には、起動プログラム１２１３にテーブルが追加記載されるようにしてもよい。

図７は、プール管理テーブルの構成例を示す図である。プール管理テーブル１２２は、管理ノード１０１において保持され（図３参照）、ストレージシステム１００が有するプール１０６ごとに、レコードを有する。

図７に例示したように、プール管理テーブル１２２の各レコードは、プールＩＤ１２２１、所属ボリュームＩＤ１２２２、高階層使用済み容量１２２３、高階層未使用容量１２２４、低階層使用済み容量１２２５、及び低階層未使用容量１２２６といった情報を格納する。

プールＩＤ１２２１は、ストレージシステム１００内でプール１０６を一意に識別可能な識別子（ＩＤ）を示す。所属ボリュームＩＤ１２２２は、当該レコードのプール１０６に所属するボリューム１０５のＩＤのリストを示す。高階層使用済み容量１２２３は、当該レコードのプール１０６に所属する全てのボリューム１０５のうち、高階層のプールで実際に使用されている容量を示す。高階層未使用容量１２２４は、当該レコードのプール１０６に所属する全てのボリューム１０５のうち、高階層のプールにおける未使用領域の容量を示す。低階層使用済み容量１２２５は、当該レコードのプール１０６に所属する全てのボリューム１０５のうち、低階層のプールで実際に使用されている容量を示す。低階層未使用容量１２２６は、当該レコードのプール１０６に所属する全てのボリューム１０５のうち、低階層のプールにおける未使用領域の容量を示す。

図７のプール管理テーブル１２２は、図１に例示したストレージシステム１００に基づく一例である。具体的には、ストレージシステム１００においてストレージプール１０６が１つ存在し、このストレージプール１０６に対してボリューム１０５が２つ存在し、３つの格納領域１０７が割り当て済みである構成について例示している。なお、図７の場合は、容量をブロック単位で表しているが、本実施形態はこれに限定されるものではなく、「Ｂｙｔｅ」等のブロック以外の単位を用いてもよい。

図８は、ボリューム管理テーブルの構成例を示す図である。ボリューム管理テーブル１２３は、管理ノード１０１及び通常ノード１０２に保持される（図３，図４参照）。管理ノード１０１におけるボリューム管理テーブル１２３は、ストレージシステム１００が有する全てのボリューム１０５に対して割り当てられている格納領域１０７ごとに、レコードを有する。また、通常ノード１０２におけるボリューム管理テーブル１２３は、当該通常ノード１０２に作成されているボリューム１０５に対して割り当てられている格納領域１０７ごとに、レコードを有する。図８では、一例として、図１に例示した管理ノード１０１に保持されるボリューム管理テーブル１２３の具体値を示している。

図８に例示したように、ボリューム管理テーブル１２３の各レコードは、ボリュームＩＤ１２３１、アドレス１２３２、格納領域ＩＤ１２３３、階層１２３４、及びＩ／Ｏカウンタ１２３５といった情報を格納する。

ボリュームＩＤ１２３１は、ストレージシステム１００内でボリューム１０５を一意に識別可能な識別子（ＩＤ）を示し、図７の所属ボリュームＩＤ１２２２と同じＩＤが用いられる。アドレス１２３２は、当該レコードのボリューム１０５が有するアドレスを示す。格納領域ＩＤ１２３３は、当該レコードのボリューム１０５のアドレス１２３２に対して割り当てられる、ストレージシステム１００内で一意な記憶領域の識別子（ＩＤ）を示す。階層１２３４は、当該レコードの格納領域ＩＤ１２３３が示す記憶領域が属する階層を示す。本例では、高階層と低階層の２種類の階層が用意されている。Ｉ／Ｏカウンタ１２３５は、前回の階層制御処理（後述する図１９参照）が実行されてから、当該レコードの格納領域ＩＤ１２３３が示す記憶領域に対して発行されたＩ／Ｏ数を示す。

なお、図８では管理ノード１０１に保持されるボリューム管理テーブル１２３を例示したが、通常ノード１０２や下位ノード１０３に保持されるボリューム管理テーブル１２３の場合は、管理ノード１０１の場合と同様としてもよいし、よりデータ量を減らしてもよい。通常ノード１０２や下位ノード１０３に保持されるボリューム管理テーブル１２３のデータ量を減らす場合には、少なくとも、自エントリに関する情報を保持するようにすればよい。

図９は、格納領域管理テーブルの構成例を示す図である。格納領域管理テーブル１２４は、管理ノード１０１、通常ノード１０２、及び下位ノード１０３でそれぞれ保持される（図３～図５参照）。管理ノード１０１における格納領域管理テーブル１２４は、ストレージシステム１００が有する格納領域１０７ごとにレコードを有する。また、通常ノード１０２及び下位ノード１０３における格納領域管理テーブル１２４は、自ノードのストレージデバイス２１５が格納先となっている格納領域１０７ごとに、レコードを有する。図９では、一例として、図１に例示した管理ノード１０１に保持される格納領域管理テーブル１２４の具体値を示している。

図９に例示したように、格納領域管理テーブル１２４の各レコードは、格納領域ＩＤ１２４１、階層１２４２、プライマリノードＩＤ１２４３、プライマリドライブＩＤ１２４４、プライマリアドレス１２４５、セカンダリノードＩＤ１２４６、セカンダリドライブＩＤ１２４７、及びセカンダリアドレス１２４８といった情報を格納する。

格納領域ＩＤ１２４１は、ストレージシステム１００内で格納領域１０７を一意に識別可能な識別子（ＩＤ）を示し、図８の格納領域ＩＤ１２３３と同じＩＤが用いられる。階層１２４２は、当該レコードの格納領域１０７が属する階層を示し、図８の階層１２３４と同じ値が用いられる。プライマリノードＩＤ１２４３は、当該レコードの格納領域１０７に対して処理の主権を持ち、正常系として扱われる「プライマリ」のノードのＩＤを示す。プライマリノードＩＤ１２４３及びセカンダリノードＩＤ１２４６に用いられるＩＤは、図６のノードＩＤ１２１１に用いられるＩＤと同じである。プライマリドライブＩＤ１２４４は、当該レコードの格納領域１０７にＩ／Ｏが発行された場合に実際に格納される、プライマリのストレージデバイス２１５のＩＤを示す。プライマリアドレス１２４５は、当該レコードの格納領域１０７にＩ／Ｏが発行された場合に実際に格納される、プライマリ側の格納先アドレスを示す。セカンダリノードＩＤ１２４６は、当該レコードの格納領域１０７に対して冗長化先として処理を依頼される「セカンダリ」のノードのＩＤを示す。セカンダリドライブＩＤ１２４７は、当該レコードの格納領域１０７にＩ／Ｏが発行された場合に実際に格納される冗長化先のストレージデバイス２１５のＩＤを示す。セカンダリアドレス１２４８は、当該レコードの格納領域１０７にＩ／Ｏが発行された場合に実際に格納される、冗長化先のアドレスを示す。

図１０は、ストレージデバイス管理テーブルの構成例を示す図である。ストレージデバイス管理テーブル１２５は、管理ノード１０１、通常ノード１０２、及び下位ノード１０３でそれぞれ保持される（図３～図５参照）。管理ノード１０１におけるストレージデバイス管理テーブル１２５は、ストレージシステム１００が有する全てのストレージデバイス２１５の一定領域（１つの格納領域１０７と同じ容量）ごとにレコードを有する。また、通常ノード１０２及び下位ノード１０３におけるストレージデバイス管理テーブル１２５は、自ノードが有する全てのストレージデバイス２１５の一定領域（１つの格納領域１０７と同じ容量）ごとにレコードを有する。図１０では、一例として、図１に例示した管理ノード１０１に保持されるストレージデバイス管理テーブル１２５の具体値を示している。

図１０に例示したように、ストレージデバイス管理テーブル１２５の各レコードは、ノードＩＤ１２５１、ドライブＩＤ１２５２、アドレス１２５３、及び状態１２５４といった情報を格納する。

ノードＩＤ１２５１は、ストレージシステム１００内でノードを一意に識別可能な識別子（ＩＤ）を示し、図６のノードＩＤ１２１１と同じＩＤが用いられる。ドライブＩＤ１２５２は、当該レコードのノードＩＤ１２５１で示されるノードにおいて一意なストレージデバイス２１５のＩＤを示す。なお、ドライブＩＤ１２５２で用いるＩＤには、ストレージシステム１００内で一意なＩＤを割り当ててもよい。アドレス１２５３は、当該レコードのドライブＩＤ１２５２で示されるストレージデバイス２１５において一定領域（１つの格納領域１０７と同じ容量）に分割されたアドレスを示す。状態１２５４は、当該レコードのアドレス１２５３で示された記憶領域について、格納領域１０７としての使用状態（使用中／未使用）を示す。

（１－３）処理
本実施形態に係るストレージシステム１００で実行される各種処理について詳しく説明する。

図１１は、ノード追加処理の処理手順例を示す図である。図１１に示すノード追加処理は、ストレージシステム１００にノードを追加する際に実行される処理であって、ノード追加指示を受けて開始される。ノード追加指示は、追加するノード（追加ノード）を指定し、また、当該ノードの属性を引数に持つ。ノードの属性は例えばユーザによって指定される。

図１１によれば、まず、管理ノード１０１のクラスタ構成管理プログラム１１１は、追加ノードの属性を引数としたノード追加指示を受領した場合に（ステップＳ１１０１）、自ノードに格納されているクラスタ構成管理テーブル１２１に対して、追加ノードに関する新規のレコードを追加する（ステップＳ１１０２）。例えば、ノード１０３を追加するノード追加指示において属性が「下位」と指定された場合、クラスタ構成管理プログラム１１１は、クラスタ構成管理テーブル１２１の新規レコードにおいて、ノードＩＤ１２１１にノード１０３のＩＤを追加し、属性１２１２に「下位」を追加し、起動プログラム１２１３に、ノード管理プログラム１１２の情報を追加する（図６参照）。このとき起動プログラム１２１３に情報が追加されるプログラム（本例ではノード管理プログラム１１２）は、属性１２１２に応じて予め決められている。

その後、管理ノード１０１のクラスタ構成管理プログラム１１１は、ストレージシステム１００に追加されたノードのノード管理プログラム１１２に対して、他のプログラムの起動を指示する（ステップＳ１１０３）。

ここで、追加ノード（例えば下位ノード１０３）では、初期の状態として、ノード内で他のプログラムを起動するためのノード管理プログラム１１２のみが存在する（起動している）。この状態において、追加ノードのノード管理プログラム１１２は、ステップＳ１１０３による管理ノード１０１のクラスタ構成管理プログラム１１１からのプログラム起動の指示を受領すると（ステップＳ１１０４）、引数として指定された他のプログラムを起動する（ステップＳ１１０５）。

なお、ステップＳ１１０５において追加ノードのノード管理プログラム１１２は、自ノードが保持する全てのプログラムではなく（例えば、下位ノード１０３でも、メモリ２１２に通常ノード１０２と同様の複数のプログラムを保持している）、ステップＳ１１０３の指示で指定されたプログラムのみを起動し、当該プログラムが必要とするテーブルのみ、メモリ２１２の領域を確保する。具体的には例えば、下位ノード１０３では、ステップＳ１１０５の処理によって、バックエンドＩ／Ｏ処理プログラム１１５、ストレージデバイス管理プログラム１１６、及び格納領域管理プログラム１１７を起動し、ストレージデバイス管理プログラム１１６に関連するストレージデバイス管理テーブル１２５と格納領域管理プログラム１１７に関連する格納領域管理テーブル１２４とを、メモリ２１２上に展開する。本実施形態ではこのように「下位」の属性が指定されて追加されたノードにおいては、管理ノード１０１や通常ノード１０２よりも起動するプログラム及び当該プログラムに関連するテーブルのために確保されるメモリ２１２の領域が少なくて済むため、管理ノード１０１や通常ノード１０２と比較して、必要なＣＰＵ２１１及びメモリ２１２の量を削減することができる。

ステップＳ１１０５におけるプログラムの起動及び展開が完了した後、追加ノードのノード管理プログラム１１２は、管理ノード１０１のクラスタ構成管理プログラム１１１に対して、完了応答を通知する（ステップＳ１１０６）。

次に、管理ノード１０１のクラスタ構成管理プログラム１１１は、追加ノードからのプログラム起動指示の完了応答を受領する（ステップＳ１１０７）。プログラム起動指示の完了応答を受領したことにより、管理ノード１０１のクラスタ構成管理プログラム１１１は、追加ノードにおいて必要なプログラムが起動し、追加ノードは指定された属性に応じた機能を実行できる状態になったと判断し、ユーザにノード追加完了を応答し（ステップＳ１１０８）、ノード追加処理を終了する。

図１２は、ストレージデバイス追加処理の処理手順例を示す図である。図１２に示すストレージデバイス追加処理は、管理テーブル（ストレージデバイス管理テーブル１２５）に登録されていない未登録のストレージデバイス２１５がないか確認し、未登録のストレージデバイス２１５が有った場合には所定の対応を行う処理であって、各ノードで定期的（例えば１０秒ごと）に実行される。

図１２によれば、まず、各ノード（例えば、最も機能が少ない下位ノード１０３とする）において、ストレージデバイス管理プログラム１１６が、自ノード内のストレージデバイス２１５を発見し、当該ストレージデバイス２１５の情報とストレージデバイス管理テーブル１２５に登録されている情報とを比較する（ステップＳ１２０１）。

次に、ストレージデバイス管理プログラム１１６は、ステップＳ１２０１で比較したストレージデバイス２１５がストレージデバイス管理テーブル１２５に未登録であるか否かを判定し（ステップＳ１２０２）、未登録であった場合はステップＳ１２０３に進む。一方、ステップＳ１２０２において未登録のストレージデバイス２１５が存在しない場合は（ステップＳ１２０２のＮＯ）、ストレージデバイス追加処理を終了する。

ステップＳ１２０３では、ストレージデバイス管理プログラム１１６は、未登録のストレージデバイス２１５の情報をストレージデバイス管理テーブル１２５に追加する。具体的には、未登録のストレージデバイス２１５について、ノードＩＤ１２５１及びドライブＩＤ１２５２に相当する一意なＩＤとともに、そのアドレスを一定領域（１つの格納領域１０７と同じ容量）の間隔で区切り、区切られた数と同数の新規レコードを作成してアドレス１２５３を登録し、各レコードの状態１２５４を「未使用」と登録する。

次に、ストレージデバイス管理プログラム１１６は、ステップＳ１２０３でストレージデバイス管理テーブル１２５に追加した新規レコードの数を引数として、管理ノード１０１で動作するプール管理プログラム１２０に対して、空き容量更新指示を発行する（ステップＳ１２０４）。

管理ノード１０１のプール管理プログラム１２０は、空き容量更新指示を受領すると（ステップＳ１２０５）、引数として受領したレコードの数からブロック数を換算し、プール１０６の空き容量を増加させてプール管理テーブル１２２を更新する（ステップＳ１２０６）。その後、プール管理プログラム１２０は、ステップＳ１２０４における空き容量更新指示の送信元であるストレージデバイス管理プログラム１１６に対して、完了応答を送信する（ステップＳ１２０７）。

そしてストレージデバイス管理プログラム１１６は、空き容量更新指示への完了応答を受領し（ステップＳ１２０８）、ストレージデバイス追加処理を終了する。

図１３は、ボリューム作成処理の処理手順例を示す図である。図１３に示すボリューム作成処理は、ユーザからのボリューム作成指示を受けてボリューム１０５を作成する処理である。

図１３によれば、まず、管理ノード１０１のクラスタ構成管理プログラム１１１が、ユーザからボリューム１０５の作成を指示するボリューム作成指示を受領する（ステップＳ１３０１）。次に、クラスタ構成管理プログラム１１１は、クラスタ構成管理テーブル１２１を検索し（ステップＳ１３０２）、起動プログラム１２１３からボリューム管理プログラム１１９が起動しているノードを探し、そのうちの１つのノードを選出し、選出したノードに対してボリューム作成指示を発行する（ステップＳ１３０３）。

次に、ボリューム作成指示の送信先のノードでは、ボリューム管理プログラム１１９が、ステップＳ１３０３で発行されたボリューム作成指示を受領すると（ステップＳ１３０４）、仮想ボリューム（ボリューム１０５）を作成し、ボリューム管理テーブル１２３を更新する（ステップＳ１３０５）。なお、ステップＳ１３０５の段階では、ボリューム管理プログラム１１９は、ボリューム管理テーブル１２３においてボリュームＩＤ１２３１のみを登録し、その後のＩ／Ｏ処理時に格納領域１０７が未割り当てのアドレスに対してデータが書き込まれる場合にのみ格納領域１０７を割り当てる（アドレス１２３２や格納領域ＩＤ１２３３等を登録する）ことで、シンプロビジョニング（Thin Provisioning）を実現する。その後、ボリューム管理プログラム１１９は、ステップＳ１３０３におけるボリューム作成指示の送信元であるクラスタ構成管理プログラム１１１に対して、完了応答を送信する（ステップＳ１３０６）。

そしてクラスタ構成管理プログラム１１１は、ボリューム作成指示への完了応答を受領する（ステップＳ１３０７）。次に、クラスタ構成管理プログラム１１１は、自ノード（管理ノード１０１）のプール管理プログラム１２０に対して、作成されたボリューム１０５のＩＤ（ステップＳ１３０５でボリューム管理テーブル１２３に登録されたボリュームＩＤ１２３１）を引数としてボリューム情報追加を指示する（ステップＳ１３０８）。

プール管理プログラム１２０は、ステップＳ１３０８におけるクラスタ構成管理プログラム１１１からのボリューム情報追加指示を受領すると（ステップＳ１３０９）、プール管理テーブル１２２の所属ボリュームＩＤ１２２２に、ボリューム情報追加指示の引数として渡されたボリューム１０５のＩＤを追記する（ステップＳ１３１０）。その後、プール管理プログラム１２０は、ステップＳ１３０８におけるボリューム情報追加指示の送信元であるクラスタ構成管理プログラム１１１に対して、完了応答を送信する（ステップＳ１３１１）。

そしてクラスタ構成管理プログラム１１１は、ボリューム情報追加指示への完了応答を受領すると（ステップＳ１３１２）、ボリューム１０５の作成が完了したと判断して、ユーザにボリューム作成完了を応答し（ステップＳ１３１３）、ボリューム作成処理を終了する。

なお、上記のステップＳ１３０３では、ボリューム管理プログラム１１９が起動しているノードの１つをボリューム作成指示の発行先に選出するとしたが、このときのノードの選出基準として例えば、ボリューム管理プログラム１１９が起動しているノードのうち、作成されているボリューム１０５が最も少ないノードを選出するようにしてもよい。

図１４は、Ｉ／Ｏ処理の処理手順例を示す図である。図１４に示すＩ／Ｏ処理は、データの入出力を行う処理である。以下、データの格納を示すライト処理の場合を例に挙げて説明する。

図１４によれば、まず、ホスト２０１がフロントエンドのネットワーク（ＬＡＮ２２１やＳＡＮ２２２）を介して発行したＩ／Ｏ指示及びデータ（本例では、ライト指示及びライトデータ）を、フロントエンドＩ／Ｏ処理プログラム１１３が受領する（ステップＳ１４０１）。なお、フロントエンドＩ／Ｏ処理プログラム１１３が起動しているノードは、管理ノード１０１または通常ノード１０２である。

次に、フロントエンドＩ／Ｏ処理プログラム１１３は、ボリューム管理テーブル１２３を参照し（ステップＳ１４０２）、ホスト２０１からのＩ／Ｏ指示で指定されたボリューム１０５のアドレスに対して、格納領域１０７が割り当て済みであるか否かを判定する（ステップＳ１４０３）。ステップＳ１４０３において格納領域１０７が割り当て済みであった場合は（ステップＳ１４０３のＹＥＳ）、後述するステップＳ１４０９に進む。

一方、ステップＳ１４０３において格納領域１０７が未割り当てであった場合は（ステップＳ１４０３のＮＯ）、Ｉ／Ｏ指示（ライト指示）で指定されたボリューム１０５のアドレスに対して格納領域１０７が未割り当てであることから、フロントエンドＩ／Ｏ処理プログラム１１３は、指定されたデータ（ライトデータ）を格納するための格納領域１０７が必要になる。そこでこの場合、フロントエンドＩ／Ｏ処理プログラム１１３は、管理ノード１０１で動作する格納領域作成・削除プログラム１１８に、階層を引数として格納領域作成指示を発行する（ステップＳ１４０４）。本例では、ホスト２０１からのライト指示に伴って割り当てる格納領域１０７は、高階層から設定するものとする。

ステップＳ１４０４で格納領域作成指示が発行されると、管理ノード１０１の格納領域作成・削除プログラム１１８がこれを受領し、格納領域１０７を作成する格納領域作成処理を実行し、格納領域１０７の作成後に完了応答を通知する（ステップＳ１４０５）。格納領域作成処理の詳細は、図１５を参照しながら後述する。

そしてフロントエンドＩ／Ｏ処理プログラム１１３は、格納領域作成・削除プログラム１１８から、ステップＳ１４０５で作成した格納領域１０７に関する格納領域ＩＤ１２４１及びプライマリノードＩＤ１２４３を返り値として完了応答を受領する（ステップＳ１４０６）。

次に、フロントエンドＩ／Ｏ処理プログラム１１３は、ボリューム管理テーブル１２３に対して、ステップＳ１４０５で作成された格納領域１０７に対応するレコードにおいて、格納領域ＩＤ１２３３及び階層１２３４の情報を追加する（ステップＳ１４０７）。また、フロントエンドＩ／Ｏ処理プログラム１１３は、格納領域管理テーブル１２４に対して、ステップＳ１４０５で作成された格納領域１０７に対応するレコードにおいて、格納領域ＩＤ１２４１及びプライマリノードＩＤ１２４３の情報を追加する（ステップＳ１４０８）。ステップＳ１４０８の処理が完了すると、ステップＳ１４０９に進む。

ステップＳ１４０９では、フロントエンドＩ／Ｏ処理プログラム１１３は、ステップＳ１４０５で作成された格納領域１０７のＩＤとステップＳ１４０１で受領したデータ（ライトデータ）を引数として、自ノードで動作するバックエンドＩ／Ｏ処理プログラム１１５に対して、データ格納指示を発行する。なお、ステップＳ１４０３のＹＥＳを経てステップＳ１４０９の処理が行われる場合は、フロントエンドＩ／Ｏ処理プログラム１１３は、ステップＳ１４０５で作成された格納領域１０７のＩＤの代わりに、ステップＳ１４０３で割り当て済みと確認された格納領域１０７のＩＤを引数とすればよい。

ステップＳ１４０９でデータ格納指示が発行されると、自ノードのバックエンドＩ／Ｏ処理プログラム１１５がこれを受領し、データ格納指示に基づいて格納領域１０７にデータを格納するバックエンド（ＢＥ）Ｉ／Ｏ処理を実行し、完了応答を通知する（ステップＳ１４１０）。バックエンドＩ／Ｏ処理の詳細は、図１８を参照しながら後述する。

そしてフロントエンドＩ／Ｏ処理プログラム１１３は、バックエンドＩ／Ｏ処理プログラム１１５から完了応答を受領する（ステップＳ１４１１）。次に、フロントエンドＩ／Ｏ処理プログラム１１３は、ボリューム管理テーブル１２３に対して、Ｉ／Ｏカウンタ１２３５を更新する（ステップＳ１４１２）。以上をもってフロントエンドＩ／Ｏ処理プログラム１１３は、ホスト２０１から受領したＩ／Ｏ指示が完了したと判断して、ホスト２０１に完了応答を返し（ステップＳ１４１３）、Ｉ／Ｏ処理を終了する。

なお、上記説明では、ライトデータを格納する格納領域１０７の階層に高階層を指定したが（ステップＳ１４０４）、本実施形態はこれに限らず、ライトデータに対して低階層を指定してもよい。

また、上記説明では、格納領域１０７の作成をＩ／Ｏ処理のなか（ステップＳ１４０５）で実施するとしたが、本実施形態ではこれに限定されず、例えば、図１１に示したノード追加処理の延長として格納領域１０７の作成を実施するようにしてもよく、その場合、Ｉ／Ｏ処理内では、格納処理の代わりに割り当てを行うようにしてよい。

図１５は、格納領域作成処理の処理手順例を示す図である。図１５に示す格納領域作成処理は、格納領域作成指示に基づいて新規の格納領域１０７を作成する処理であって、図１４のステップＳ１４０５や図１９のステップＳ１９０４の処理に相当する。

図１５によれば、まず、管理ノード１０１の格納領域作成・削除プログラム１１８が格納領域作成指示を受領する（ステップＳ１５０１）。次に、格納領域作成・削除プログラム１１８は、クラスタ構成管理テーブル１２１を検索し、格納領域作成指示で指定された階層と一致する階層を有するノードを２つ選出する（ステップＳ１５０２）。本例では、「高階層」が指定されているとし、この場合、管理ノード１０１と通常ノード１０２が選出される。

次に、格納領域作成・削除プログラム１１８は、管理ノード１０１のストレージデバイス管理テーブル１２５を検索し、ステップＳ１５０２で選出したノード（管理ノード１０１、通常ノード１０２）のストレージデバイス２１５における未使用のアドレスを２つ選択する（ステップＳ１５０３）。

そして、格納領域作成・削除プログラム１１８は、管理ノード１０１の格納領域管理テーブル１２４に新規レコードを作成し、ステップＳ１５０２で選出したノードの情報と、ステップＳ１５０３で選出したアドレスを有するストレージデバイスの情報と、を当該レコードに登録する（ステップＳ１５０４）。

次に、格納領域作成・削除プログラム１１８は、構成伝播処理を実施する（ステップＳ１５０５）。構成伝播処理の詳細は、図１６を参照しながら後述する。その後、格納領域作成・削除プログラム１１８は、管理ノード１０１のプール管理プログラム１２０に対して、プール管理テーブル１２２における容量情報の更新を指示する容量情報更新処理を発行する（ステップＳ１５０６）。

管理ノード１０１のプール管理プログラム１２０は、容量情報更新処理を受領すると（ステップＳ１５０７）、プール管理テーブル１２２において、新規に作成された格納領域１０７の分だけ、未使用容量（本例では高階層未使用容量１２２４）を減らすとともに、使用済み容量（本例では高階層使用済み容量１２２３）を増やす（ステップＳ１５０７）。その後、プール管理プログラム１２０は、格納領域作成・削除プログラム１１８に対して、完了応答を通知する（ステップＳ１５０９）。

そして格納領域作成・削除プログラム１１８は、プール管理プログラム１２０から容量情報更新指示の完了応答を受領すると（ステップＳ１５１０）、格納領域１０７の作成が完了したと判断し、格納領域作成指示の発行元（例えば図１４のステップＳ１４０５の格納領域作成処理の場合は、フロントエンドＩ／Ｏ処理プログラム１１３）に対して、完了応答を通知し（ステップＳ１５１１）、格納領域作成処理を終了する。

なお、上記説明では、格納領域１０７の冗長化をミラーリングで実施する場合を例としたため、ステップＳ１５０２，Ｓ１５０３でそれぞれ２つのノード及びストレージデバイス２１５を選出したが、ストレージシステム１００において他のＲＡＩＤやイレーシャーコーディング（Erasure Coding）を採用する場合には、２よりも多い個数を選出してもよく、同時に複数の格納領域１０７を作成する等してもよい。

図１６は、構成伝播処理の処理手順例を示す図である。図１６に示す構成伝播処理は、管理ノード１０１で決定した構成情報を関連するノード（通常ノード１０２や下位ノード１０３）に伝える処理であって、図１５のステップＳ１５０５や図２０のステップＳ２００４の処理に相当する。

図１６によれば、まず、管理ノード１０１の格納領域作成・削除プログラム１１８が、格納領域１０７を構成するプライマリノードで起動している格納領域管理プログラム１１７に対して、情報更新指示を発行する（ステップＳ１６０１）。

なお、格納領域１０７を構成するプライマリノードとセカンダリノードとの組合せは、格納領域管理テーブル１２４を参照することによって認識することができる。具体的には、図９の格納領域管理テーブル１２４を参照すると、格納領域１０７の階層が高階層である場合は、プライマリノードは管理ノード１０１（ノードＩＤ「１」）、セカンダリノードは通常ノード１０２（ノードＩＤ「２」）であり、格納領域１０７の階層が低階層である場合は、プライマリノードは下位ノード１０３（ノードＩＤ「３」）、セカンダリノードは下位ノード１０３（ノードＩＤ「４」）である。

次に、プライマリノードの格納領域管理プログラム１１７は、格納領域作成・削除プログラム１１８からの情報更新指示を受領すると（ステップＳ１６０２）、情報更新指示で指定された情報（引数）に基づいて、自ノードの格納領域管理テーブル１２４を更新する（ステップＳ１６０３）。その後、プライマリノードの格納領域管理プログラム１１７は、管理ノード１０１の格納領域作成・削除プログラム１１８に対して、完了応答を通知する（ステップＳ１６０４）。

そして、管理ノード１０１の格納領域作成・削除プログラム１１８は、プライマリノードの格納領域管理プログラム１１７から完了応答を受領する（ステップＳ１６０５）。

ステップＳ１６０１～Ｓ１６０５の処理によって、プライマリノードに対する格納領域管理テーブル１２４の情報更新が完了する。そこで次は、ステップＳ１６０１～Ｓ１６０５と同様の処理を、セカンダリノードに対して実施する（ステップＳ１６０６～Ｓ１６１０）。繰り返しを避けるために詳細な説明は省略するが、ステップＳ１６０６～Ｓ１６１０の処理によって、セカンダリノードに対する格納領域管理テーブル１２４の情報更新が完了する。

そして、ステップＳ１６１０の終了後、格納領域作成・削除プログラム１１８は、ストレージデバイス情報更新処理を実施する（ステップＳ１６１１）。ストレージデバイス情報更新処理の詳細は、図１７を参照しながら後述する。

図１７は、ストレージデバイス情報更新処理の処理手順例を示す図である。図１７に示すストレージデバイス情報更新処理は、管理ノード１０１で決定した構成情報をプライマリノード及びセカンダリノードに伝えて、ストレージデバイス管理テーブル１２５の情報を更新する処理であって、図１６のステップＳ１６１１の処理に相当する。

図１７によれば、まず、管理ノード１０１の格納領域作成・削除プログラム１１８が、格納領域１０７を構成するプライマリノードで起動しているストレージデバイス管理プログラム１１６に対して、情報更新指示を発行する（ステップＳ１７０１）。

次に、プライマリノードのストレージデバイス管理プログラム１１６は、格納領域作成・削除プログラム１１８からの情報更新指示を受領すると（ステップＳ１７０２）、自ノードのストレージデバイス管理テーブル１２５について、情報更新指示で指定されたドライブＩＤ１２５２とアドレス１２５３に対する状態１２５４を更新する（ステップＳ１７０３）。ステップＳ１７０３における状態１２５４の更新について具体的には、格納領域１０７を削除した場合は、「使用中」を「未使用」に変更し、格納領域１０７を作成した場合は、「未使用」を「使用中」に変更する。その後、プライマリノードのストレージデバイス管理プログラム１１６は、管理ノード１０１の格納領域作成・削除プログラム１１８に対して、完了応答を通知する（ステップＳ１７０４）。

そして、管理ノード１０１の格納領域作成・削除プログラム１１８は、プライマリノードのストレージデバイス管理プログラム１１６から完了応答を受領する（ステップＳ１７０５）。

ステップＳ１７０１～Ｓ１７０５の処理によって、プライマリノードに対するストレージデバイス管理テーブル１２５の情報更新が完了する。そこで次は、ステップＳ１７０１～Ｓ１７０５と同様の処理を、セカンダリノードに対して実施する（ステップＳ１７０６～Ｓ１７１０）。ステップＳ１７０６～Ｓ１７１０の処理によって、セカンダリノードに対するストレージデバイス管理テーブル１２５の情報更新が完了するため、ストレージデバイス情報更新処理を終了する。

図１８は、バックエンドＩ／Ｏ処理の処理手順例を示す図である。図１８に示すバックエンド処理は、図１４に示したＩ／Ｏ処理のなかで実行される処理であって（ステップＳ１４１０参照）、フロントエンドＩ／Ｏ処理プログラム１１３からのデータ格納指示を受けて実行される。

図１８によれば、まず、バックエンドＩ／Ｏ処理プログラム１１５は、データ格納指示を受領する（ステップＳ１８０１）。次に、バックエンドＩ／Ｏ処理プログラム１１５は、データ格納指示で引数として与えられた格納領域１０７のＩＤで、自ノード内の格納領域管理テーブル１２４を検索し（ステップＳ１８０２）、上記格納領域１０７のプライマリノードが自ノードであるかを判定する（ステップＳ１８０３）。ステップＳ１８０３において格納領域１０７のプライマリノードが自ノードであった場合は（ステップＳ１８０３のＹＥＳ）、ステップＳ１８０４に進み、格納領域１０７のプライマリノードが他ノードであった場合は（ステップＳ１８０３のＮＯ）、ステップＳ１８１１に進む。

まず、ステップＳ１８０３においてプライマリノードが自ノードであった場合について説明する。ステップＳ１８０４において、バックエンドＩ／Ｏ処理プログラム１１５は、自ノード内のプライマリドライブとなるストレージデバイス２１５に対して、データの書込み処理を実施する。その後、バックエンドＩ／Ｏ処理プログラム１１５は、セカンダリノードのバックエンドＩ／Ｏ処理プログラム１１５に対して、データの格納処理を指示する（ステップＳ１８０５）。

セカンダリノードのバックエンドＩ／Ｏ処理プログラム１１５は、ステップＳ１８０５で発行されたデータの格納指示を受領すると（ステップＳ１８０６）、セカンダリノード内のセカンダリドライブとなるストレージデバイス２１５に対して、データの書込み処理を実施する（ステップＳ１８０７）。その後、セカンダリノードのバックエンドＩ／Ｏ処理プログラム１１５は、プライマリノードのバックエンドＩ／Ｏ処理プログラム１１５に対して、完了応答を通知する（ステップＳ１８０８）。

そして、プライマリノードのバックエンドＩ／Ｏ処理プログラム１１５は、ステップＳ１８０８で通知された完了応答を受領する（ステップＳ１８０９）。ここまでの処理によって、データ格納指示で引数として与えられた格納領域１０７のプライマリノード及びセカンダリノードに対して、データの書き込みを実施できたことから、プライマリノードのバックエンドＩ／Ｏ処理プログラム１１５は、データ格納指示の発行元（図１４のステップＳ１４１０の場合はフロントエンドＩ／Ｏ処理プログラム１１３、後述するステップＳ１８１２の場合はバックエンドＩ／Ｏ処理プログラム１１５）に対して、完了応答を通知し（ステップＳ１８１０）、バックエンドＩ／Ｏ処理を終了する。

次に、ステップＳ１８０３においてプライマリノードが他ノードであった場合について説明する。このとき、ステップＳ１８１１において、バックエンドＩ／Ｏ処理プログラム１１５は、自ノードとは別のノードに存在するプライマリノードのバックエンドＩ／Ｏ処理プログラム１１５に対して、データの格納処理を指示する。ステップＳ１８１１の指示を受けて、プライマリノードのバックエンドＩ／Ｏ処理プログラム１１５は、図１８に示すバックエンドＩ／Ｏ処理をステップＳ１８０１から実行する。但しこの転送先では、転送先の自ノードがプライマリノードであることから、ステップＳ１８０３の判定はＹＥＳとなる分岐で処理が実行される。

転送先のバックエンドＩ／Ｏ処理が終了すると、元ノードのバックエンドＩ／Ｏ処理プログラム１１５は、転送先のプライマリノードのバックエンドＩ／Ｏ処理プログラム１１５から完了応答を受領する（ステップＳ１８１３）。そして、バックエンドＩ／Ｏ処理プログラム１１５は、ステップＳ１８１３の動作を待って、データ格納指示の発行元であるフロントエンドＩ／Ｏ処理プログラム１１３に対して、完了応答を通知し（ステップＳ１８１４）、バックエンドＩ／Ｏ処理を終了する。

以上のようにバックエンドＩ／Ｏ処理が実行されることにより、バックエンドＩ／Ｏ処理プログラム１１５は、データ格納指示で引数として与えられた格納領域１０７のプライマリノード及びセカンダリノードに対して、データの書き込みを実施することができる。

図１９は、階層制御処理の処理手順例を示す図である。図１９に示す階層制御処理は、階層制御プログラム１１４が、格納領域１０７に対する一定時間内のＩ／Ｏの回数に基づいて、格納領域１０７が階層ごとに定められた適性条件を満たしているかを確認し、適性条件を満たさない場合には適性条件を満たす階層に変更する処理であって、階層制御プログラム１１４が起動する管理ノード１０１及び通常ノード１０２において、定期的（例えば１日間隔）に実行される。

図１９によれば、まず、階層制御プログラム１１４が、ボリューム管理テーブル１２３を参照して、階層１２３４及びＩ／Ｏカウンタ１２３５を確認する（ステップＳ１９０１）。階層制御プログラム１１４は、ステップＳ１９０１の検索によって、所属する階層の適性条件に適合しない格納領域１０７が存在するか否かを判定する（ステップＳ１９０２）。

ステップＳ１９０２の判定基準について補足する。本実施形態では、階層ごと（高階層、低階層）に一定時間におけるＩ／Ｏ回数の適性範囲が定められており、これを「階層の適性条件」と呼ぶ。具体的には、本例では、一定時間内のＩ／Ｏカウンタ１２３５が「１００」以上であることを高階層の適性条件とし、一定時間内のＩ／Ｏカウンタ１２３５が「１００」未満であることを低階層の適性条件とする。このとき、ステップＳ１９０２の判定においては、ボリューム管理テーブル１２３の各レコードについて、階層１２３４の区分を基に、一定時間内のＩ／Ｏカウンタ１２３５と閾値「１００」とを比較することにより、所属階層の適性条件を満たしていない格納領域１０７の存在を確認することができる。

ステップＳ１９０２において所属階層の適性条件を満たさない格納領域１０７が存在した場合は（ステップＳ１９０２のＹＥＳ）、ステップＳ１９０３に進む。一方ステップＳ１９０２において作成済みの全ての格納領域１０７が所属階層の適性条件を満たしていた場合には（ステップＳ１９０２のＮＯ）、特段の処理が必要ないため、階層制御処理は終了する。

ステップＳ１９０３では、階層制御プログラム１１４は、ステップＳ１９０２の判定で不適と判定された格納領域１０７について、管理ノード１０１の格納領域作成・削除プログラム１１８に対して、適性条件を満たす階層を引数として格納領域作成指示を発行する。

ステップＳ１９０３の格納領域作成指示を受けて、格納領域作成・削除プログラム１１８は、格納領域作成処理を実施して、適性条件を満たす階層に格納領域１０７を新規作成する（ステップＳ１９０４）。格納領域作成処理については、図１５で前述している。

その後、階層制御プログラム１１４は、格納領域作成処理の完了応答を受領すると（ステップＳ１９０５）、ステップＳ１９０４で新規作成した階層の格納領域１０７に、ステップＳ１９０２で適性条件を満たさなかった格納領域１０７のデータをコピーする（ステップＳ１９０６）。そして、階層制御プログラム１１４は、管理ノード１０１の格納領域作成・削除プログラム１１８に対して、コピー元となった格納領域１０７の削除指示を発行する（ステップＳ１９０７）。

ステップＳ１９０７の削除指示を受けて、格納領域作成・削除プログラム１１８は格納領域削除処理を実施する（ステップＳ１９０８）。格納領域削除処理の詳細は、図２０を参照しながら後述する。

その後、階層制御プログラム１１４は、格納領域削除処理の完了応答を受領すると（ステップＳ１９０９）、階層制御処理を終了する。

上記のように階層制御処理が実行されることにより、本実施形態のストレージシステム１００では、階層の適性条件に合わせて格納領域１０７の再配置を行うことができるため、ストレージシステム１００全体におけるリソースの効率的な利用を進めて、処理性能を高める効果に期待できる。

より詳しく説明すると、階層の前提として、ＳＳＤのように比較的高機能なストレージデバイス２１５を有するノードを通常ノード１０２として、そのストレージデバイス２１５から作成される格納領域を高階層に置き、一方、ＨＤＤといった低機能なストレージデバイス２１５を有するノードを下位ノード１０３として、そのストレージデバイス２１５から作成される格納領域１０７を低階層に置く。このような構成で上記の階層制御処理を実行することにより、高階層の格納領域１０７においてＩ／Ｏカウンタが１００未満である（アクセス数が少ない）場合には、高階層に格納しておく必要がないため、格納領域を低機能な低階層に移すことができる。この結果、低機能のストレージデバイスを使用した場合のストレージシステム全体における性能低下を防止することができる。また、低階層の格納領域１０７においてＩ／Ｏカウンタが１００以上である（アクセス数が多い）場合には、高機能な高階層に格納することにより、Ｉ／Ｏの処理速度が速くなり、システム全体での処理能力が高くなる。

なお、本例では、階層の適性条件として一定時間内のＩ／Ｏカウンタによる階層制御を例に挙げて説明したが、本実施形態はこれに限らず、Ｉ／Ｏ処理におけるライト処理やリード処理の比率といった指標や、ボリューム１０５とデータとが同一ノードに存在するかどうか、といった指標等を用いて階層制御を行うものであってもよい。また、データコピー後にコピー元の格納領域１０７を削除する処理（ステップＳ１９０７～Ｓ１９０８）は行わないようにしてもよい。

図２０は、格納領域削除処理の処理手順例を示す図である。図２０に示す格納領域削除処理は、格納領域削除指示に基づいて格納領域１０７を削除する処理であって、図１９のステップＳ１９０８の処理に相当する。

図２０によれば、まず、管理ノード１０１の格納領域作成・削除プログラム１１８が、階層制御プログラム１１４から格納領域削除指示を受領する（ステップＳ２００１）。次に、格納領域作成・削除プログラム１１８は、格納領域管理テーブル１２４を参照し、格納領域削除指示で指定された格納領域ＩＤに紐付くプライマリノードとセカンダリノードとを特定する（ステップＳ２００２）。そして、格納領域作成・削除プログラム１１８は、管理ノード１０１の格納領域管理テーブル１２４から、ステップＳ２００２の特定内容に該当するレコードを削除する（ステップＳ２００３）。その後、格納領域作成・削除プログラム１１８は、上記削除に対して、図１６に示した構成伝播処理を利用する（ステップＳ２００４）。

次に、格納領域作成・削除プログラム１１８は、プール管理プログラム１２０に対して、プール管理テーブル１２２における容量情報の更新を指示する容量情報更新処理を発行する（ステップＳ２００５）。

管理ノード１０１のプール管理プログラム１２０は、容量情報更新処理を受領すると（ステップＳ２００６）、プール管理テーブル１２２において、削除された格納領域１０７の分だけ、未使用容量を増やすとともに、使用済み容量を減らす（ステップＳ２００７）。その後、プール管理プログラム１２０は、格納領域作成・削除プログラム１１８に対して、完了応答を通知する（ステップＳ２００８）。

そして格納領域作成・削除プログラム１１８は、プール管理プログラム１２０から容量情報更新指示の完了応答を受領すると（ステップＳ２００９）、格納領域１０７の削除が完了したと判断し、格納領域削除指示の発行元である階層制御プログラム１１４に対して完了応答を通知し（ステップＳ２０１０）、格納領域削除処理を終了する。

以上に説明したように、本実施形態に係るストレージシステム１００によれば、ノードごとにユーザが指定した属性に応じて、各ノードで起動するプログラムを切り替えることができるため、ストレージクラスタへのノード追加時に、追加されるノードに必要なＣＰＵ及びメモリ量を削減することができる。

より詳しくは、本実施形態に係るストレージシステム１００では、Ｉ／Ｏ処理を、ホスト２０１とのやり取りを行うフロントエンドの処理（フロントエンドＩ／Ｏ処理）と、ストレージデバイス２１５へのアクセス（データ格納）を行うバックエンドの処理（バックエンドＩ／Ｏ処理）とに分割し、ストレージシステムにおいてＩ／Ｏ処理を実行する際に、下位を示す属性（本例では「下位」）が指定されたノードでは、フロントエンドＩ／Ｏ処理を実行するプログラムを起動させずに、バックエンドＩ／Ｏ処理を実行するプログラムだけを起動させるため、フロントエンドＩ／Ｏ処理のためのＣＰＵ及びメモリ量を不要とすることができる。

さらに、本実施形態に係るストレージシステム１００では、各ノードのストレージデバイス２１５をクラスタ化して提供されるストレージプール１０６を、Ｉ／Ｏ処理の許容頻度が異なる複数の階層（本例では「高階層／低階層」）に分類し、上位の属性（本例では「管理」または「通常」）が指定されたノードが有するストレージデバイス２１５から作成される格納領域１０７をストレージプール１０６の高階層に置いて扱う一方で、下位を示す属性（本例では「下位」）が指定されたノードが有するストレージデバイス２１５から作成される格納領域１０７をストレージプール１０６の低階層に置いて扱う、階層制御を実行する。このような階層制御を行うことにより、本実施形態に係るストレージシステム１００では、ストレージデバイス２１５の性能によってノードの属性を指定することにより、ストレージシステム１００全体における性能低下を防止するとともに、システム全体での処理能力を高めることに期待できる。具体的には例えば、ＳＳＤのような比較的高性能なストレージデバイス２１５を有するノードに「管理」または「通常」の属性を指定し、ＨＤＤのような比較的低性能なストレージデバイス２１５を有するノードに「下位」の属性を指定することにより、Ｉ／Ｏ頻度が多い高階層には高性能なストレージデバイス２１５による格納領域１０７を用い、Ｉ／Ｏ頻度が少ない低階層には低性能なストレージデバイス２１５による格納領域１０７を用いることができる。ストレージデバイス２１５の低性能／高性能の区分には、例えば処理性能に関する所定基準を設け、この所定基準を下回る場合に低性能なストレージデバイス２１５であると判定してもよい。

また、本実施形態に係るストレージシステム１００では、図２に例示した下位ノード１０３のように、ＳＡＮポート２１３やＬＡＮポート２１４を有していないストレージノードであっても、「下位」属性に指定することで、ストレージシステム１００に組み込んで動作させることができる。すなわち、構成的に低機能なノードであっても、ストレージシステム１００に追加することができるため、ノード追加に掛かるコストを抑制する効果に期待できる。

（２）第２の実施形態
以下に本発明の第２の実施形態に係るストレージシステム３００について説明する。本実施形態の説明では、特別に説明がない部分に関しては、第１の実施形態と同様の構成を備え、同様の処理を行うものとする。

本実施形態では、本発明に係るストレージシステムが有するＩ／Ｏ処理以外の機能をどのように扱うかについて、スナップショット（Snapshot）を例に挙げて説明する。スナップショットは、あるプライマリボリュームのある時点でのデータを保存するためのスナップショットボリュームを作成し、スナップショットボリュームにプライマリボリュームとの差分を格納する機能である。

図２１は、第２の実施形態において管理ノードで実行されるコンピュータプログラムの一例を示す図である。第２の実施形態に係るストレージシステム３００は、第１の実施形態における管理ノード１０１の代わりに管理ノード３０１を備える。図２１に示したように、管理ノード３０１のメモリ３１０は、管理ノード１０１のメモリ２１２に格納される複数のコンピュータプログラム（図３参照）に加えて、スナップショット機能を管理するためのスナップショット管理プログラム３１１を格納している。また、メモリ３１２に格納されるテーブルはメモリ２１２に格納されるテーブルと同様であるが、クラスタ構成管理テーブル３２１は、起動するプログラムがクラスタ構成管理テーブル１２１と異なっている。

第１の実施形態に係るストレージシステム１００との相違点として、本実施形態に係るストレージシステム３００では、Ｉ／Ｏ処理に関するノードの属性（上位／下位）だけでなく、付属機能（本例では、ボリューム１０５の管理に関する付属機能としてスナップショット機能を例示）の有無についても、ユーザがその属性を引数として指定できるようにすることを特徴とする。

図２２は、図２１に示したクラスタ構成管理テーブルの構成例を示す図である。クラスタ構成管理テーブル３２１は管理ノード３０１に保持され、ストレージシステム３００内のノード別にレコードを有する。図２１に示したクラスタ構成管理テーブル３２１の構成（ノードＩＤ３２１１，属性３２１２，起動プログラム３２１３）は、第１の実施形態で図６に示したクラスタ構成管理テーブル１２１の構成と同様である。図２２でノードＩＤ「１」のレコードに示したように、スナップショット管理プログラム３１１は、管理ノード３０１でのみ展開される。

上記のように構成されたストレージシステム３００では、ノードの追加が指示された場合、第１の実施形態と同様に、クラスタ構成管理プログラム１１１が、指定されたノードの属性に応じて、追加ノードで展開するプログラムを決定する（図１１のステップＳ１３０３）。

また、前述した通り、ストレージシステム３００では、ユーザからボリューム作成が指示される場合、スナップショットの作成要否を引数として与えることができる。そしてボリューム作成指示の引数でスナップショット作成が必要と指示された場合には、クラスタ構成管理プログラム１１１は、図１３のステップＳ１３０３の処理において、スナップショット管理プログラム３１１が起動しているノード（本例では管理ノード３０１）に対して、ボリューム作成指示を発行する。このような処理が行われることにより、ストレージシステム３００では、展開されている機能に応じて必要なメモリ量だけを使って動作させることが可能となる。

以上のように、第２の実施形態に係るストレージシステム３００では、第１の実施形態によって得られる効果に加えて、ボリューム１０５の管理に関する付属機能（例えばスナップショット機能）についてもノードの属性として指定することができる。そして、この付属機能の属性に応じて、ボリューム１０５の管理機能を分割して、ノードごとに起動するプログラムを切り替えることによって、付属機能のために必要となる最小限のＣＰＵ及びメモリ量だけを消費するようにストレージシステム３００を構成することができる。

以上、本発明に関する複数の実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。例えば、スナップショットプログラムの起動有無を切り替える代わりに、他ストレージシステムとの同期コピープログラムの起動の有無を切り替えてもよいし、スナップショットプログラムを有するノードに対してスナップショットノードなど新たなノードの属性を設定し、それに応じて起動するプログラムを切り替えてもよい。

１００，３００ ストレージシステム
１０１，３０１ 管理ノード（ストレージノード，ノード）
１０２ 通常ノード（ストレージノード，ノード）
１０３ 下位ノード（ストレージノード，ノード）
１０４ ビュー
１０５ ボリューム
１０６ ストレージプール（プール）
１０７ 格納領域
１１１ クラスタ構成管理プログラム
１１２ ノード管理プログラム
１１３ フロントエンドＩ／Ｏ処理プログラム
１１４ 階層制御プログラム
１１５ バックエンドＩ／Ｏ処理プログラム
１１６ ストレージデバイス管理プログラム
１１７ 格納領域管理プログラム
１１８ 格納領域作成・削除プログラム
１１９ ボリューム管理プログラム
１２０ プール管理プログラム
１２１ クラスタ構成管理テーブル
１２２ プール管理テーブル
１２３ ボリューム管理テーブル
１２４ 格納領域管理テーブル
１２５ ストレージデバイス管理テーブル
１３１～１３６ 符号
２０１ ホスト
２１１ ＣＰＵ
２１２，３１０ メモリ
２１３ ＳＡＮポート
２１４，２１６ ＬＡＮポート
２１５ ストレージデバイス
２２１，２２３ ＬＡＮ
２２２ ＳＡＮ
３１１ スナップショット管理プログラム

Claims (11)

1. 複数のノードによってストレージクラスタを構成するストレージシステムであって、
   データを格納するストレージデバイスと、
   メモリと、
   ストレージデバイスへＩ／Ｏ処理を行うためのプログラムを稼働させるプロセッサと、
   を備え、
   前記ノードは、第１の属性のノードと、第２の属性のノードと、に属性が指定され、
   前記ノードにおけるＩ／Ｏ処理は、いずれかの前記第１の属性のノードが実行するフロントエンドＩ／Ｏ処理と、Ｉ／Ｏ処理にかかるデータを格納する前記ストレージデバイスを有する前記第１及び前記第２の属性のノードが実行するバックエンドＩ／Ｏ処理と、を含む複数の処理として実行され、
   前記第１の属性のノードは上位の前記属性が指定された上位ノードであり、前記第２の属性のノードは下位の前記属性が指定された下位ノードであり、前記上位ノードには管理用の管理ノードが含まれ、
   前記管理ノードが、前記下位ノードの前記ストレージデバイスへの前記Ｉ／Ｏ処理において前記フロントエンドＩ／Ｏ処理を担当する前記上位ノードを指定し、
   さらに、前記ストレージクラスタから提供されるストレージプールは、複数段階の階層に分割して管理され、
   前記上位ノードの前記プロセッサは、各前記ノードの前記ストレージデバイスが提供する格納領域を前記ストレージプールの何れの階層で扱うかを、各前記ノードの前記属性に応じて制御する階層制御を実行する
   ことを特徴とするストレージシステム。
2. 前記ノードの前記属性は、当該ノードを前記ストレージクラスタに追加するときに、ユーザによって指定される
   ことを特徴とする請求項１に記載のストレージシステム。
3. 前記ストレージプールの階層には、Ｉ／Ｏ頻度が比較的高いデータを格納するための高階層と、Ｉ／Ｏ頻度が比較的低いデータを格納するための低階層と、が含まれる
   ことを特徴とする請求項１に記載のストレージシステム。
4. 前記階層制御において、前記上位ノードの前記プロセッサは、前記下位ノードが有する前記ストレージデバイスが提供する前記格納領域を前記低階層のみで扱う
   ことを特徴とする請求項３に記載のストレージシステム。
5. 前記ストレージプールの前記階層ごとにＩ／Ｏ頻度に基づく適性条件が設定され、
   前記階層制御において、前記上位ノードの前記プロセッサは、前記格納領域が現階層における前記適性条件を満たしているか確認し、現階層における前記適性条件を満たしていない前記格納領域が存在した場合は、当該格納領域のデータを前記適性条件に合う別の前記階層にコピーする
   ことを特徴とする請求項１に記載のストレージシステム。
6. 前記階層制御において、前記上位ノードの前記プロセッサは、現階層における前記適性条件を満たしていない前記格納領域のデータを前記適性条件に合う別の前記階層にコピーした後、コピー元のデータを削除する
   ことを特徴とする請求項５に記載のストレージシステム。
7. 前記ストレージクラスタに追加する前記ノードが、所定基準を下回る低性能な前記ストレージデバイスを有する場合、当該ノードには前記下位の前記属性が指定される
   ことを特徴とする請求項４に記載のストレージシステム。
8. 前記ストレージクラスタに追加する前記ノードが、前記フロントエンドＩ／Ｏ処理を実行するために必要なインターフェースを有しておらず、前記バックエンドＩ／Ｏ処理を実行するために必要なインターフェースを有している場合には、当該ノードには前記下位の前記属性が指定される
   ことを特徴とする請求項４に記載のストレージシステム。
9. 管理用の最上位の前記属性が指定された前記ノードにおいて、前記メモリは、前記複数のノードの全ノードに関するリソースの管理情報を保持する一方、
   上位または下位の前記属性が指定された前記ノードにおいて、前記メモリは、自ノードに関するリソースの管理情報を保持する
   ことを特徴とする請求項１に記載のストレージシステム。
10. 複数のノードによってストレージクラスタを構成するストレージシステムによるノード管理方法であって、
    前記ストレージシステムは、データを格納するストレージデバイスと、メモリと、ストレージデバイスへＩ／Ｏ処理を行うためのプログラムを稼働させるプロセッサと、を有し、
    前記ノードは、第１の属性のノードと、第２の属性のノードと、に属性が指定され、
    前記ノードにおけるＩ／Ｏ処理は、いずれかの前記第１の属性のノードが実行するフロントエンドＩ／Ｏ処理と、Ｉ／Ｏ処理にかかるデータを格納する前記ストレージデバイスを有する前記第１及び前記第２の属性のノードが実行するバックエンドＩ／Ｏ処理と、を含む複数の処理として実行され、
    前記第１の属性のノードは上位の前記属性が指定された上位ノードであり、前記第２の属性のノードは下位の前記属性が指定された下位ノードであり、前記上位ノードには管理用の管理ノードが含まれ、
    前記管理ノードが、前記下位ノードの前記ストレージデバイスへの前記Ｉ／Ｏ処理において前記フロントエンドＩ／Ｏ処理を担当する前記上位ノードを指定し、
    さらに、前記ストレージクラスタから提供されるストレージプールは、Ｉ／Ｏ頻度が比較的高いデータを格納するための高階層と、Ｉ／Ｏ頻度が比較的低いデータを格納するための低階層と、を含む複数段階の階層に分割して管理され、
    前記上位ノードの前記プロセッサは、各前記ノードのストレージデバイスが前記ストレージプールに提供するデータの格納領域を前記ストレージプールの何れの階層で扱うかを、各前記ノードの前記属性に応じて制御する階層制御を実行する
    ことを特徴とするノード管理方法。
11. 前記ストレージプールの前記階層ごとにＩ／Ｏ頻度に基づく適性条件が設定され、
    前記階層制御において、前記上位ノードの前記プロセッサは、前記格納領域が現階層における前記適性条件を満たしているか確認し、現階層における前記適性条件を満たしていない前記格納領域が存在した場合は、当該格納領域のデータを前記適性条件に合う別の前記階層にコピーする
    ことを特徴とする請求項１０に記載のノード管理方法。
    

Images