JP7261756B2 - ストレージシステム、処理方法 - Google Patents

Description

本発明は、ストレージシステム、および処理方法に関する。

従来、ストレージシステムにおける複数のストレージ装置により、ＲＡＩＤ（Redundant Array of Independent Disks）グループを構成し、ＲＡＩＤグループに基づいて作成された論理ボリュームを、上位装置（例えば、ホストコンピュータ）に提供することが行われている。たとえば、ＲＡＩＤに関する技術として、分散ＲＡＩＤが知られている。分散ＲＡＩＤとは、データと、データを復元するための冗長データとを含むストライプ列をデータ保護ポリシ（ｍＤｎＰ）で定義されるｍ＋ｎよりも多くの複数のストレージ装置に分散させて管理する技術である。

近年、ＳＤＳ（Software Defined Storage）の市場が拡大している。この点、ＳＤＳにおいて、一定数のノードでドメインと呼ばれるグループを組み、複数のドメインでストレージシステムを構築し、ドメイン内においてノード間のデータ保護を適用する方式が開示されている（特許文献１参照）。かかる方式によれば、１ノードの障害時において信頼性が低下するノードをドメイン内に限定することができるため、ストレージシステムの信頼性を高めることができる。特許文献１にはパリティグループを形成する手法が開示されている。

米国特許出願公開第２０１４－０１９５８４７号

特許文献１に記載の技術では、信頼性が目標値を下回らないようにストレージシステムを拡張するためには、信頼性の目標値限界に達した後のシステム拡張では、ドメインを構築するための最小構成（例えば、３ノード）の単位でストレージシステムを拡張する必要性があり自由度が低い。

本発明の第１の態様によるストレージシステムは、記憶領域を提供する複数のノードと、データを物理的に記憶するドライブと、を備えたストレージシステムにおいて、記憶領域に格納されるユーザデータと、前記ユーザデータを保護するための冗長データと、を含む複数のデータによりパリティグループを構成し、前記パリティグループ内の複数のデータを、前記複数のノードにわたる一つの所定範囲内の記憶領域に記憶し、各ノードの記憶領域から前記パリティグループに割り当てられた容量を管理しており、前記各ノードの記憶領域が複数に分割されて複数の前記パリティグループに割り当てられ、前記所定範囲の前記パリティグループにかかる記憶領域における記憶容量に基づいて、前記所定範囲におけるノード数にかかわらず、前記所定範囲を分割するための処理を行う、または、複数の所定範囲を併合するための処理を行う。
本発明の第２の態様による処理方法は、記憶領域を提供する複数のノードを備えたストレージシステムが実行する処理方法であって、記憶領域に格納されるユーザデータと、前記ユーザデータを保護するための冗長データと、を含む複数のデータによりパリティグループを構成することと、前記パリティグループ内の複数のデータを、前記複数のノードにわたる一つの所定範囲内の記憶領域に配置することと、各ノードの記憶領域から前記パリティグループに割り当てられた容量を管理することと、前記各ノードの記憶領域を複数に分割して複数の前記パリティグループに割り当てることと、前記所定範囲の前記パリティグループにかかる記憶領域における記憶容量に基づいて、前記所定範囲におけるノード数にかかわらず、前記所定範囲を分割するための処理を行う、または、複数の所定範囲を併合するための処理を行うこととを含む。

本発明によれば、信頼性と適用性の高いストレージシステムを実現することができる。

第１の実施の形態によるストレージシステムの概要図 第１の実施の形態によるストレージシステムに係る物理構成の一例を示す図 第１の実施の形態によるストレージシステムに係る論理構成の一例を示す図 第１の実施の形態によるメモリ内の情報の一例を示す図 第１の実施の形態によるクラスタ構成管理テーブルの一例を示す図 第１の実施の形態によるストレージプール構成管理テーブルの一例を示す図 第１の実施の形態によるパリティグループ管理テーブルの一例を示す図 第１の実施の形態によるグループマッピング管理テーブルの一例を示す図 第１の実施の形態によるグループマッピング管理の概要図 第１の実施の形態によるストライプマッピング管理テーブルの一例を示す図 第１の実施の形態によるマッピング変更の概要図 第１の実施の形態によるパリティ再計算の概要図 第１の実施の形態による構成変更処理に係るフローチャートの一例を示す図 第１の実施の形態によるグループマッピング決定処理に係るフローチャートの一例を示す図 第１の実施の形態によるリード処理に係るフローチャートの一例を示す図 第１の実施の形態によるリードサブ処理に係るフローチャートの一例を示す図 第１の実施の形態によるライト処理に係るフローチャートの一例を示す図 第１の実施の形態によるライトサブ処理に係るフローチャートの一例を示す図 第１の実施の形態によるマッピング変更処理に係るフローチャートの一例を示す図 第２の実施の形態による計算機システムに係る構成の一例を示す図 第２の実施の形態による構成変更処理に係るフローチャートの一例を示す図 第２の実施の形態によるマッピング変更の概要図 第２の実施の形態によるマッピング変更処理に係るフローチャートの一例を示す図 変形例１によるマッピング変更の概要図 変形例２によるグループマッピング決定処理に係るフローチャートの一例を示す図 変形例２によるユーザインタフェースの概要図

以下では、本発明の複数の実施の形態を詳述する。なお以下の説明では、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分、すなわち枝番を除く部分を使用することがある。また、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。たとえば、物理領域を特に区別しないで説明する場合には、「物理領域９９０」と記載し、個々の領域を区別して説明する場合には、「物理領域９９０－１」、「物理領域９９０－２」のように記載することがある。

―第１の実施の形態―
以下、図１～図１９を参照して、本発明に係るストレージシステムの第１の実施の形態を説明する。

図１は、本発明に係るストレージシステムにおけるマッピング変更の概要図である。ここでは、図示上部に示すストレージシステム１１０から図示下部に示すストレージシステム１２０に構成を変更するケースを例に挙げて説明する。図１では、構成の変更前のマッピング管理情報１１１および構成の変更後のマッピング管理情報１２１に示すように、「Ｎ６」のノード１００がストレージシステム１１０に追加、すなわちノード増設されている。

マッピング管理情報１１１は、Ａ１、Ａ２、ＡＰの組み合わせでデータとパリティを管理するパリティグループを構成していることを示している。Ｂｘ～Ｄｘについても同様である。またマッピング管理情報１１１は、２Ｄ１Ｐのように３つのデータ領域を使用してパリティグループを構成しており、２Ｄ１ＰのパリティグループをＮ１～Ｎ５に分散配置していることを示している。

このようにデータとパリティを配置し、データ保護する技術を分散ＲＡＩＤと呼び、分散ＲＡＩＤを構成することでノード数（あるいはドライブに適用した場合は、ドライブ数）に応じてリビルド時間を短縮することができる。一方で、パリティグループを分散配置するノード数が増えすぎると、ノード（あるいはドライブに適用した場合は、ドライブ）１台に障害が起きた時に冗長度低下の影響を受けるノード（あるいはドライブに適用した場合は、ドライブ）数が多くなり、可用性が低下してしまう。例えば、Ｎ１に障害が発生した際に、Ｎ２、Ｎ４、およびＮ５のデータの冗長度が低下する。

ストレージシステム１２０は、Ｎ６を追加した際に、データとパリティの配置を特定ノードに限定している。より具体的には、マッピング管理情報１２１は、データとパリティの配置を管理するマップを２つに分割して、それぞれのマップ内の領域のみでパリティグループを構成することで、ノード障害時の影響範囲を限定する。例えば、ストレージシステム１２０では、Ｎ１に障害が生じた時、冗長度低下の影響を受けるノードはＮ２とＮ３だけとなり、Ｎ４～Ｎ６は影響を受けない。

以下では、構成の変更対象、すなわち増設または減設する記憶資源として、主にノード１００を例に挙げて説明するが、データセンタなどのサイト、ドライブなどの記憶デバイスなど他の記憶資源であってもよく、同様に処理できる。以下では本実施の形態を具体的に説明する。

図２は、本実施の形態におけるストレージシステム１０１に係る物理構成の一例を示す図である。ストレージシステム１０１には、１以上のサイト２０１が設けられる。各サイト２０１は、ネットワーク２０２を介して通信可能に接続される。ネットワーク２０２は、例えばＷＡＮ（Wide Area Network）であるが、ＷＡＮに限定するものではない。

サイト２０１は、データセンタ等であり、１以上のノード１００を含んで構成される。ノード１００は、一般的なサーバ計算機の構成を備えてよい。ノード１００は、例えば、プロセッサ２１１、メモリ２１２等を含む１以上のプロセッサパッケージ２１３、１以上のドライブ２１４、１以上のポート２１５を含んで構成される。各構成要素は、内部バス２１６を介して接続されている。

プロセッサ２１１は、例えば、ＣＰＵ（Central Processing Unit）であり、各種の処理を行う。メモリ２１２は、ノード１００の機能を実現する上で必要な制御用の情報やデータの格納に用いられる。また、メモリ２１２は、例えば、プロセッサ２１１により実行されるプログラムを格納する。メモリ２１２は、揮発性のＤＲＡＭ（Dynamic Random Access Memory）であってもよいし、不揮発のＳＣＭ（Storage Class Memory）であってもよいし、その他の記憶デバイスであってもよい。

ドライブ２１４は、各種のデータ、プログラム等を記憶する。ドライブ２１４は、ＳＡＳ（Serial Attached SCSI）またはＳＡＴＡ（Serial Advanced Technology Attachment）接続のＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＮＶＭｅ（Non-Volatile Memory Express）接続のＳＳＤの他、ＳＣＭ等であってもよく、記憶デバイスの一例である。ポート２１５は、ネットワーク２２０に接続され、サイト２０１内の他のノード１００と通信可能に接続されている。ネットワーク２２０は、例えば、ＬＡＮ（Local Area Network）であるが、ＬＡＮに限定するものではない。

ストレージシステム１０１に係る物理構成は、上述の内容に限定されるものではない。例えば、ネットワーク２２０，２０２については、冗長化されていてもよい。また、例えば、ネットワーク２２０は、管理用のネットワークとストレージ用のネットワークとで分離してもよく、接続規格は、Ethernet（登録商標）、Infiniband、無線でもよく、接続トポロジも図２に示す構成に限定しない。

図３は、ストレージシステム１０１に係る論理構成の一例を示す図である。ストレージシステム１では、ストレージ仮想化が行われ、複数の物理領域が仮想的に統合され、１つのストレージプールとして利用される。さらに、ストレージシステム１では、シンプロビジョニングにより、各ホストノード３００が現在利用している容量だけが割り当てられている。

より具体的には、図３に示すように、ドライブ２１４は、データ、パリティ等を格納する物理的な領域であるデータ格納領域を有する。データ格納領域のうちの全部または一部の領域であり、連続した領域である物理チャンク３０１は、パリティグループ３０２に割り当てられる。

パリティグループ３０２は、複数のノード１００のドライブ２１４の物理チャンク３０１から構成される。例えば、データ保護ポリシが４Ｄ１Ｐである場合、異なるノード１００のドライブ２１４から確保した５つの物理チャンク３０１でパリティグループ３０２が構成される。

ここで、データ保護ポリシとしては、例えば、ＥＣ（Erasure Coding）がある。なお、ＥＣとしては、データローカリティを保持しない第１の方式と、データローカリティを保持する第２の方式（例えば、国際公開第２０１６／５２６６５号に記載の方式）とがあるが、ストレージシステム１０１には、何れの方式も適用可能である。なお、本実施の形態では、第２の方式を適用したケースを例に挙げて主に説明する。

付言するならば、例えば、第１の方式の２Ｄ１ＰのＥＣでは、ライト要求のデータを第１のデータと第２のデータとに分け、第１のデータを第１のノード１００－０に格納し、第２のデータを第２のノード１００－１に格納し、第１のデータおよび第２のデータのパリティを第３のノード１００－３に格納することで冗長化が行われる。また、例えば、第２の方式の２Ｄ１ＰのＥＣでは、ライト要求のデータを第１のデータと第２のデータとに分け、第１のデータおよび第２のデータを第１のノード１００－０（自ノード１００）に格納し、第１のデータのパリティを第２のノード１００－１に格納し、第２のデータのパリティを第３のノード１００－２に格納することで冗長化が行われる。

パリティグループ３０２からは、論理チャンク３０４が切り出される。論理チャンク３０４は、各ノード１００のストレージプール３０５に容量を割り当てる単位である。１つのパリティグループ３０２から１つの論理チャンク３０４が切り出されてもよいし、複数の論理チャンク３０４が切り出されてよい。

付言するならば、例えば、データ保護ポリシが４Ｄ１Ｐである場合、データの格納領域として利用できるのは、パリティグループ３０２に割り当てられた物理チャンク３０１の総量の４／５となり、パリティの格納領域として利用できるのは、パリティグループ３０２に割り当てられた物理チャンク３０１の総量の１／５となる。つまり、論理チャンク３０４として切り出せる最大の容量は、データ保護ポリシに応じて異なる。

切り出された論理チャンク３０４は、ストレージプール３０５にアタッチされる。ストレージプール３０５は、１以上の論理チャンク３０４を含んで構成される。ストレージプール３０５からは、アプリケーション３１１により利用される仮想ボリューム３０６が切り出される。つまり、ストレージプログラム３０３は、利用者の要求に応じた容量を、ドライブ２１４に割り当てず、仮想ボリューム３０６として割り当てる。

例えば、ストレージプログラム３０３は、アプリケーション３１１からライト要求を受信した場合、新規のライトであるときは、仮想ボリューム３０６のページ３０７、より詳細にはページ３０７に紐づく物理チャンク３０１の物理領域を割り当てる。なお、ページ３０７には、論理チャンク３０４のページ３０８が対応付けられている。更新のライトであるときは、ストレージプログラム３０３は、割り当てたページ３０７に紐づく物理チャンク３０１の物理領域を特定してデータを更新する。なお、ライト要求のデータ（または後述の中間データ）は、データの冗長化に係る他のノード１００に転送されてパリティが更新される。

このように、ストレージプログラム３０３は、ドライブ２１４を共有のストレージプール３０５として管理し、仮想ボリューム３０６に書き込まれたデータ量に応じてドライブ２１４に容量を割り当てる。これにより、使用されないドライブ２１４の無駄をなくし、効率的な運用が行わる。以下では、データを更新するにあたり、当該データは、ライト要求を受領したノード１００のドライブ２１４（ローカルドライブ）に格納される構成を例に挙げて主に説明する。すなわち以下では、データローカリティを維持し、リード時のネットワークオーバヘッドを排除する構成を主に説明する。

なお、データにアクセスするアプリケーション３１１は、ホストノード３００に設けられて動作してもよいし、ストレージプログラム３０３と同一ノード１００に設けられて動作してのであってもよいし、別のノード１００に設けられて動作してもよい。

図４は、メモリ２１２内の情報、換言するとドライブ２１４からメモリ２１２に読み出される情報の一例を示す図である。なお、制御情報テーブル４１０、各種のプログラム（ストレージプログラム３０３等）は、実行中はメモリ２１２上に展開されるが、停電等に備えてドライブ２１４等の不揮発な領域に格納されている。

制御情報テーブル４１０には、クラスタ構成管理テーブル４１１、ストレージプール構成管理テーブル４１２、パリティグループ管理テーブル４１３、グループマッピング管理テーブル４１４、ストライプマッピング管理テーブル４１５が含まれる。各テーブルについては、図５～図８、図１０を用いて後述する。

ストレージプログラム３０３は、構成変更処理プログラム４２１、グループマッピング決定処理プログラム４２２、リード処理プログラム４２３、ライト処理プログラム４２４、グループマッピング変更処理プログラム４２５を含む。ストレージプログラム３０３は、例えば、プロセッサ２１１がドライブ２１４に格納されたプログラムをメモリ２１２に読み出して実行すること、すなわちソフトウェア処理により実現されてもよい。またストレージプログラム３０３の少なくとも一部は、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。さらにストレージプログラム３０３の少なくとも一部は、ノード１００と通信可能な他のコンピュータにより実現されてもよい。

図５は、クラスタ構成管理テーブル４１１の一例を示す図である。クラスタ構成管理テーブル４１１は、サイト２０１、ノード１００、およびドライブ２１４の構成を管理するための情報を格納する。

クラスタ構成管理テーブル４１１は、サイト構成管理テーブル５１０、ノード構成管理テーブル５２０、およびドライブ構成管理テーブル５３０を含んで構成される。なお、ストレージシステム１０１はサイト構成管理テーブル５１０を管理し、サイト２０１はサイト２０１内の複数のノード構成管理テーブル５２０を管理し、ノード１００はノード１００内の複数のドライブ構成管理テーブル５３０を管理する。

サイト構成管理テーブル５１０は、サイト２０１に係る構成、たとえばサイト２０１とノード１００との関係等を示す情報を格納する。より具体的には、サイト構成管理テーブル５１０は、サイト番号５１１と、状態５１２と、ノードＩＤリスト５１３とが対応付けられた情報を格納する。サイト番号５１１は、サイト２０１を識別可能な識別情報である。状態５１２は、サイト２０１の状態を示す状態情報、たとえばＮＯＲＭＡＬ、ＷＡＲＮＩＮＧ、ＦＡＩＬＵＲＥ等である。ノードＩＤリスト５１３は、サイト２０１に設けられるノード１００を識別可能な識別情報である。

ノード構成管理テーブル５２０は、サイト２０１ごとに設けられ、サイト２０１に設けられるノード１００に係る構成、たとえばノード１００とドライブ２１４との関係等を示す情報を格納する。より具体的には、ノード構成管理テーブル５２０は、ノードＩＤ５２１と、状態５２２と、ドライブＩＤリスト５２３とが対応付けられた情報を格納する。ノードＩＤ５２１は、ノード１００を識別可能な識別情報である。状態５２２は、ノード１００の状態を示す状態情報、たとえばＮＯＲＭＡＬ、ＷＡＲＮＩＮＧ、ＦＡＩＬＵＲＥ等である。ドライブＩＤリスト５２３は、ノード１００に設けられるドライブ２１４を識別可能な識別情報である。

ドライブ構成管理テーブル５３０は、ノード１００ごとに設けられ、ノード１００に設けられるドライブ２１４に係る構成を示す情報を格納する。より具体的には、ドライブ構成管理テーブル５３０は、ドライブＩＤ５３１と、状態５３２と、サイズ５３３とが対応付けられた情報を格納する。ドライブＩＤ５３１は、ドライブ２１４を識別可能な識別情報である。状態５３２は、ドライブ２１４の状態を示す状態情報、たとえばＮＯＲＭＡＬ、ＷＡＲＮＩＮＧ、ＦＡＩＬＵＲＥ等である。サイズ５３３は、ドライブ２１４の容量を示す、例えばＴＢ（テラバイト）やＧＢ（ギガバイト）単位の値である。

図６は、ストレージプール構成管理テーブル４１２の一例を示す図である。ストレージプール構成管理テーブル４１２は、ストレージプール３０５が提供するシンプロビジョニング機能のための制御情報を格納する。ストレージプール構成管理テーブル４１２は、ストレージプール情報テーブル６１０、仮想ボリューム管理テーブル６２０、およびページマッピングテーブル６３０を含んで構成される。

ストレージプール情報テーブル６１０は、ストレージプール３０５に係る情報を格納する。より具体的には、ストレージプール情報テーブル６１０は、ストレージプール番号６１１と、総容量６１２と、消費容量６１３とが対応付けられた情報を格納する。ストレージプール番号６１１は、ストレージプール３０５を識別可能な識別情報である。総容量６１２は、ストレージプール３０５の総容量を示す、例えばＴＢやＧＢ単位の値である。消費容量６１３は、ストレージプール３０５で消費されている容量を示す、例えばＴＢやＧＢ単位の値である。

仮想ボリューム管理テーブル６２０は、仮想ボリューム３０６に係る情報（仮想ボリューム３０６と仮想ボリューム３０６を割り当てたストレージプール３０５との対応関係を示す情報等）を格納する。より具体的には、仮想ボリューム管理テーブル６２０は、仮想ボリューム番号６２１、サイズ６２２、およびストレージプール番号６２３が対応付けられた情報を格納する。

仮想ボリューム番号６２１は、仮想ボリューム３０６を識別可能な識別情報である。サイズ６２２は、仮想ボリューム３０６の容量を示す、例えばＴＢやＧＢ単位の値である。ストレージプール番号６２３は、仮想ボリューム３０６が属するストレージプール３０５を識別可能な識別情報である。

ページマッピングテーブル６３０は、仮想ボリューム３０６に割り当てたページ３０７に係る情報、すなわちページ３０７と論理チャンク３０４との対応関係を示す情報等を格納する。より具体的には、ページマッピングテーブル６３０は、ページ番号６３１、仮想ボリューム番号６３２、ＬＢＡ（Ｌｏｇｉｃａｌ Ｂｌｏｃｋ Ａｄｄｒｅｓｓ）６３３、サイズ６３４、論理チャンク番号６３５、およびＬＢＡ６３６が対応付けられた情報を格納する。

ページ番号６３１は、ページ３０７を識別可能な識別情報である。仮想ボリューム番号６３２は、ページ３０７が割り当てられている仮想ボリューム３０６を識別可能な識別情報である。ＬＢＡ６３３は、仮想ボリューム３０６におけるページ３０７の位置を特定可能な情報であり、例えば、仮想ボリューム３０６の最初のページ３０７から何番目であるかを示す情報である。なお、ページ３０７は、ストレージプログラム３０３が仮想ボリューム３０６にアクセスする単位である。サイズ６３４は、ページ３０７の容量を示す、例えばＧＢやＭＢ（メガバイト）単位の値である。論理チャンク番号６３５は、ページ３０７に対応する論理チャンク３０４を識別可能な識別情報である。ＬＢＡ６３６は、ストレージプール３０５における論理チャンク３０４の位置を特定可能な情報であり、例えば、ストレージプール３０５の最初の論理チャンク３０４から何番目であるかを示す情報である。

なお、サイズ６３４は、全てのページ３０７で同じであってもよいし、ページ３０７ごとに異なっていてもよい。付言するならば、ストレージプログラム３０３は、仮想ボリューム３０６のアドレスからストレージプール３０５のアドレスへの変換を行う際にページマッピングテーブル６３０を参照する。また、ストレージプログラム３６０は、新規ライトを受領する度に、ページ３０７の割当て、すなわちページマッピングテーブル６３０へのレコードの追加を行う。

図７は、パリティグループ管理テーブル４１３の一例を示す図である。パリティグループ管理テーブル４１３は、物理チャンク３０１と複数の物理チャンク３０１を組み合わせて構成したパリティグループ３０２、すなわち冗長化グループの構成を管理するための制御情報を格納する。パリティグループ管理テーブル４１３は、論理チャンク管理テーブル７１０、パリティグループ管理テーブル７２０、物理チャンク管理テーブル７３０、およびフリー物理チャンクリスト７４０を含んで構成される。

論理チャンク管理テーブル７１０は、パリティグループ３０２から切り出された論理チャンク３０４に係る情報（論理チャンク情報）を格納する。より具体的には、論理チャンク管理テーブル７１０は、論理チャンクＩＤ７１１と、サイズ７１２と、パリティグループＩＤ７１３およびマッピング変更進捗情報７１４とが対応付けられた情報を格納する。論理チャンクＩＤ７１１は、パリティグループ３１０から切り出された論理チャンク３０４を識別可能な識別情報である。サイズ７１２は、論理チャンク３０４の容量を示す、例えばＴＢやＧＢ単位の値である。

パリティグループＩＤ７１３は、論理チャンク３０４が属するパリティグループ３０２を識別可能な識別情報である。構成変更中は、構成変更前後のパリティグループＩＤを格納する。マッピング変更進捗情報７１４は、論理チャンク３０４のデータを現行とは別のパリティグループに移動している場合に、移動の進捗情報を格納する。例えば、０％からはじまり、完了時は１００％の値を格納する。進捗情報は、例えば論理チャンク３０４の先頭ＬＢＡから順に実行する場合、（現在を移動中のデータを格納する先頭ＬＢＡ÷論理チャンク３０４の最大ＬＢＡ）×１００として計算する。

パリティグループ管理テーブル７２０は、パリティグループ３０２に係る情報（パリティグループ情報）を格納する。より具体的には、パリティグループ管理テーブル７２０は、パリティグループＩＤ７２１と、データ保護設定７２２と、物理チャンクＩＤ７２３とが対応付けられた情報を格納する。

パリティグループＩＤ７２１は、パリティグループ３０２を識別可能な識別情報である。データ保護設定７２２は、パリティグループ３０２のデータ保護設定である。物理チャンクＩＤ７２３は、パリティグループ３０２に割り当てられた物理チャンク３０１を識別可能な識別情報である。

物理チャンク管理テーブル７３０は、物理チャンク３０１に係る情報、たとえば開始オフセットからサイズ分だけドライブ２１４の物理領域を切り出して物理チャンク３０１として管理するための情報を格納する。より具体的には、物理チャンク管理テーブル７３０は、物理チャンクＩＤ７３１と、開始オフセット７３２と、サイズ７３３と、サイトＩＤ/ノードＩＤ/ドライブＩＤ７３４とが対応付けられた情報を格納する。

物理チャンクＩＤ７３１は、物理チャンク３０１を識別可能な識別情報である。開始オフセット７３２は、ドライブ２１４から物理チャンク３０１を切り出すときの開始位置を示す情報である。サイズ７３３は、物理チャンク３０１の容量を示す情報、たとえばブロックの数である。ここでブロックとは、ストレージデバイスへのアクセス単位を意味しており、典型的には１ブロックのサイズは５１２Ｂｙｔｅである。ただし、ブロックのサイズは５１２Ｂｙｔｅに限定せず、４ＫＢや８ＫＢでもよい。サイトＩＤ/ノードＩＤ/ドライブＩＤ７３４は、物理チャンク３０１が切り出されている記憶資源を識別可能な識別情報、すなわち物理チャンク３０１がどのサイト２０１のどのノード１００のどのドライブ２１４から切り出されているかを示す情報である。

フリー物理チャンクリスト７４０は、ノード１００内のドライブ２１４の物理チャンク３０１のうち、パリティグループ３０２に割り当てられていない物理チャンク３０１を識別可能な識別情報、例えば物理チャンクＩＤのリストである。フリー物理チャンクリスト７４０では、物理チャンク３０１の消費容量が少ないドライブ２１４の先頭の物理チャンク３０１から並べられている。換言するならば、ノード１００内の物理チャンク３０１の選定は、ドライブ２１４あたりの消費容量が少ないものから行われる。

図８は、グループマッピング管理テーブル４１４の一例を示す図である。グループマッピング管理テーブル４１４は、パリティグループ３０２を組むためのノードの組み合わせを管理するための制御情報を格納する。グループマッピング管理テーブル４１４は、マッピング管理テーブル８１０、マッピング分割管理テーブル８２０、および対応管理テーブル８３０を含んで構成される。

マッピング管理テーブル８１０は、パリティグループ３０２のマッピングに係る情報、たとえばあるカラム数で構成された分散ＲＡＩＤについてパリティグループを組むためのカラムＩＤの組み合わせを決めるための情報を格納する。マッピング管理テーブル８１０は、２Ｄ１Ｐ、すなわち３つのカラムでパリティグループを組む場合の一例を示している。より具体的には、マッピング管理テーブル８１０は、グループマップＩＤ８１１と、カラム数８１２と、ロケーションＩＤ８１３およびグルーピング情報８１４とが対応付けられた情報を格納する。

グループマップＩＤ８１１は、パリティグループ３０２の組み合わせを決めたマップを識別可能な識別情報である。カラムの数ごとに最低１つずつ情報を格納する。カラム数は、グループマップを構成する列、すなわちカラムの数を示す情報である。ロケーションＩＤ８１３は、対応付いたグループマップ内におけるカラムＩＤの組み合わせを決めた情報であるロケーションを識別可能な識別情報である。グルーピング情報８１４は、カラムＩＤの組み合わせを示す情報である。

マッピング分割管理テーブル８２０は、グループマップの分割に係る情報、すなわちクラスタを構成するノード数とグループマップの分割数を決めるための情報を格納する。より具体的には、マッピング分割管理テーブル８２０は、ノード数８２１と、マップ分割数８２２と、マップ分割情報８２３とが対応付けられた情報を格納する。

ノード数８２１は、クラスタを構成するノードの数を示す情報である。マップ分割数８２２は、クラスタを構成するノードに適用するグループマップの数を示す情報である。マップ分割情報８２３は、クラスタを構成するノードに適用するグループマップのカラム数の組み合わせを示す情報である。例えば、１６ノードで構成されたクラスタに対して、マップ分割情報８２３が（５，５，６）という情報を格納する時、カラム数が５で構成されたグループマップが２つと、カラム数が６で構成されたグループマップが１つとを使用してクラスタを構成するノードに対して、パリティグループを組む組み合わせを決定する。

対応管理テーブル８３０は、ノードとグループマップ情報の対応情報に係る情報を格納する。より具体的には、対応管理テーブル８３０は、ノードＩＤ８３１と、グループマップＩＤ８３２と、インデクスＩＤ８３３と、カラムＩＤ８３４とが対応付けられた情報を格納する。ノードＩＤ８３１は、ノード１００を識別可能な識別情報である。グループマップＩＤ８３２は、マッピング管理テーブル８１０におけるグループマップＩＤ８１１と同一である。インデクスＩＤ８３３は、同じグループマップＩＤをクラスタに適用した時に、適用したグループマップＩＤを識別可能な識別番号である。カラムＩＤ８３４は、マッピング管理テーブル８１０が格納するグルーピング情報８１４が示すカラムＩＤとノードＩＤ８３１とを対応付ける情報である。

図９は、グループマッピング管理においてマッピング変更方法を説明する概念図である。より具体的には、７ノードから８ノードにクラスタを拡張した時、グループマッピングを分割し、マッピングを管理する方法について説明する。図９では理解を容易にするために視認性を重視して記載しているが、図９に示す情報はこれまでに説明したテーブルに格納される情報である。

ノード‐グループ対応情報９０１は、７ノードで構成されたクラスタにおける情報を示す。ノード‐グループ対応情報９０１は、グループマップＩＤが４、インデクスＩＤが０の情報を対応付けている。またノード‐グループ対応情報９０１は、ノードＩＤがＮ１、Ｎ２、・・・、Ｎ７のノードとロケーションカラム対応表９０２が示すカラムＩＤがＣ０、Ｃ１、・・・、Ｃ６のカラムを対応付けている。すなわちノード‐グループ対応情報９０１は、対応管理テーブル８３０に格納される情報を図１０とは異なる表現で示したものである。

ロケーションカラム対応表９０２は、カラム数が７の構成において３つのカラムでパリティグループを構成する時のカラムＩＤの組み合わせ情報を示している。ロケーションＩＤは、各組み合わせの情報を示しており、例えばロケーションＩＤが０の組み合わせでは、カラムＩＤがＣ０、Ｃ１、Ｃ２の組み合わせでパリティグループを構成する。ロケーションＩＤが０の組み合わせをノードＩＤに置き換えると、ノードＩＤがＮ１、Ｎ２、Ｎ３の組み合わせでパリティグループを組むことになる。ロケーションＩＤが１～６についても同じようにパリティグループの組み合わせを示している。

図９のロケーションカラム対応表９０２は、マッピング管理テーブル８１０におけるカラム数８１２が「７」の場合における、ロケーションＩＤ８１３とカラムＩＤとの関係を視覚的に示したものである。

ノード‐グループ対応情報９０３は、８ノードで構成されたクラスタにおける情報を示す。ノード‐グループ対応情報９０３は、ノードＩＤがＮ１～Ｎ４のノードに対して、グループマップＩＤが１、インデクスＩＤが０の情報を対応付けている。さらにノード‐グループ対応情報９０３は、ノードＩＤがＮ１、Ｎ２、Ｎ３、Ｎ４のノードとロケーションカラム対応表９０２が示すカラムＩＤがＣ０、Ｃ１、Ｃ２、Ｃ３のカラムを対応付けている。

またノード‐グループ対応情報９０３は、ノードＩＤがＮ５～Ｎ８のノードに対して、グループマップＩＤが１、インデクスＩＤが１の情報を対応付けている。さらにノード‐グループ対応情報９０３は、ノードＩＤがＮ５、Ｎ６、Ｎ７、Ｎ８のノードとロケーションカラム対応表９０２が示すカラムＩＤがＣ０、Ｃ１、Ｃ２、Ｃ３のカラムを対応付けている。

ロケーションカラム対応表９０４は、カラム数が４の構成において３つのカラムでパリティグループを構成する時のカラムＩＤの組み合わせ情報を示している。ロケーションＩＤは、各組み合わせの情報を示しており、例えばロケーションＩＤが０の組み合わせでは、カラムＩＤがＣ０、Ｃ１、Ｃ２の組み合わせでパリティグループを構成する。ロケーションＩＤが０の組み合わせをノードＩＤに置き換えると、インデクス０に対応する組みでは、ノードＩＤがＮ１、Ｎ２、Ｎ３の組み合わせでパリティグループを組むことになり、インデクス１に対応する組みでは、ノードＩＤがＮ５、Ｎ６、Ｎ７の組み合わせでパリティグループを組むことになる。ロケーションＩＤが１～３についても同じようにパリティグループの組み合わせを示している。

図９のロケーションカラム対応表９０４は、マッピング管理テーブル８１０におけるカラム数８１２が「４」の場合における、ロケーションＩＤ８１３とカラムＩＤとの関係を視覚的に示したものである。

図１０は、ストライプマッピング管理テーブル４１５の一例を示す図である。ストライプマッピング管理テーブル４１５は、パリティグループ３０２内のデータとパリティとの配置を管理するための情報を格納する。より具体的には、ストライプマッピング管理テーブル４１５には、列（Ｃｏｌｕｍｎ）と、行（Ｒｏｗ）とにより識別される各セグメント（要素）に、パリティグループ３０２のデータとパリティとの何れが格納されるかを示す情報が格納される。

例えば、「Ｃｏｌｕｍｎ０」と「Ｒｏｗ０」とにより識別されるセグメント１００１「Ａ１」には、パリティグループ３０２が「ＧｒｏｕｐＡ」のデータが格納されることが示されている。「Ｃｏｌｕｍｎ１」と「Ｒｏｗ０」とにより識別されるセグメント１００２「Ａ２」には、パリティグループ３０２が「ＧｒｏｕｐＡ」のデータが格納されることが示されている。「Ｃｏｌｕｍｎ３」と「Ｒｏｗ０」とにより識別されるセグメント１００３「ＡＰ」には、パリティグループ３０２が「ＧｒｏｕｐＡ」のパリティが格納されることが示されている。なお、パリティグループ３０２「ＧｒｏｕｐＡ」を示すセグメント１００１「Ａ１」と、セグメント１００２「Ａ２」と、セグメント１００３「ＡＰ」との組合せを「ストライプ」と適宜称する。

ここで、構成単位１０１０に示すように、マッピング変更の処理の単位を「フレーム」と称する。構成単位１０２０に示すように、一のオフセットが一のパリティグループ３０２で構成される場合、当該一のオフセットを示す単位を「チャンク」と称する。構成単位１０３０に示すように、一のオフセットが一のパリティグループ３０２で構成される場合、ストライプマッピング管理テーブル４１５で管理される単位を「サイクル」と称する。

また、ストライプマッピング管理テーブル４１５は、データ保護ポリシが「２Ｄ１Ｐ」である場合の例を示し、データ保護ポリシが変わると、ストライプマッピング管理テーブル４１５の内容が変更される。

また、あるパリティグループ３０２における物理チャンク３０１あたりのデータとパリティとの格納比率は、データ保護ポリシがｍＤｎＰのとき、データ：パリティ＝ｍ：ｎとなるように、ストライプマッピング管理テーブル４１５が設定されるのが好適である。パリティは、頻繁に更新されるので、あるノード１００にパリティが偏って格納されると、当該ノード１００に負荷が偏ってしまう。しかしながら、上述したように格納比率を決定することで、各ノード１００における負荷を均一化することができるようになる。

ここで、ストライプマッピング管理テーブル４１５では、あるデータ領域の物理ＬＢＡに対して、パリティ領域の物理ＬＢＡ（冗長化先）を特定するために使用される。冗長化先を特定する方法としては、例えば、次のような方法が挙げられる。第１ステップとして、マッピング管理テーブル８１０のリストの先頭からカラムＩＤ＝０を採番する。第２ステップとして、アクセス先のグループＩＤとノードＩＤとから対応するカラムＩＤを取得する。第３ステップとして、アクセス先のＬＢＡからＲｏｗを算出する。この算出にはたとえば次の数式１を用いることができる。

Row ID = LBA mod Rowmax ・・・数式１

なおRowmaxは、図１２に示したストライプマッピング管理テーブル４１５の例では「３」である。第４ステップとして、データ側のＲｏｗおよびＣｏｌｕｍｎが特定できたら、対応するｘＰ（パリティ側）のＲｏｗおよびＣｏｌｕｍｎを取得する。第５ステップとして、パリティ側のノードＩＤと物理ＬＢＡを算出する。この算出にはたとえば次の数式２を用いることができる。

LBAp ＝ LBAd ＋ Ssize × Row ID ・・・数式２

なお数式２におけるSsizeは、セグメントのサイズである。また、データの修復処理におけるパリティ位置からデータ位置を特定する方法は、上記の逆手順となる。

図１１は、マッピング変更の概要図である。図１１において、符号１１１０および１１２０で示すロケーションノード対応表は、ロケーションＩＤとノードの組合せと、パリティグループとの対応付けを示す情報であり、「マッピング情報」とも呼べる。ロケーションノード対応表は、マッピング管理テーブル８１０および対応管理テーブル８３０を組み合わせることにより作成可能な、ロケーションＩＤとノードＩＤの組合せと、パリティグループの関係を視覚的にわかりやすく表現した表である。ロケーションノード対応表は説明の便宜のために記載しているにすぎず、ロケーションノード対応表そのものがメモリ２１２に格納されている必要はない。図１１では、ロケーションノード対応表１１１０およびロケーションノード対応表１１２０に示すように、「Ｎ３」のノード１００（ノード１００－３）が増設されるケースを例に挙げて説明する。

ロケーションノード対応表１１２０に示すように、ノードの追加により新たなパリティグループ３０２として「Ｇ３」が追加されている。本ストレージシステム１０１では、ノード１００内のオフセットは、上位オフセットから使用されていくので、未使用の最下位オフセットを使用してマッピング変更を行う。未使用のオフセットのマッピングを切り換えた後、上位オフセットのフレーム内の同位置の物理チャンク３０１の領域からデータをコピーする。コピーした契機でパリティを計算して構築する。このデータの移動は、ノード１００内のデータの移動となるので、データローカリティは消失しない。

例えば、「Ｇ０」のパリティグループ３０２を構成する移動元チャンクのデータ１１３１を移動先チャンクにコピーする際、データ１１３１は、「Ｇ０」のパリティグループ３０２を構成する他のノード１００（ノード１００－１、ノード１００－２）に転送される。データ１１３１を受け取ったノード１００－１は、転送されたデータ１１３１と旧パリティ１１３２とを用いて新パリティ１１３３を計算して格納する。また、データ１１３１を受け取ったノード１００－２は、転送されたデータ１１３１と旧パリティ１１３４とを用いて新パリティ１１３５を計算して格納する。なお、上述したデータの移動では、ストレージプール３０５は、データの移動の前後でデータが移動したことを意識しない。

図１２は、グループマッピング変更処理におけるパリティ再計算の概念図である。ノード数が３のクラスタに「Ｎ３」を追加（ノード増設）し、ノード数が４のクラスタに拡張したケースについて説明する。より具体的には、構成変更前のロケーションノード対応表１２１０から構成変更後のロケーションノード対応表１２２０にパリティグループの配置を変換する。

パリティグループの配置変換方法について説明する。構成変更前のロケーションノード対応表１２１０に基づいてパリティグループが配置されたフレームを移行元のフレーム１０１０－１とする。また、構成変更後のロケーションノード対応表１２２０に基づいてパリティグループが配置されたフレームを移行元のフレーム１０１０－２とする。移行先のフレームにおけるパリティグループから移行元のフレームにおけるパリティグループへデータをコピーすることでパリティグループの配置を変換する。

このとき、同じノード内にてデータをコピーして、パリティグループの配置を変換することでデータのローカリティを維持する。この際、パリティの再計算だけを行えればよいため、移行先のパリティグループと移行元のパリティグループで物理チャンクのデータ部分は共有させることで、移行先のパリティグループへのライト動作をスキップする。これにより、データ移行時のドライブ負荷を低減することができる。より具体的には、ドライブ２１４－１から切り出された物理チャンク３０１を使い移行元のパリティグループの論理チャンク３０４－１を定義する。また同じく、ドライブ２１４－１から切り出された物理チャンク３０１を使い移行先のパリティグループの論理チャンク３０４－１を定義する。

移行元のパリティグループの物理チャンクと移行先のパリティグループの物理チャンクは同じデータを持つため、このようにしてデータのコピーをスキップすることができる。
データのコピー時は、パリティ再計算のために他ノードに３０１－１から読み出したデータを転送して、移行先のパリティグループの組み合わせでパリティを再計算して格納する。データのコピー時の具体例を説明すると、例えば、ノード１００－２にパリティを格納する場合、ノード１００－２に３０１－１から読み出したデータを転送して、３０４－４のＧ０と、３０４－５のＧ０と、３０４－６のＧ０との組み合わせでパリティを再計算して格納する。

図１３は、構成変更処理に係るフローチャートの一例を示す図である。構成変更処理では、構成変更指示に基づいて、各ノード１００にマッピング変更要求がフレーム単位に発行される。構成変更処理は、ストレージプログラム３０３内で実行される。実行の契機としては、周期的に実行されてもよいし、ユーザからの操作受領契機で実行されてもよい。また、冗長度（ｐ）以下のノード障害やドライブ障害が発生した場合は、変更処理を継続（ロールフォワード）し、その後に障害部位をリプレースすることで正常状態に復帰する。なお、冗長度異常の障害発生時は変更処理が中止される。障害部位については、コレクションアクセスによりアクセス継続し、マッピング変更処理が継続される。

ステップＳ１３０１では、構成変更処理プログラム４２１は、ドライブ２１４を増設または減設する旨の指示（ドライブ増減設指示）を受信したか否かを判定する。構成変更処理プログラム４２１は、受信したと判定した場合はステップＳ１３０２に処理を移し、受信していないと判定した場合はステップＳ１３０３に処理を移す。

ステップＳ１３０２では、構成変更処理プログラム４２１は、パリティグループ管理テーブル７２０の物理チャンクＩＤの割当を変更する。構成変更処理プログラム４２１は、ドライブ２１４の増減設の場合は、ノード１００内のパリティグループ３０２に割り当てる物理チャンク３０１を変更し、ノード１００内のデータおよびパリティをドライブ２１４間で移動（データ移動）することで構成を変更する。この際、例えば、構成変更処理プログラム４２１は、各ドライブ２１４の容量が均一化されるように割当てを変更してデータ移動してもよいし、各ドライブ２１４のＩＯ負荷が均一化されるように割当てを変更してデータ移動してもよい。なお、構成変更処理プログラム４２１は、ドライブ２１４の増設の場合、ノード内の物理チャンク管理テーブル７３０の割当てを変更することなく、フリー物理チャンクリスト７４０に追加するようにしてもよい。

ステップＳ１３０３では、構成変更処理プログラム４２１は、ノード１００を増設または減設する旨の指示（ノード増減設指示）を受信したか否かを判定する。構成変更処理プログラム４２１は、受信したと判定した場合はステップＳ１３０４に処理を移し、受信していないと判定した場合はステップＳ１３０５に処理を移す。

ステップＳ１３０４では、構成変更処理プログラム４２１は、グループマッピング決定処理を実行し、データとパリティの配置情報を再計算し、ステップＳ１３０６に処理を移す。なお、グループマッピング決定処理については、図１４を用いて後述する。

ステップＳ１３０５では、構成変更処理プログラム４２１は、サイト２０１を増設または減設する旨の指示（サイト増減設指示）を受信したか否かを判定する。構成変更処理プログラム４２１は、受信したと判定した場合はステップＳ１３０４に処理を移し、受信していないと判定した場合は構成変更処理を終了する。

ステップＳ１３０６では、構成変更処理プログラム４２１は、マッピング変更の対象のフレームとして先頭のフレームを設定する。ステップＳ１３０７では、構成変更処理プログラム４２１は、フレーム内の論理チャンク３０４は、ストレージプール３０５に割当て済みであるか否かを判定する。構成変更処理プログラム４２１は、割当て済みであると判定した場合はステップＳ１３０８に処理を移し、割当て済みでないと判定した場合はステップＳ１３１０に処理を移す。このように、ストレージプール３０５に割り当てた領域のみを対象とすることで、構成変更時のノード１００間の転送コストを削減することができる。

ステップＳ１３０８では、構成変更処理プログラム４２１は、グループマッピング変更処理を行う。グループマッピング変更処理では、マッピング変更要求が各ノード１００に送信される。なお、グループマッピング変更処理については、図１９を用いて後述する。続くステップＳ１３０９では、構成変更処理プログラム４２１は、新規のマッピング管理テーブル８１０をパリティグループ管理テーブル４１３に反映する。

ステップＳ１３１０では、構成変更処理プログラム４２１は、全フレームに対して処理を完了したか否かを判定する。構成変更処理プログラム４２１は、完了したと判定した場合は構成変更処理を終了し、完了していないと判定した場合はステップＳ１３１１に処理を移す。ステップＳ１３１１では、構成変更処理プログラム４２１は、マッピング変更の対象とするフレームを次のフレームに進め、ステップＳ１３０７に処理を移す。

図１４は、図１３におけるステップＳ１３０４の詳細、すなわちグループマッピング決定処理に係るフローチャートの一例を示す図である。グループマッピング決定処理では、構成の変更後のノード数とマッピング分割管理テーブル８２０の情報から、マッピング管理テーブル８１０を参照し、適用するグループマッピング（グループマップＩＤ）が決定される。以下、詳細について説明する。

ステップＳ１４０１では、グループマッピング決定処理プログラム４２２は、マッピング分割管理テーブル８２０を参照してマッピング分割情報を取得する。ステップＳ１４０２では、グループマッピング決定処理プログラム４２２は、マッピングの分割が必要か否かを判定する。グループマッピング決定処理プログラム４２２はたとえば次の方法を判定に用いることができる。第１に、マップ分割数８２２が前後で異なるノード数、例えばマッピング分割管理テーブル８２０におけるノード数が１５または１６を閾値としてカラム増設、または減設後のカラム数が閾値を超えるか、または下回るか否かを判定してもよい。

第２に、構成変更の前後のノード数で分割数が異なるか否かを判定してもよい。第３に、信頼性を維持するためのノードあたりの容量を閾値としてシステムに登録しておき、クラスタ構成管理テーブル４１１を参照してグループあたりの容量が閾値を超えるか、または下回るか否かを判定してもよい。さらに上述した第１～第３の方法を組み合わせてもよい。たとえば第２と第３を組み合わせ、ノード数とグループあたりの容量の組合せで判断してもよい。グループマッピング決定処理プログラム４２２は、マッピングの分割数の変更が必要と判定した場合はステップＳ１４０６に処理を移し、分割数の変更が不要と判定した場合はステップＳ１４０３に処理を移す。

ステップＳ１４０３では、グループマッピング決定処理プログラム４２２は、受信した構成変更操作の要求内容が増設要求であるか否かを判定する。グループマッピング決定処理プログラム４２２は、増設要求である場合はステップＳ１４０４に処理を移し、増設要求でない場合、減設要求であったと判定し、ステップＳ１４０５に処理を移す。

ステップＳ１４０４では、グループマッピング決定処理プログラム４２２は、増設対象となるグループに対して、現在のカラム数と増設ノード数の和であるカラム数と一致するカラム数のグループマップＩＤを構成変更後のマップとして設定し、グループマッピング決定処理を終了する。

ステップＳ１４０５では、グループマッピング決定処理プログラム４２２は、減設対象となるグループに対して、現在のカラム数－減設ノード数分のカラム数と一致するカラム数のグループマップＩＤを構成変更後のマップとして設定し、グループマッピング決定処理を終了する。

ステップＳ１４０６では、グループマッピング決定処理プログラム４２２は、マッピング分割管理テーブルのマップ分割情報を参照して分割後のカラム数のリストを取得する。以降、このカラムのリスト内の要素をグループと呼称して説明する。ステップＳ１４０７では、グループマッピング決定処理プログラム４２２は、制御用に使用する一時インデクスＩＤを０で初期化する。

ステップＳ１４０８では、グループマッピング決定処理プログラム４２２は、次に更新対象とするグループをリストから取得する。ステップＳ１４０９では、グループマッピング決定処理プログラム４２２は、グループに割り当てられたカラム数に対応するグループマップＩＤを対応管理テーブル８３０に設定する。

ステップＳ１４１０では、グループマッピング決定処理プログラム４２２は、ノードＩＤとカラムＩＤの対応を対応管理テーブル８３０に設定する。ステップＳ１４１１では、グループマッピング決定処理プログラム４２２は、対応管理テーブル８３０のインデクスＩＤを現在の一時インデクスＩＤの値で設定する。ステップＳ１４１２では、グループマッピング決定処理プログラム４２２は、一時インデクスＩＤをインクリメント、すなわち現在値に１を加算する。

ステップＳ１４１３では、グループマッピング決定処理プログラム４２２は、ステップＳ１４０６で取得した全てのグループに対して、情報の設定を完了したか否かを判定する。グループマッピング決定処理プログラム４２２は、全てのグループに対して情報の設定を完了していないと判断する場合はステップＳ１４０８に移り、次のグループに対して情報を設定する。グループマッピング決定処理プログラム４２２は、全てのグループに対して情報の設定を完了したと判断する場合は、グループマッピング決定処理を終了する。

図１５は、リード処理に係るフローチャートの一例を示す図である。リード処理では、アプリケーション３１１からデータの読み取り要求、すなわちリード要求を受けて、自ノード１００のドライブ２１４からデータが読み出される。アクセス先の領域（ドライブ２１４）が障害状態である場合、冗長データからリード対象のデータが修復されて応答される。なおアプリケーション３１１は、リード要求とともに読み取り対象のデータが存在する仮想ボリュームのアドレスを指定する。以下、詳細について説明する。

ステップＳ１５０１では、リード処理プログラム４２３は、リード要求のデータについて、ストレージプール３０５にはページ３０７が未割当てであるか否かを判定する。リード処理プログラム４２３は、未割当てであると判定した場合はステップＳ１５０２に処理を移し、未割当てでないと判定した場合はステップＳ１５０３に処理を移す。ステップＳ１５０２では、リード処理プログラム４２３は、データが存在しないことを示す０データをアプリケーション３１１に返却し、リード処理を終了する。

ステップＳ１５０３では、リード処理プログラム４２３は、割当先のアドレスを取得する。ステップＳ１５０４では、リード処理プログラム４２３は、排他取得を行う。排他取得では、アクセス先のＬＢＡ（Ｌｏｇｉｃａｌ Ｂｌｏｃｋ Ａｄｄｒｅｓｓ）に対して、ミューテクス等の排他アルゴリズムを用いて、複数の処理が同時に同じ領域へアクセスしないように制御する。以降の排他処理についても同様の処理を行う。

ステップＳ１５０５では、リード処理プログラム４２３は、パリティグループ管理テーブル４１３の論理チャンク管理テーブル７１０を参照し、現在のパリティグループＩＤをリード対象に設定する。構成変更処理が動作しており、データ移行中である場合、リード処理プログラム４２３は、データ移行元のパリティグループＩＤをリード対象に設定する。

ステップＳ１５０６では、リード処理プログラム４２３は、ドライブからデータリードするためにリードサブ処理を実行する。リードサブ処理の詳細は、次の図１６を参照して説明する。またリード処理プログラム４２３は、リードサブ処理で返却されたデータをアプリケーション３１１に応答する。ステップＳ１５０７では、リード処理プログラム４２３は、排他解放を行い、リード処理を終了する。

図１６は、リードサブ処理、すなわち図１５のステップＳ１５０６に係るフローチャートの一例を示す図である。本実施例では、リード処理プログラム４２３が内部処理としてリードサブ処理を提供するため、処理主体をリード処理プログラム４２３として説明する。なおステップＳ１５１４～ステップＳ１５１７は厳密には処理の主体が異なるが、説明の便宜のために本図に含めている。以下、詳細について説明する。

ステップＳ１５１１では、リード処理プログラム４２３は、アクセス先のドライブ２１４が障害状態であるか否かを判定する。リード処理プログラム４２３は、障害状態であると判定した場合、ステップＳ１５１２に処理を移し、障害状態でないと判定した場合、ステップＳ１５２０に処理を移す。

ステップＳ１５１２では、リード処理プログラム４２３は、マッピング管理テーブル８１０から、リード要求のデータとパリティグループを組むノード１００（グループノード）を決定する。図１６の説明においてステップＳ１５１２において決定したグループノードを「対象グループノード」と呼ぶ。ステップＳ１５１３では、リード処理プログラム４２３は、ステップＳ１５０１２において決定したグループノード１００、すなわち対象グループノードにデータの修復に必要なデータのリードの要求を送信する。

ステップＳ１５１４では、対象グループノードのリード処理プログラム４２３は、排他取得を行う。ステップＳ１５１５では、対象グループノードのリード処理プログラム４２３は、修復に必要なデータまたはパリティをドライブからリードする。ステップＳ１５１６では、対象グループノードのリード処理プログラム４２３は、ステップＳ１５１５でリードしたデータまたはパリティを要求送信元のノードに送信する。

ステップＳ１５１７では、対象グループノードのリード処理プログラム４２３は、排他解放を行い、処理を終了する。すなわちリード処理プログラム４２３は、アプリケーション３１１からリード要求を受けると図１５に示す処理を開始し、他のリード処理プログラム４２３からリード要求を受けるとステップＳ１５１４～Ｓ１５１７の処理を行う。

ステップＳ１５１８では、リード処理プログラム４２３は、ステップ１５１３で対象グループノードのリード処理プログラム４２３が送信したリード要求の応答を受信する。ステップＳ１５１９では、リード処理プログラム４２３は、ステップ１５１８で受信したデータおよびパリティからアプリケーション３１１がリード対象とするデータを修復し、リード処理に処理結果を返却する。ステップＳ１５２０では、リード処理プログラム４２３は、自ノード１００のドライブ２１４（ローカルドライブ）からデータを読み出し、リード処理に処理結果を返却する。

図１７は、ライト処理に係るフローチャートの一例を示す図である。ライト処理では、アプリケーション３１１からの書き込み要求、すなわちライト要求を受けて、自ノード１００のドライブ２１４にデータが書き込まれ、さらに他ノード１００のドライブ２１４に冗長データ、すなわちパリティが書き込まれる。なおアプリケーション３１１は、ライト要求とともに書き込み対象領域である仮想ボリュームのアドレスを指定する。以下、詳細について説明する。

ステップＳ１６０１では、ライト処理プログラム４２４は、ライト要求のデータについて、ストレージプール３０５にはページ３０７が未割当てであるか否かを判定する。ライト処理プログラム４２４は、未割当てであると判定した場合はステップＳ１６０２に処理を移し、未割当てでないと判定した場合はステップＳ１６０３に処理を移す。ステップＳ１６０２では、ライト処理プログラム４２４は、自ノード１００のドライブ２１４の物理チャンク３０１が関連付けられている仮想ボリューム３０６、すなわち自系ボリュームにページ３０７を割り当てる。

ステップＳ１６０３では、ライト処理プログラム４２４は、割当先のアドレスを取得する。ステップＳ１６０４では、ライト処理プログラム４２４は、排他取得を行う。ステップＳ１６０５では、ライト処理プログラム４２４は、書込み前のデータ（以下では「旧データ」と呼ぶ）を読込む。より具体的には、旧データについて図１６に示すリードサブ処理を実行する。

ステップＳ１６０６では、ライト処理プログラム４２４は、中間データを生成する。中間データは、データを部分的に更新するときに作成する一時的なデータであり、新旧の差分を示すデータである。例えば、旧データのストライプが「Ａ１－Ａ２－ＡＰ」である場合、中間データは、次の数式３～数式５のように求められる。ただし数式３～数式５において、ＡＰ＿Ｏは旧パリティ、ＡＰ＿Ｎは新パリティ、Ａ１＿ＯはＡ１の旧データ、Ａ１＿ＮはＡ１の新データ、Ａ２＿ＯはＡ２の旧データ、Ｍは中間データを示す。

ＡＰ＿Ｏ＝Ａ１＿Ｏ ＸＯＲ Ａ２＿Ｏ ・・・数式３

Ｍ ＝ Ａ１＿Ｎ ＸＯＲ Ａ１＿Ｏ ・・・数式４

ＡＰ＿Ｎ ＝ ＡＰ＿Ｏ ＸＯＲ Ｍ ・・・数式５

ステップＳ１６０７では、ライト処理プログラム４２４は、パリティグループ管理テーブル４１３の論理チャンク管理テーブル７１０を参照し、現在のパリティグループＩＤをライト対象に設定する。構成変更処理が動作しており、データ移行中である場合、ライト処理プログラム４２４は、データ移行元のパリティグループＩＤをライト対象に設定する。ステップＳ１６０８では、ライト処理プログラム４２４は、ドライブへデータを書き込むためにライトサブ処理を実行する。

ステップＳ１６０９では、ライト処理プログラム４２４は、グループマッピングが変更中か否かを判定する。より具体的には、ライト処理プログラム４２４は、パリティグループ管理テーブル４１３の論理チャンク管理テーブル７１０を参照し、パリティグループＩＤに移行元と移行先のＩＤが記録されている場合は、グループマッピングが変更中であると判定する。ライト処理プログラム４２４は、グループマッピングが変更中であると判定した場合は、Ｓ１６１０へ処理を移す。ライト処理プログラム４２４は、グループマッピングが変更中でないと判定した場合は、ステップＳ１６１２へ処理を移す。

ステップＳ１６１０では、ライト処理プログラム４２４は、パリティグループ管理テーブル４１３の論理チャンク管理テーブル７１０を参照し、移行先のパリティグループＩＤをライト対象に設定する。ステップＳ１６１１では、ライト処理プログラム４２４は、ドライブへデータを書き込むためにライトサブ処理を実行する。ライトサブ処理は、次の図１８を参照して詳しく説明する。ステップＳ１６１２では、ライト処理プログラム４２４は、排他解放を行い、アプリケーション３１１へ応答を返し、ライト処理を終了する。

図１８は、ライトサブ処理に係るフローチャートの一例を示す図である。本実施例では、ライト処理プログラム４２４が内部処理としてライトサブ処理を提供するため、処理主体をライト処理プログラム４２４として説明する。なおステップＳ１６１７～ステップＳ１６２２は厳密には処理の主体が異なるが、説明の便宜のために本図に含めている。以下、詳細について説明する。

ステップＳ１６１３では、ライト処理プログラム４２４は、マッピング管理テーブル８１０を参照して冗長化先のノード１００を決定する。ステップＳ１６１４では、ライト処理プログラム４２４は、ステップＳ１６１３において決定した冗長化先のノード１００（以下では「対象ノード」と呼ぶ）に中間データを送信する。なお、ライト処理プログラム４２４は、冗長度に応じて、たとえば冗長度が２以上である場合は２以上のノード１００に中間データを転送する。

ステップＳ１６１５では、ライト処理プログラム４２４は、現在の処理は、データ移行先のパリティグループを対象としたライト処理であるか否かを判定する。データ移行先へのライトか否かは、パリティグループ管理テーブル４１３の論理チャンク管理テーブル７１０を参照し、移行先に設定されたパリティグループＩＤと現在ライト先に設定しているパリティグループＩＤが一致するか否かで判定する。ライト処理プログラム４２４は、データ移行先のパリティグループへのライトであると判定した場合は、ステップＳ１６２３へ処理を移す。ライト処理プログラム４２４は、データ移行先のパリティグループへのライトでないと判定した場合は、ステップＳ１６１６へ処理を移す。

このステップＳ１６１５の処理により、グループマッピング変更中においてデータ移行先のパリティグループに対しては、ローカルドライブへのライト回数を減らすことができる。ステップＳ１６１６では、ライト処理プログラム４２４は、ローカルドライブにライト要求のデータ（新データ）を書き込む。

ステップＳ１６１７では、対象ノードのライト処理プログラム４２４は、中間データを受信する。ステップＳ１６１８では、対象ノードのライト処理プログラム４２４は、排他取得を行う。ステップＳ１６１９では、対象ノードのライト処理プログラム４２４は、自ノード１００のドライブ、すなわちローカルドライブから旧パリティを読み出す。ステップＳ１６２０では、対象ノードのライト処理プログラム４２４は、中間データと旧パリティとから新パリティを計算する。ステップＳ１６２１では、対象ノードのライト処理プログラム４２４は、ローカルドライブに新パリティを書き込む。ステップＳ１６２２では、対象ノードのライト処理プログラム４２４は、排他解放を行い中間データを受信した際の処理を終了する。

ステップＳ１６２３では、対象ノードのライト処理プログラム４２４は、冗長化先ノードからのライト応答を受信待機し、応答を受信したらライト処理を終了する。

図１９は、グループマッピング変更処理に係るフローチャートの一例を示す図である。グループマッピング変更処理は２つのプログラムで構成されており、ステップＳ１７０１からはじまるフローチャートは、フレーム内のパリティグループ全体に対してのデータ移行を制御し、ステップＳ１７０５からはじまるフローチャートは、一つのパリティグループに対してのデータ移行を制御する。以下、詳細について説明する。

ステップＳ１７０１では、グループマッピング変更処理プログラム４２５は、現行のフレームを移動元のフレームに設定し、次オフセットのフレームを移動先のフレームに設定する。ステップＳ１７０２では、グループマッピング変更処理プログラム４２５は、移動元のフレームから移動元のパリティグループの物理チャンク３０１（以下、「移行元チャンク」と呼ぶ）を移行元に設定する。

ステップＳ１７０３では、グループマッピング変更処理プログラム４２５は、移動先のフレームにおいて移動先のパリティグループの物理チャンク３０１（以下、「移動先チャンク」と呼ぶ）を移行先に設定する。ステップＳ１７０４では、グループマッピング変更処理プログラム４２５は、移動元チャンクから移動先チャンクへデータを移動する要求（移動要求）を移動元チャンクを有するノード１００に送信する。

ステップＳ１７０５では、移動要求を受信したノード１００（以下、「受信ノード」と呼ぶ）のグループマッピング変更処理プログラム４２５は、マッピング変更進捗情報７１４を初期化する。ステップＳ１７０６では、受信ノードのグループマッピング変更処理プログラム４２５は、移動元チャンクの先頭アドレスを取得する。ステップＳ１７０７では、受信ノードのグループマッピング変更処理プログラム４２５は、排他取得を行う。

ステップＳ１７０８では、受信ノードのグループマッピング変更処理プログラム４２５は、データ移行元のパリティグループ（ＰＧ）をリード先に設定する。ステップＳ１７０９では、受信ノードのグループマッピング変更処理プログラム４２５は、設定したパリティグループとアドレスが示す領域からデータをリードする。より具体的には、リードサブ処理を実行する。ステップＳ１７１０では、受信ノードのグループマッピング変更処理プログラム４２５は、データ移行先のパリティグループ（ＰＧ）をライト先に設定する。

ステップＳ１７１１では、受信ノードのグループマッピング変更処理プログラム４２５は、ステップＳ１７０９でリードしたデータをライトする。より具体的には、ライトサブ処理を実行する。ステップＳ１７１２では、受信ノードのグループマッピング変更処理プログラム４２５は、排他解放を行う。ステップＳ１７１３では、受信ノードのグループマッピング変更処理プログラム４２５は、マッピング変更進捗情報７１４を更新する。例えばマッピング変更進捗情報は、以下の数式６で計算された値Ｖに更新する。

Ｖ＝（現在の移行対象ＬＢＡ÷移動元チャンクの最大ＬＢＡ）×１００・・数式６

ステップＳ１７１４では、受信ノードのグループマッピング変更処理プログラム４２５は、次にデータ移行を行うアドレスを取得する。ステップＳ１７１５では、受信ノードのグループマッピング変更処理プログラム４２５は、パリティグループ内の全て領域に対して、データ移行処理が完了したか否かを判定する。より具体的には、受信ノードのグループマッピング変更処理プログラム４２５は、マッピング変更進捗情報７１４が１００％を示すと、データ移行処理が完了したと判定する。受信ノードのグループマッピング変更処理プログラム４２５は、データ移行処理が完了したと判定した場合は、ステップＳ１７１６に処理を移す。受信ノードのグループマッピング変更処理プログラム４２５は、データ移行処理が完了していないと判定した場合、ステップＳ１７０７に処理を移す。

ステップＳ１７１６では、グループマッピング変更処理プログラム４２５は、移動要求を送信したノード１００からの応答完了を受信する。ステップＳ１７１７では、グループマッピング変更処理プログラム４２５は、フレーム内の全パリティグループ（ＰＧ）に対して、データ移行処理が完了したか否かを判定する。グループマッピング変更処理プログラム４２５は、フレーム内の全パリティグループ（ＰＧ）に対して、データ移行処理が完了したと判定する場合は、グループマッピング変更処理を終了する。グループマッピング変更処理プログラム４２５は、フレーム内の全パリティグループ（ＰＧ）に対して、データ移行処理が完了していないと判定する場合は、ステップＳ１７１８に処理を移す。ステップＳ１７１８では、グループマッピング変更処理プログラム４２５は、次に移行対象とするパリティグループ（ＰＧ）を設定して、ステップＳ１７０２へ処理を移す。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）サイト２０１は、記憶領域を提供する複数のノード１００と、データを物理的に記憶するドライブ２１４と、を備える。サイト２０１は、記憶領域に格納されるユーザデータと、ユーザデータを保護するための冗長データと、を含む複数のデータによりパリティグループを構成し、パリティグループ内の複数のデータを、複数のノードにわたる一つの所定範囲内の記憶領域に記憶し、所定範囲の状態に基づいて、所定範囲を分割するための処理を行う、または、複数の所定範囲を併合するための処理を行う。そのため、信頼性と適用性の高いストレージシステムを実現することができる。

（２）上述した所定範囲は、ノードグループである。ステップＳ１４０１における第２の方法を採用し、ノードグループに含まれるノード１００の数に基づいて、分割または併合にかかる処理を行うことができる。

（３）ステップＳ１４０１における第２の方法と第３の方法を組み合わせて、ノード１００の数およびグループあたりの容量に基づいて、分割または併合にかかる処理を行うことができる。この場合は、ノード数だけでなく容量も考慮することで、信頼性をさらに高めることができる。

（４）分割または併合にかかる処理は、第１の所定範囲を第２の所定範囲と第３の所定範囲に分割することである。第１の所定範囲に記憶されていた複数のデータで構成されるパリティグループを移動させて、第２の所定範囲に記憶されるパリティグループと、第３の所定範囲に記憶されるパリティグループと、を生成する。

（５）前述の分割または併合にかかる処理は、第４の所定範囲と第５の所定範囲とを第６の所定範囲に併合することである。

（６）パリティグループに含まれるデータを移動させることで、分割または併合後の所定範囲内にパリティグループを格納する。

（７）パリティグループに含まれるユーザデータを他のユーザデータと入れ替えるとともに、入れ替え後のユーザデータに基づいてパリティデータを生成して記憶することで、分割または併合後の所定範囲内にパリティグループを格納する。

（８）分割または併合後の所定範囲内に記憶されていた複数のユーザデータで新たなパリティグループを構成するとともに、複数のユーザデータからパリティデータを新たに生成して分割または併合後の所定範囲内に記憶する。

（９）ドライブ、ノードまたはサイトの増設または減設による記憶領域の増減を伴う場合、または、ホストライトがある場合には、記憶領域の増減によるデータ移動またはホストライトによるデータ更新とともに、分割または併合後の所定範囲内へのパリティグループの移動を行う。

―第２の実施の形態―
図２０～図２３を参照して、ストレージシステムの第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、共有型ストレージシステムを対象とする点で、第１の実施の形態と異なる。換言すると、第１の実施の形態は複数のノードを含む１つのサイトについて説明したが、本実施の形態では複数のディスクを含む１つのノードについて説明する。以下では、第１の実施の形態と異なる構成について主に説明する。

図２０は、本実施の形態の計算機システム１８００に係る構成の一例を示す図である。第１の実施の形態と同じ構成については、同じ符号を用いて説明を省略する。計算機システム１８００は、ストレージシステム１８１０と、管理ノード１８２０と、ホストノード３５０とを含んで構成される。ストレージシステム１８１０と、管理ノード１８２０と、ホストノード３５０とは、ネットワーク１８３０を介して通信可能に接続される。なおネットワーク１８３０の種類は特に限定されないが、たとえばＳＡＮ（Storage Area Network）、やＩＥＥＥ８０２．３等を用いることができる。

ストレージシステム１８１０は、プロセッサ２１１、メモリ２１２等を含む１以上のプロセッサパッケージ２１３、１以上のドライブ２１４、１以上のポート２１５、キャッシュメモリ１８１１、共有メモリ１８１２、および管理Ｉ／Ｆ１８１３を含んで構成される。プロセッサパッケージ２１３、ポート２１５、キャッシュメモリ１８１１、および共有メモリ１８１２は内部バス２１６を介して接続される。ドライブ２１４とその他の構成要素は、内部バス２１６で接続されてもよいし、筐体を分離してＩＥＥＥ８０２．３などの有線ネットワークを用いて接続し、ＮＶＭｅ ｏｖｅｒ Ｆａｂｒｉｃなどのファブリックを形成してもよい。

キャッシュメモリ１８１１は、ストレージシステム１８１０のＩ／Ｏ処理のスループット、レスポンス等を向上させるために、データを一時的なキャッシュデータとして格納するための高速アクセスが可能なメモリである。共有メモリ１８１２は、プロセッサ２１１がリード命令、ライト命令等を処理し、ストレージの機能（仮想ボリューム３０６のコピー機能等）を実行する上で、必要な制御用の情報を格納するメモリである。また、共有メモリ１８１２は、複数のプロセッサパッケージ２１３間のプロセッサ２１１で共有している情報を格納するメモリである。

管理Ｉ／Ｆ１８１３は、ネットワーク１８３０に接続され、管理ノード１８２０と通信可能に接続されている。ストレージシステム１８１０では、障害からデータを保護するために、複数のドライブ２１４が使用されてパリティグループ１８１４が組まれている。管理ノード１８２０は、ネットワーク１８３０を介して、ストレージシステム１８１０の管理Ｉ／Ｆ１８１３またはポート２１５に接続される。ストレージ管理者が管理ノード１８２０を用いて、ストレージシステム１８１０に対して、ストレージシステム１８１０を運用する上で必要な各種設定、管理のための命令等を送信する。

図２１は、構成変更処理に係るフローチャートの一例を示す図である。第１の実施の形態の構成変更処理と同じ内容については、同じ符号を付して説明を省略する。第２の実施の形態における構成変更処理は、ステップＳ１９０１から開始される。ステップＳ１９０１では、構成変更処理プログラム４２１は、ドライブ２１４を増設または減設する旨の指示（ドライブ増減設指示）を受信したか否かを判定する。構成変更処理プログラム４２１は、受信したと判定した場合はステップＳ１３０４に処理を移し、受信していないと判定した場合は構成変更処理を終了する。ステップＳ１３０４以降の処理は第１の実施の形態と同様なので説明を省略する。

図２２は、マッピング変更の概要図である。第１の実施の形態の構成変更処理と同じ内容については、説明を省略し、異なる内容だけを説明する。ここでは、ロケーションノード対応表２０１０およびロケーションノード対応表２０２０に示すように、「Ｎ３」のドライブ２１４－３が増設されるケースを例に挙げて説明する。第２の実施の形態では、ノード（ストレージコントローラ）が一つしかなく、常にデータのローカリティは維持できるため、パリティの再計算ではなく、ドライブ間でデータを移動することで、マッピングを変更する。例えば、「Ｇ０」のパリティグループ３０２を構成する移動元チャンク３０１－０のデータを移動先チャンク３０１－１にコピーすることで、マッピングを変更する。

図２３は、第２の実施の形態におけるグループマッピング変更処理に係るフローチャートの一例を示す図である。第１の実施の形態のグループマッピング変更処理と同じ処理については、同じ符号を付して説明を省略する。第２の実施の形態では、ステップＳ１７０３の次にステップＳ２１０１の処理が行われる。ステップＳ２１０１では、グループマッピング変更処理プログラム４２５は、移行先フレームから同じグループマップＩＤを有するノードの物理チャンクを移行先チャンクに設定し、データ移行要求を送信する。

また第１の実施の形態とは異なり、ステップＳ１７１０の次にステップＳ２１０２の処理が行われる。ステップＳ２１０２では、移行要求を受信したノード１００のグループマッピング変更処理プログラム４２５は、ステップＳ１７０９で読み出したデータを、移行先となる物理チャンクに対応するドライブに直接ライトする。これにより、パリティの再計算は伴わずドライブ間でのデータの移動だけを行いマッピングを変更する。その他の処理は第１の実施の形態と同様なので説明を省略する。

上述した第２の実施の形態によれば、次の作用効果が得られる。
（１０）上述した所定範囲は、ドライブグループである。グループマッピング決定処理プログラム４２２は、ドライブグループに含まれるドライブの数に基づいて、分割または併合にかかる処理を行う。そのため、１つのノードにおいて第１の実施の形態と同様の作用効果を得ることができる。

（変形例１）
図２４を参照して、変形例１を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、データのローカリティを維持しない点で、第１の実施の形態と異なる。

図２４は、変形例１におけるマッピング変更の概要図である。第１の実施の形態の構成変更処理と同じ内容については、説明を省略し、異なる内容だけを説明する。ここでは、ロケーションノード対応表２２１０およびロケーションノード対応表２２２０に示すように、「Ｎ３」のノード１００－３が増設されるケースを例に挙げて説明する。

変形例１では、データのローカリティを維持しないため、ノード間でデータを移動することで、マッピングを変更する。例えば、「Ｇ０」のパリティグループ３０２を構成する移動元チャンク３０１－０のデータを移動先チャンク３０１－１にコピーすることで、マッピングを変更する。そのため変形例１では、グループマッピング変更処理プログラム４２５の処理は、第２の実施の形態において図２３に示した処理と同様である。

この変形例１によれば、読み出し速度が遅いドライブ２１４を用いる場合など、データのローカリティを維持しない場合にも第１の実施の形態と同様の作用効果を得ることができる。

（変形例２）
図２５～図２６を参照して、変形例２を説明する。上述した実施の形態では、グループマッピング決定処理により、必要に応じて、いわば自動処理によりマッピングの分割数が変更された。しかし、マッピングの分割数の変更が必要である旨をユーザに報知し、ユーザの指示があった場合のみマッピングの分割数を変更してもよい。

図２５は、変形例２によるグループマッピング決定処理に係るフローチャートの一例を示す図である。ここでは第１の実施の形態との相違のみを説明する。また作図の都合により、図２５では第１の実施の形態と同様の処理は記載を省略している。本変形例では、グループマッピング決定処理プログラム４２２は、ステップＳ１４０２において肯定判定をすると、ステップＳ２５０１に進む。なお、ステップＳ１４０２において否定判定をする場合は、第１の実施の形態と同様にステップＳ１４０３に進み、その後の処理も第１の実施の形態と同様である。

ステップＳ２５０１では、グループマッピング決定処理プログラム４２２は、ユーザにマッピングの分割数の変更が必要である旨を報知する。この報知は、音声、文字、および映像など様々な手段を用いることができる。なお、この報知はユーザにマッピングの分割数の変更の必要性を示しユーザの指示を促すものなので、この報知はパリティグループを分割する、またパリティグループを併合するための処理と呼ぶこともできる。

続くステップＳ２５０２ではグループマッピング決定処理プログラム４２２は、ユーザから変更指示、すなわちマッピングの分割数を変更する指示が入力されたか否かを判定する。ユーザによる入力は、不図示の押しボタンの押下、タッチパネルのタッチ操作、および音声による指示など、様々な手段を用いることができる。グループマッピング決定処理プログラム４２２は、ステップＳ２５０２を否定判断する場合はステップＳ２５０２に留まり、肯定判断する場合はステップＳ１４０６に進む。ステップＳ１４０６以降の処理は第１の実施の形態と同様なので説明を省略する。

図２６は、ステップＳ２５０１におけるユーザへの報知を映像により行う場合の画面表示の一例を示す図である。ここでは、ロケーションノード対応表において、一つのグループマップを適用したノード群をノードグループと呼称する。ノードグループ情報２３００は、ノードグループの推奨構成の情報２３１０と、メッセージの情報２３２０とを含む。
ノードグループの推奨構成の情報２３１０は、ノードグループ推奨数３２１１と、クラスタに含まれるノード数２３１２を軸とした２軸グラフと、クラスタに含まれるノード数ごとのノードグループ数の推奨数２３１３と、現在のクラスタに含まれるノード数２３１４の情報とを含む。

ノードグループ推奨数３２１１は、ノードグループの数を示す情報である。より具体的には、例えばマッピング分割管理テーブル８２０のマップ分割数８２２に基づく情報を表示する。クラスタに含まれるノード数２３１２は、クラスタに含まれ、グループマッピングを適用するノード数を示す情報である。より具体的には、例えばマッピング分割管理テーブル８２０のノード数８２１に基づく情報を表示する。

クラスタに含まれるノード数ごとのノードグループ数の推奨数２３１３は、ある数のノードを含むクラスタにおけるノードグループ構成の推奨値を示した情報である。より具体的には、例えばマッピング分割管理テーブル８２０のノード数８２１とマップ分割数８２２に基づき情報をプロットしたグラフを表示する。現在のクラスタに含まれるノード数２３１４は、現在のクラスタに含まれるノードの数を前記の２軸グラフにプロットした情報を示す。

メッセージの情報２３２０は、グループマッピングに関する情報のテキストをユーザに表示する。テキストには、例えば現在のクラスタ構成におけるノードグループの数が適切か否かを説明する内容や、ノードグループの分割や結合が必要なノード数をユーザに説明する内容が含まれる。さらにメッセージの情報２３２０には、必要に応じて変更指示を促す表示がされる。

この変形例２によれば、次の作用効果が得られる。
（１１）分割または併合にかかる処理は、分割または併合を推奨するメッセージをユーザに提示することである。そのため、ユーザにノードグループの数が適切でないことを報知し、ユーザの指示を受けたらノードグループの数を変更することができる。

（変形例３）
第１の実施の形態では、１つのサイト２０１を構成するノード１００の増減について本発明を適用することを説明した。第２の実施の形態では、１つのノード１００を構成するドライブ２１４の増減について本発明を適用することを説明した。本発明をさらに、１つのクラスタを構成するサイト２０１の増減について適用してもよい。第１の実施の形態、第２の実施の形態、および変形例３の相関を整理すると次のとおりである。

ここで、すなわち、「ストレージシステム」と「記憶装置」という上位概念を導入する。「ストレージシステム」には複数の「記憶装置」が含まれ、「記憶装置」は「ストレージシステム」に記憶領域を提供する。「ストレージシステム」には、第１の実施の形態における「サイト２０１」、第２の実施の形態における「ノード１００」、変形例３における「クラスタ」が該当する。また「記憶装置」には、第１の実施の形態における「ノード１００」、第２の実施の形態における「ドライブ２１４」、変形例３における「サイト２０１」が該当する。

そのため、変形例３を含む本発明を次のように表現することもできる。ストレージシステムは、記憶領域を提供する複数の記憶装置を有し、前記記憶領域に格納されるユーザデータと、前記ユーザデータを保護するための冗長データと、を含む複数のデータによりパリティグループを構成する。ストレージシステムは、前記パリティグループ内の複数のデータを、２以上の前記記憶装置に跨る一つの所定範囲に配置し、前記ストレージシステムに含まれる前記記憶装置の数が変更されると、変更後の前記記憶装置の数に基づき、前記所定範囲を分割する、または、複数の前記所定範囲を併合するための処理を行う。

なお、上述の実施の形態においては、本発明をストレージシステムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラム、プログラムを記録する記録媒体に広く適用することができる。また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

また、上述の実施の形態において、説明の便宜上、ＸＸテーブルを用いて各種のデータを説明したが、データ構造は限定されるものではなく、ＸＸ情報などと表現してもよい。
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

本発明は、例えば、ストレージシステムにおけるノード、デバイスの増減設に有用である。例えば、安価なネットワーク機器を用いて高信頼なストレージシステムを柔軟に構築、運用できるようになるため、本発明の有用性は高い。また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

１０１ ストレージシステム
２０１ サイト
２１４ ドライブ
３０２ パリティグループ
４１０ 制御情報テーブル
４１１ クラスタ構成管理テーブル
４１２ ストレージプール構成管理テーブル
４１３ パリティグループ管理テーブル
４１４ グループマッピング管理テーブル
４１５ ストライプマッピング管理テーブル
４２１ 構成変更処理プログラム
４２２ グループマッピング決定処理プログラム
４２３ リード処理プログラム
４２４ ライト処理プログラム
４２５ グループマッピング変更処理プログラム

Claims (9)

1. 記憶領域を提供する複数のノードと、
   データを物理的に記憶するドライブと、
   を備えたストレージシステムにおいて、
   記憶領域に格納されるユーザデータと、前記ユーザデータを保護するための冗長データと、を含む複数のデータによりパリティグループを構成し、
   前記パリティグループ内の複数のデータを、前記複数のノードにわたる一つの所定範囲内の記憶領域に記憶し、
   各ノードの記憶領域から前記パリティグループに割り当てられた容量を管理しており、
   前記各ノードの記憶領域が複数に分割されて複数の前記パリティグループに割り当てられ、
   前記所定範囲の前記パリティグループにかかる記憶領域における記憶容量に基づいて、前記所定範囲におけるノード数にかかわらず、前記所定範囲を分割するための処理を行う、または、複数の所定範囲を併合するための処理を行う、ストレージシステム。
2. 請求項１に記載のストレージシステムにおいて、
   前記分割または前記併合にかかる処理は、第１の所定範囲を第２の所定範囲と第３の所定範囲に分割することであり、
   前記第１の所定範囲に記憶されていた複数のデータで構成されるパリティグループを移動させて、前記第２の所定範囲に記憶されるパリティグループと、前記第３の所定範囲に記憶されるパリティグループと、を生成するストレージシステム。
3. 請求項１に記載のストレージシステムにおいて、
   前記分割または前記併合にかかる処理は、第４の所定範囲と第５の所定範囲とを第６の所定範囲に併合することであるストレージシステム。
4. 請求項１に記載のストレージシステムにおいて、
   前記分割または前記併合にかかる処理は、前記分割または前記併合を推奨するメッセージをユーザに提示することであるストレージシステム。
5. 請求項１に記載のストレージシステムにおいて、
   前記パリティグループに含まれるデータを移動させることで、前記分割または前記併合後の所定範囲内に前記パリティグループを格納するストレージシステム。
6. 請求項１に記載のストレージシステムにおいて、
   前記パリティグループに含まれるユーザデータを他のユーザデータと入れ替えるとともに、入れ替え後のユーザデータに基づいてパリティデータを生成して記憶することで、前記分割または前記併合後の所定範囲内に前記パリティグループを格納するストレージシステム。
7. 請求項６に記載のストレージシステムにおいて、
   前記分割または前記併合後の所定範囲内に記憶されていた複数のユーザデータで新たな前記パリティグループを構成するとともに、前記複数のユーザデータから前記パリティデータを新たに生成して前記分割または前記併合後の所定範囲内に記憶するストレージシステム。
8. 請求項１に記載のストレージシステムにおいて、
   ドライブ、ノードまたはサイトの増設または減設による記憶領域の増減を伴う場合には、前記記憶領域の増減によるデータ移動とともに、前記分割または前記併合後の所定範囲内へのパリティグループの移動を行い、
   ホストライトがある場合には、ホストライトによるデータ更新とともに、前記分割または前記併合後の所定範囲内へのパリティグループの移動を行う、ストレージシステム。
9. 記憶領域を提供する複数のノードを備えたストレージシステムが実行する処理方法であって、
   記憶領域に格納されるユーザデータと、前記ユーザデータを保護するための冗長データと、を含む複数のデータによりパリティグループを構成することと、
   前記パリティグループ内の複数のデータを、前記複数のノードにわたる一つの所定範囲内の記憶領域に配置することと、
   各ノードの記憶領域から前記パリティグループに割り当てられた容量を管理することと、
   前記各ノードの記憶領域を複数に分割して複数の前記パリティグループに割り当てることと、
   前記所定範囲の前記パリティグループにかかる記憶領域における記憶容量に基づいて、前記所定範囲におけるノード数にかかわらず、前記所定範囲を分割するための処理を行う、または、複数の所定範囲を併合するための処理を行うこととを含む処理方法。

Images