JP2024061460A - ストレージシステムおよびストレージ制御方法 - Google Patents

Abstract

【課題】性能と信頼性の高さを兼ね備えたストレージシステムを実現すること。
【解決手段】ストレージシステム１００は、不揮発性の記憶デバイス１０３３と、前記記憶デバイスに対するデータの読み書きを処理するストレージコントローラ１０８３と、揮発性のメモリ１０３２と、を有するストレージノード１０３を複数備えたストレージシステムであって、前記ストレージコントローラ１０８３は、前記データの書き込みに関するデータを前記メモリ１０３２に格納し、前記メモリ１０３２に格納したデータのうち、不揮発化が必要なデータを前記記憶デバイス１０３３にログデータとして格納し、前記記憶デバイス１０３３に格納したログデータを複数のストレージノード間で冗長化し、いずれかのストレージノードの記憶デバイス１０３３に格納したログデータに問題が生じた場合に、前記ログデータの回復処理を行う。
【選択図】図１５

Description

本発明は、ストレージシステムおよびストレージ制御方法に関する。

従来、ストレージシステムにおいて、可用性及び信頼性向上のために冗長化構成が採用されている。
例えば、特許文献１にて、次のようなストレージシステムが提案されている。
複数のストレージノードを有する記憶システムにおいて、ストレージノードが、それぞれ記憶領域を提供する１又は複数の記憶装置と、上位装置からの要求に応じて、要求されたデータを対応する記憶装置に読み書きする１又は複数のストレージ制御部を設けている。各ストレージ制御部は、それぞれ上位装置からの要求に応じて要求されたデータを対応する記憶装置に読み書きするために必要な所定の構成情報を保持し、複数の制御ソフトウェアが冗長化グループとして管理され、同一の冗長化グループに属する各制御ソフトウェアがそれぞれ保持する構成情報は同期して更新され、冗長化グループを構成する複数の制御ソフトウェアを、各ストレージノードの負荷を分散するように、それぞれ異なる前記ストレージノードに配置する。

特開２０１９－１０１７０３号公報

特許文献１によれば、ソフトウェアによりストレージシステムを構築する技術（ソフトウェアデファインドストレージ：ＳＤＳ）を用い、ノード障害時にも読み書きを継続できるストレージシステムを構築できる。このようなストレージシステムで性能と信頼性を向上するためには、各種データを不揮発化して保護することが求められる。本発明は、ストレージシステムにおける制御情報やキャッシュデータ等を保護する技術を提案しようとするものである。

上記目的を達成するために、代表的な本発明ストレージシステムの一つは、不揮発性の記憶デバイスと、前記記憶デバイスに対するデータの読み書きを処理するストレージコントローラと、揮発性のメモリと、を有するストレージノードを複数備えたストレージシステムであって、前記ストレージコントローラは、前記データの書き込みに関するデータを前記メモリに格納し、前記メモリに格納したデータのうち、不揮発化が必要なデータを前記記憶デバイスにログデータとして格納し、前記記憶デバイスに格納したログデータを複数のストレージノード間で冗長化し、いずれかのストレージノードの記憶デバイスに格納したログデータに問題が生じた場合に、前記ログデータの回復処理を行うことを特徴とする。
また、代表的な本発明のストレージ制御方法の一つは、不揮発性の記憶デバイスと、前記記憶デバイスに対するデータの読み書きを処理するストレージコントローラと、揮発性のメモリと、を有するストレージノードを複数備えたストレージシステムにおけるストレージ制御方法であって、前記ストレージコントローラが、前記データの書き込みに関するデータを前記メモリに格納し、前記メモリに格納したデータのうち、不揮発化が必要なデータを前記記憶デバイスにログデータとして格納し、前記記憶デバイスに格納したログデータを複数のストレージノード間で冗長化し、いずれかのストレージノードの記憶デバイスに格納したログデータに問題が生じた場合に、前記ログデータの回復処理を行うことを特徴とする。

本発明によれば、性能と信頼性の高さを兼ね備えたストレージシステムを実現することができる。

実施例１のストレージシステムの構成図 ストレージノードの物理構成の一例を示す図 ストレージノードの論理構成の一例を示す図 開示のストレージシステム及びストレージ制御方法の概要を説明する図 メモリの構成図の一例を示す図 記憶デバイスの構成図の一例を示す図 ログヘッダの構造を示す図 ログデータの生成と冗長化の説明図 制御情報更新処理のフローチャート ログ作成処理のフローチャート キャッシュデータ更新処理のフローチャート ログ退避処理のフローチャート ログ回復（パターン１）の説明図 ログ回復処理（パターン１）のフローチャート ログ回復（パターン２）の説明図 ログ回復処理（パターン２－１：制御情報回復）のフローチャート ログ回復処理（パターン２－２：キャッシュデータログ回復）のフローチャート ノード障害回復やノード増減設時のフローチャート キャッシュデータログ領域のガベージコレクションのフローチャート

以下、図面について、本発明の実施の形態を詳述する。実施の形態は、例えば、１以上のＳＤＳが実装された複数のストレージノードを備えるストレージシステムに関するものである。
開示する実施の形態においては、ストレージノードはメモリ上に制御情報やキャッシュデータを格納する。そしてストレージノードは不揮発デバイスを備える。ストレージノードは、ホストからの書き込み要求に応じて制御情報やデータを更新する際に、更新データをログ形式でこの不揮発デバイスに格納する。これによって、更新データの不揮発化が可能になる。その後、ホストに応答する。そして、これとは非同期に、メモリ内のデータを記憶デバイスにデステージする。デステージでは、ストレージシステムに書き込んだデータを反映して記憶デバイスに書き込む処理を行う。デステージにおいてはシンプロビジョニングやスナップショット、データの冗長化等の各種ストレージ機能が提供され、データを検索したり、ランダムにアクセスしたりできるようにするため、論物変換アドレスを作成するなどの処理がある。対して、ログ形式での不揮発デバイス格納は、メモリ内のデータを失った場合に復元することを目的とするため、格納のための処理が軽くて速い。そのため、揮発性メモリを用いた場合に、データを不揮発性の記憶デバイスにログ形式で素早く格納してホスト装置に完了応答することで、レスポンス性能を高めることができる。
ログ形式での格納のとき、制御情報やデータを追記書き形式で格納する。追記書きで格納するため空き領域の回収が必要である。空き領域回収のためにベースイメージ退避方式とガベージコレクション方式の二種類の方式を使い分ける。ベースイメージ退避方式は制御情報やキャッシュデータの一定の対象領域全体を不揮発デバイスに書き出し、その間の更新ログを全て破棄（空き領域として回収）する方式である。ガベージコレクション方式は、更新ログのうち最新ではない不要なログを識別し、不要なログ以外のログを別領域に書き移すことでログ領域を回収する方式である。電断時にはこのベースイメージ退避およびログを用いて制御情報やキャッシュデータをメモリに復元することで失わずに済む。両方式を使い分けて空き領域回収を行うことにより、空き管理のための管理情報を小さくでき、かつ空き領域回収のためのオーバヘッドを小さくすることができ、ストレージの性能を向上させることができる。
また、ログ形式で記憶デバイスに格納したデータは、複数のストレージノードで冗長化する。このため、いずれかのストレージノードの記憶デバイスに障害が発生した場合にも他のストレージノードの記憶デバイスから制御情報やキャッシュデータを回復できる。さらに、各ストレージノードのメモリの状態を同期しておくことで、自ノードのメモリから記憶デバイスのデータの回復が可能となる。

（１）実施例１
（１－１）実施例１のストレージシステムの構成
図１において、全体として実施例１のストレージシステムを示す。
ストレージシステム１００は、例えば、複数のホスト装置１０１（Ｈｏｓｔ）と、複数のストレージノード１０３（Ｓｔｏｒａｇｅ Ｎｏｄｅ）と、管理ノード１０４（Ｍａｎａｇｅｍｅｎｔ Ｎｏｄｅ）とを備える。ホスト装置１０１とストレージノード１０３と管理ノード１０４とは、ファイバーチャネル（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ）、イーサネット（登録商標）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等から構成されるネットワーク１０２を介して相互に接続される。

ホスト装置１０１は、ユーザ操作、実装されたアプリケーションプログラム等からの要求に応じて、ストレージノード１０３に対してリード要求またはライト要求（以下、適宜、これらをまとめてＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）要求と呼ぶ）を送信する汎用のコンピュータ装置である。なお、ホスト装置１０１は、仮想マシンのような仮想的なコンピュータ装置であってもよい。

ストレージノード１０３は、データを読み書きするための記憶領域をホスト装置１０１に対して提供するコンピュータ装置である。ストレージノード１０３は、例えば、汎用のサーバ装置である。
管理ノード１０４は、システム管理者が本ストレージシステム１００全体を管理するために利用するコンピュータ装置である。管理ノード１０４は、複数のストレージノード１０３をクラスタと呼ぶグループとして管理する。なお、図１では、クラスタが１つのみ設けられた例を示しているが、ストレージシステム１００内に複数のクラスタを設けるようにしてもよい。

このように、ストレージシステム１００は、２台以上のストレージノード１０３と１台以上のホスト装置１０１と１台の管理ノード１０４で構成する。図示の構成は例示であり、ホスト装置１０１とストレージノード１０３と管理ノード１０４は同一のノードでも良い。また、仮想マシンやコンテナで実現してもよいし、１のマシンにプロセスとして同居する構成でもよい。

図２は、ストレージノード１０３の物理構成の一例を示す図である。
ストレージノード１０３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０３１、メモリ１０３２、複数の記憶デバイス１０３３（Ｄｒｉｖｅ）および通信装置１０３４（ＮＩＣ：Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を備える。

ＣＰＵ１０３１は、ストレージノード全体の動作制御を司るプロセッサである。メモリ１０３２は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）等の半導体メモリから構成される。メモリ１０３２は、各種のプログラム、必要なデータを一時的に保持するために利用される。揮発性メモリ１０３２に格納されたプログラムをＣＰＵ１０３１が実行することにより、後述のようなストレージノード１０３全体としての各種の処理が実行される。

記憶デバイス１０３３は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＳＡＳ（Ｓｅｒｉａｌ Ａｔｔａｃｈｅｄ ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ））ハードディスクドライブ、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴＡ（Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ））ハードディスクドライブ等の１または複数種類の大容量の不揮発性の記憶装置から構成される。記憶デバイス１０３３は、ホスト装置１０１からのＩ／Ｏ要求に応じてデータをリードまたはライトするための物理的な記憶領域を提供する。

通信装置１０３４は、ストレージノード１０３がネットワーク１０２を介してホスト装置１０１、他のストレージノード１０３または管理ノード１０４と通信を行うためのインターフェースである。通信装置１０３４は、例えば、ＮＩＣ、ＦＣカード等から構成される。通信装置１０３４は、ホスト装置１０１、他のストレージノード１０３または管理ノード１０４との通信時におけるプロトコル制御を行う。

図３は、ストレージノード１０３の論理構成の一例を示す図である。
ストレージノード１０３は、フロントエンドドライバ１０８１（Ｆｒｏｎｔ－ｅｎｄ
ｄｒｉｖｅｒ）と、バックエンドドライバ１０８７（Ｂａｃｋ－ｅｎｄ ｄｒｉｖｅｒ）と、１または複数のストレージコントローラ１０８３（Ｓｔｏｒａｇｅ Ｃｏｎｔｒｏｌｌｅｒ）と、データ保護制御部１０８６（Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ）と、を備える。

フロントエンドドライバ１０８１は、通信装置１０３４を制御し、ストレージコントローラ１０８３に対してホスト装置１０１、他のストレージノード１０３または管理ノード１０４との通信時における抽象化したインターフェースをＣＰＵ１０３１に提供する機能を有するソフトウェアである。

バックエンドドライバ１０８７は、自ストレージノード１０３内の各記憶デバイス１０３３を制御し、各記憶デバイス１０３３との通信時における抽象化したインターフェースをＣＰＵ１０３１に提供する機能を有するソフトウェアである。

ストレージコントローラ１０８３は、ＳＤＳのコントローラとして機能するソフトウェアである。ストレージコントローラ１０８３は、ホスト装置１０１からのＩ／Ｏ要求を受け付け、当該Ｉ／Ｏ要求に応じたＩ／Ｏコマンドをデータ保護制御部１０８６に発行する。また、ストレージコントローラ１０８３は、論理ボリューム構成機能を有する。論理ボリューム構成機能は、データ保護制御部が構成した論理チャンクとホストに提供する論理ボリュームを対応付ける。例えばストレートマッピング（論理チャンクと論理ボリュームを１：１で対応付け、論理チャンクのアドレスと論理ボリュームのアドレスを同じとする）方式でも良いし、仮想ボリューム機能（ＴｈｉｎＰｒｏｖｉｓｉｏｎｉｎｇ）方式（論理ボリュームと論理チャンクを小サイズの領域（ページ）に分け、ページ単位で論理ボリュームと論理チャンクのアドレス同士を対応付ける方式）を採っても良い。

実施例１の場合、ストレージノード１０３に実装された各ストレージコントローラ１０８３は、別のストレージノード１０３に配置された他のストレージコントローラ１０８３と共に冗長構成を構成するペアとして管理される。以下においては、このペアをストレージコントローラグループ１０８５と呼ぶものとする。
なお、図３では、２つのストレージコントローラ１０８３により１つのストレージコントローラグループ１０８５が構成される場合を示している。以下においても、２つのストレージコントローラ１０８３によりストレージコントローラグループ１０８５が構成されるものとして説明を進めるが、３つ以上のストレージコントローラ１０８３により１つの冗長構成を構成するようにしてもよい。

ストレージコントローラグループ１０８５では、一方のストレージコントローラ１０８３がホスト装置１０１からのＩ／Ｏ要求を受け付けることができる状態（現用系の状態であり、以下、アクティブモードと呼ぶ）に設定される。また、ストレージコントローラグループ１０８５では、他方のストレージコントローラ１０８３がホスト装置１０１からのＩ／Ｏ要求を受け付けない状態（待機系の状態であり、以下、スタンバイモードと呼ぶ）に設定される。なお、アクティブモードのノードをアクティブノードと呼び、スタンバイモードのノードをスタンバイノード呼ぶ。
そして、ストレージコントローラグループ１０８５では、アクティブモードに設定されたストレージコントローラ１０８３（以下、アクティブストレージコントローラと呼ぶ）、アクティブストレージコントローラが配置されたストレージノード１０３に障害が発生した場合等に、それまでスタンバイモードに設定されていたストレージコントローラ１０８３（以下、スタンバイストレージコントローラと呼ぶ）の状態がアクティブモードに切り替えられる。これにより、アクティブストレージコントローラが稼働し得なくなった場合に、当該アクティブストレージコントローラが実行していたＩ／Ｏ処理を、スタンバイストレージコントローラにより引き継ぐことができる。

データ保護制御部１０８６は、各ストレージコントローラグループ１０８５に対して自ストレージノード１０３内または他のストレージノード１０３内の記憶デバイス１０３３が提供する物理的な記憶領域を割り当てると共に、ストレージコントローラ１０８３から与えられる上述のＩ／Ｏコマンドに従って、指定されたデータを対応する記憶デバイス１０３３にリードまたはライトする機能を有するソフトウェアである。
この場合、データ保護制御部１０８６は、ストレージコントローラグループ１０８５に対して他のストレージノード１０３内の記憶デバイス１０３３が提供する物理的な記憶領域を割り当てたときには、当該他のストレージノード１０３に実装されたデータ保護制御部１０８６と協働して、そのデータ保護制御部１０８６との間でネットワーク１０２を介してデータをやり取りすることにより、そのストレージコントローラグループ１０８５のアクティブストレージコントローラから与えられたＩ／Ｏコマンドに従ってそのデータをその記憶領域にリードまたはライトする。

図４は、開示のストレージシステム及びストレージ制御方法の概要を説明する図である。
ホストからのＩ／Ｏ処理や、その他様々な処理のためにストレージコントローラは制御情報やキャッシュデータの更新を行う。この際、メモリ上の制御情報／キャッシュデータを更新するとともに、そのログを記憶デバイスに格納して不揮発化させる。そのために、制御情報ログバッファまたはキャッシュログバッファに更新ログを作成する。ログとは、更新データそれ自体とログヘッダからなり、メモリ上の制御情報やキャッシュデータがどのように更新されたかを示す情報である。ログヘッダには図７に示すように更新位置や更新サイズ、更新同士の順序関係を示す情報が含まれている。

ログバッファ上の更新ログは、記憶デバイス上のログ領域に追記書き形式で書き込まれる。この書き込みは即時に行っても良いし、非同期に書き出しても良い。
追記書きを行うため、各デバイス上のログ領域は次第に空き領域が減っていき書き込めなくなってしまう。これを避けるため空き領域の回収が必要である。制御情報用のログ領域とキャッシュデータ用ログ領域でそれぞれ異なる方式を用いる。

制御情報に対してはベースイメージ退避方式を用いる。ベースイメージ退避方式では、制御情報全体を記憶デバイス上のベースイメージ領域に丸ごとコピーする。コピーが完了したら、コピー開始時点より前の更新ログは全て無効化（空き領域として回収）する。
一方キャッシュデータ用ログ領域の空き領域回収にはガベージコレクション方式用いる。キャッシュデータは、上書きされたり（後述する非同期デステージによって）キャッシュから削除された場合にそのキャッシュデータのログは無効になる。ガベージコレクション方式は、無効になっているログを除いて、有効な古いログをログ領域の末尾に新規ログとしてコピーすることで、ログ領域を空き領域として回収する。

図５は、メモリの構成図の一例である。メモリ内には、ストレージ制御情報１０３２１、キャッシュデータ領域１０３２３、キャッシュデータログヘッダ管理テーブル１０３２４、制御情報ログバッファ１０３２５、キャッシュデータログバッファ１０３２６が格納される。

ストレージ制御情報１０３２１は、様々なストレージ機能を実現するための制御情報が格納される領域であり、一例として、キャッシュディレクトリ１０３２２がある。
キャッシュデータログヘッダ管理テーブル１０３２４は、ディスク上の全キャッシュデータログのログヘッダを格納しているテーブルである。
制御情報ログバッファ１０３２５は、制御情報のログを一時的に保持する。キャッシュデータログバッファ１０３２６は、キャッシュデータのログを一時的保持する。

図６は、記憶デバイスの構成図の一例である。記憶デバイス上には、制御情報ベースイメージ領域１０３３２、制御情報ログ領域１０３３３、キャッシュデータログ領域１０３３４、永続化領域１０３３５が存在する。
制御情報ベースイメージ領域は後述するベースイメージ退避処理において制御情報全体をコピーする領域である。制御情報ログ領域１０３３３、キャッシュデータログ領域１０３３４はそれぞれ後述のログ退避処理においてログを退避する先の領域である。永続化領域１０３３５はデータ保護制御部１０８６によって管理される、ユーザデータを格納する領域である。

図７は、ログヘッダの構造を示す。ログヘッダはメモリ上のログバッファ領域や、記憶デバイス上のログ領域に格納される各ログに含まれるテーブルである。
各ログヘッダにはログシーケンス番号、更新アドレス、更新サイズ、領域種別、有効フラグのフィールドがある。

ログシーケンス番号フィールドには、各ログに一意に付与されるログシーケンス番号が格納される。更新アドレスフィールドには各ログの更新対象の制御情報またはキャッシュデータのアドレスが格納される。更新サイズフィールドには更新するサイズが格納される。領域種別フィールドには制御情報かキャッシュデータのいずれかを識別するための値が格納される。ここでは「制御情報」または「キャッシュデータ」の文字列が格納されるものとする。有効フラグフィールドには「有効」または「無効」の値が設定される。

図８は、ログデータの生成と冗長化についての説明図である。
アクティブノードのストレージコントローラはＩ／Ｏを処理し、その動作に応じてメモリ上の制御情報及びキャッシュデータを更新する。その後、制御情報及びキャッシュデータをログバッファに格納し、ログバッファの制御情報及びキャッシュデータからログデータを作成する。具体的には、アクティブノードのストレージコントローラは、制御情報を制御情報ログバッファに格納し、キャッシュデータをキャッシュデータログバッファに格納する。そして、制御情報ログバッファの制御情報から制御情報のログデータを生成して記憶デバイスの制御情報ログ領域に格納する。同様に、キャッシュデータログバッファのキャッシュデータからキャッシュデータのログデータを生成し、記憶デバイスのキャッシュデータログ領域に格納する。
また、アクティブノードのストレージコントローラは、ログバッファの制御情報及びキャッシュデータをスタンバイノードに転送する。

スタンバイノードのストレージコントローラはＩ／Ｏ処理を行わないが、アクティブノードのストレージコントローラが停止した際にサービスを引き継ぐために制御情報およびキャッシュデータの複製を持つ。
このため、スタンバイノードのストレージコントローラは、アクティブノードから受信した制御情報を制御情報ログバッファに格納し、アクティブノードから受信したキャッシュデータをキャッシュデータログバッファに格納する。そして、ログバッファに格納した制御情報及びキャッシュデータを用い、スタンバイノードのメモリの状態をアクティブノードのメモリの状態に一致させる。
さらに、スタンバイノードのストレージコントローラは、制御情報ログバッファの制御情報から制御情報のログデータを生成して記憶デバイスの制御情報ログ領域に格納する。同様に、キャッシュデータログバッファのキャッシュデータからキャッシュデータのログデータを生成し、記憶デバイスのキャッシュデータログ領域に格納する。

図９は、制御情報更新処理のフローチャートである。アクティブストレージコントローラがＩ／Ｏを受け付けるが、アクティブストレージコントローラに障害が発生しＩ／Ｏ受付が不能となった場合はスタンバイストレージコントローラがＩ／Ｏを引き継ぐ。これを実現するためにアクティブとスタンバイの制御情報更新はスタンバイにも反映させる。

制御情報更新処理は、メモリ上の制御情報を更新する際に呼び出される。呼び出される際に、更新対象の制御情報を特定するためのメモリアドレスとサイズ、更新値、および不揮発化要否を示す情報が渡される。

まず、アクティブノードのストレージコントローラ（アクティブストレージコントローラ）は、メモリ上の制御情報を更新する（ステップＳ１０１）。次に渡された不揮発化要否を参照し要否を判定する（ステップＳ１０２）。
不揮発化が不要である場合（ステップＳ１０２；ＮＯ）にはそのまま処理を終了する。不揮発化が要である場合（ステップＳ１０２；ＹＥＳ）、ログ作成処理を呼び出す（Ｓ１０３）。

ログ作成処理の後、アクティブストレージコントローラは、ログをスタンバイノードのストレージコントローラ（スタンバイストレージコントローラ）に送信し（ステップＳ１０４）、処理を終了する。

スタンバイストレージコントローラは、アクティブストレージコントローラからログを受信し（ステップＳ２０１）、アクティブストレージコントローラの制御情報更新を自ノードのメモリに反映し（ステップＳ２０２）、自ノードの記憶デバイスにログデータを格納して（ステップＳ２０３）、処理を終了する。

図１０は、ログ作成処理のフローチャートである。なお、この処理において「ログバッファ」は、更新対象が制御情報の場合は制御情報ログバッファを、ユーザデータキャッシュの場合はユーザデータキャッシュログバッファを指し示している。

まず、ストレージコントローラは、ログシーケンス番号を決定する（ステップＳ３０１）。ログシーケンス番号は、ログの作成順に付与され、必ず一つのログシーケンス番号に対して一つのログが対応する番号である。次にログバッファにおいて次にログを書き込む領域を確保する（ステップＳ３０２）。

ログ作成処理は並行動作する複数のプロセスによって実行されても良いがその場合には、同じログシーケンス番号が別プロセスによって取得されないこと、および同じログバッファ領域が別プロセスによって確保されないように排他処理を行う必要がある。

次にログヘッダを作成する（ステップＳ３０３）。ログヘッダのシーケンス番号フィールドに上述のログシーケンス番号を格納し、更新アドレスフィールドと更新サイズフィールドに、このログ作成処理に渡されたメモリ上の更新対象アドレスと更新サイズの値を格納する。情報種別フィールドには制御情報更新時は「制御情報」を、キャッシュデータ更新時は「キャッシュデータ」を格納する。

次にログバッファにログを格納する（ステップＳ３０４）。ログは、ログヘッダと更新対象データ自体からなり、ログバッファ上で先ほど確保した確保領域の先頭にログヘッダを、確保領域にログヘッダサイズを加算したメモリアドレスに更新データ自体を格納する。
最後にログヘッダ内のログ有効フラグを「有効」にして（ステップＳ３０５）、本処理は終了する。

図１１は、キャッシュデータ更新処理のフローチャートである。更新対象が制御情報ではなくキャッシュデータである点を除いて、ステップＳ４０１～４０４は、ステップＳ１０１～１０４と同じである。キャッシュデータ更新処理では制御情報更新処理と異なり、ステップＳ４０２で不揮発化要と判定された時にステップＳ４０５～ステップＳ４０７の処理が加わる。

ステップＳ４０５では、アクティブストレージコントローラは、上書きかどうかを判定する（ステップＳ４０５）。すなわち、キャッシュデータログヘッダ管理テーブルを参照し、同アドレスのログが無いかを検索し、あれば上書きと判定する。上書きだった場合（ステップＳ４０５；ＹＥＳ）、ログヘッダ管理テーブルの同アドレスのログを無効化する（ステップＳ４０６）。この無効化により有効フラグを「無効」に設定することになる。ステップＳ４０６の後、若しくは上書きでない場合（ステップＳ４０５；ＮＯ）、アクティブストレージコントローラは、ステップＳ４０３で作成したログのログヘッダをログヘッダ管理テーブルに追加し（ステップＳ４０７）、処理を終了する。

スタンバイストレージコントローラは、アクティブストレージコントローラからログを受信し（ステップＳ５０１）、アクティブストレージコントローラのキャッシュデータ更新を自ノードのメモリに反映する（ステップＳ５０２）。その後、スタンバイストレージコントローラは、上書きかどうかを判定する（ステップＳ５０３）。すなわち、キャッシュデータログヘッダ管理テーブルを参照し、同アドレスのログが無いかを検索し、あれば上書きと判定する。上書きだった場合（ステップＳ５０３；ＹＥＳ）、ログヘッダ管理テーブルの同アドレスのログを無効化する（ステップＳ５０４）。この無効化により有効フラグを「無効」に設定することになる。ステップＳ５０４の後、若しくは上書きでない場合（ステップＳ５０３；ＮＯ）、スタンバイストレージコントローラは、ステップＳ５０１で受信したログのログヘッダをログヘッダ管理テーブルに追加して（ステップＳ５０５）、処理を終了する。

図１２は、ログ退避処理の処理フローを示す。
まず、アクティブストレージコントローラは、スタンバイストレージコントローラに退避指示を送信する（ステップＳ６０１）。その後、アクティブストレージコントローラは、ログバッファを参照し、未退避のログを読み出す（ステップＳ６０２）。次に、アクティブストレージコントローラは、未退避ログを記憶デバイス上のログ領域に格納する（ステップＳ６０３）。その書き込み位置は、最後に書き込んだログの直後である。アクティブストレージコントローラは、書き込みが完了したらメモリ上のログバッファからログを削除し（ステップＳ６０４）、処理を終了する。
スタンバイストレージコントローラは、アクティブストレージコントローラから退避指示を受信する（ステップＳ７０１）。その後、スタンバイストレージコントローラは、ログバッファを参照し、未退避のログを読み出す（ステップＳ７０２）。次に、スタンバイストレージコントローラは、未退避ログを記憶デバイス上のログ領域に格納する（ステップＳ７０３）。その書き込み位置は、最後に書き込んだログの直後である。スタンバイストレージコントローラは、書き込みが完了したらメモリ上のログバッファからログを削除し（ステップＳ７０４）、処理を終了する。

図１３は、ログ回復（パターン１）の説明図である。パターン１のログ回復では、冗長構成となるペアノードの記憶デバイスからログを回復する。ログ領域を有する記憶デバイス障害時、ストレージコントローラグループ１０８５のログ領域は同期しているため、ペアノードのログ領域から複製が可能である。

障害が発生すると、障害発生ノードあるいは管理ノードは、ペアノードにログ領域転送指示を出す。指示を受けたペアノードは記憶デバイスからログを読み出し、障害発生ノードに転送する。障害発生ノードは制御情報更新処理およびキャッシュデータ更新処理のログ作成処理にのっとりログ領域を回復する。

図１４は、ログ回復処理（パターン１）のフローチャートである。障害発生ノードは、ペアノードにログ転送依頼を送信する（ステップＳ８０１）。
ペアノードは、ログ転送依頼を受信すると（ステップＳ９０１）、キャッシュデータログヘッダ管理テーブルを参照し、有効ログの情報を取得する（ステップＳ９０２）。ペアノードは、有効ログをデバイス内のログ領域から読み出し（ステップＳ９０３）、障害発生ノードに送信する（ステップＳ９０４）。
障害発生ノードは、ペアノードからログを受信し（ステップＳ８０２）、当該ログをドライブ（記憶デバイス１０３３）に書き出して（ステップＳ８０３）、処理を終了する。

図１５は、ログ回復（パターン２）の説明図である。パターン２のログ回復では、記憶ドライブの障害を検出した障害発生ノードとペアノードが、それぞれ自ノードのメモリからログを回復する。ログ領域を有する記憶デバイス１０３３の障害時、ログ領域に格納している情報はメモリ上の制御情報及びキャッシュデータにも格納されているため、メモリからの複製が可能である。

障害が発生すると、障害発生ノードあるいは管理ノードはログ回復処理を実施する。このログ回復処理では、障害発生ノードおよびペアノードは、制御情報の全面を制御情報ベースイメージ領域に退避する。また、障害発生ノードおよびペアノードは、キャッシュデータログヘッダ管理テーブルを参照し有効ログ情報を取得して、キャッシュデータからデータを読み込み、再度ログを生成してキャッシュデータログ領域に格納する。
アクティブ側もデータ書き込みを実行するのは、制御情報のベースイメージの同期をとるためである。

図１６は、ログ回復処理（パターン２－１：制御情報回復）のフローチャートである。まず、障害発生ノードが、制御情報ベースイメージ退避依頼をペアノードに送信する（ステップＳ１００１）。その後、障害発生ノードは制御情報のベースイメージを自ノードの記憶デバイスに退避させ（ステップＳ１００２）、処理を終了する。
ペアノードは、障害発生ノードから制御情報ベースイメージ退避依頼を受信し（ステップＳ１１０１）、制御情報のベースイメージを自ノードの記憶デバイスに退避させ（ステップＳ１１０２）、処理を終了する。

図１７は、ログ回復処理（パターン２－２：キャッシュデータログ回復）のフローチャートである。
キャッシュデータのログを回復するノードのストレージコントローラは、キャッシュデータログヘッダ管理テーブルをスキャンし（ステップＳ１２０１）、ログが有効であるか否かを判定する（ステップＳ１２０２）。ログが無効である場合（ステップＳ１２０２；ＮＯ）は、当該ログはデステージ済みであるので、当該ログについては処理を終了する。

ログが有効である場合（ステップＳ１２０２；ＹＥＳ）、ストレージコントローラは、キャッシュデータからデータを読み込み（ステップＳ１２０３）、読み込んだデータを用いて再度ログを生成する（ステップＳ１２０４）。

その後、トレージコントローラは、上書きかどうかを判定する（ステップＳ１２０５）。すなわち、キャッシュデータログヘッダ管理テーブルを参照し、同アドレスのログが無いかを検索し、あれば上書きと判定する。上書きだった場合（ステップＳ１２０５；ＹＥＳ）、ログヘッダ管理テーブルの同アドレスのログを無効化する（ステップＳ１２０６）。この無効化により有効フラグを「無効」に設定することになる。ステップＳ１２０６の後、若しくは上書きでない場合（ステップＳ１２０５；ＮＯ）、ストレージコントローラは、ステップＳ１２０３で作成したログのログヘッダをログヘッダ管理テーブルに追加し（ステップＳ１２０７）、処理を終了する。

図１８は、ノード障害回復やノード増減設時のフローチャートである。ログ回復処理により、ノード障害回復やノード増減設にも対応できる。ログ回復処理は、パターン１とパターン２のいずれでも対応可能である。

まず、障害回復や増減設を行うノードからペアノードにメモリ転送を依頼する（ステップＳ１３０１）。
ペアノードは、メモリ転送依頼を受信すると（ステップＳ１４０１）、制御情報とキャッシュデータ、ログヘッダ管理テーブルをメモリから読み（ステップＳ１４０２）、依頼元に転送する（ステップＳ１４０３）。
障害回復や増減設を行うノードは受信した内容をメモリに反映し（ステップＳ１３０２）、ログ回復処理によりログを再生成して（ステップＳ１３０３）、処理を終了する。

なお、ドライブ増減設時も同様に対応可能である。ドライブ数が変更すると、ログを再配置する必要があるので、ストレージコントローラは、ドライブ数変更後、ログ領域を再設定する。また、再設定後はログ回復処理（パターン１とパターン２のいずれでも対応可能）によりログを再生成し、格納し直す。

図１９は、キャッシュデータログ領域のガベージコレクションのフローチャートである。この場合の回復処理は、回復処理パターン２－２を適用する。
キャッシュデータログ領域に格納されたデータは上書きや当該キャッシュのドライブ反映により不要（無効）となる。
領域格納順序と無効化順序とは一致しないため、フラグメンテーションが発生する。そこで、連続空き領域が一定値を下回る場合にガベージコレクションを実施する。

具体的には、ストレージコントローラは、ログ領域の連続空き領域サイズが一定値以下であるか否かを判定する（ステップＳ１５０１）。空き領域サイズが一定値を超えるならば（ステップＳ１５０１；ＮＯ）、そのまま処理を終了する。

空き領域サイズが一定値以下であれば（ステップＳ１５０１；ＹＥＳ）、ストレージコントローラは、所定値以上の領域に対してログ回復処理パターン２－２を実施し、ログヘッダ管理テーブルから識別される有効ログを再生しログバッファに格納する（ステップＳ１５０２）。
その後、ストレージコントローラは、ログ退避処理によりログバッファに格納したログをディスクに書き出し（ステップＳ１５０３）、当該領域の旧ログが格納されていた領域を解放して（ステップＳ１５０４）、処理を終了する。

上述してきたように、開示のストレージシステム１００は、不揮発性の記憶デバイス１０３３と、前記記憶デバイスに対するデータの読み書きを処理するストレージコントローラ１０８３と、揮発性のメモリ１０３２と、を有するストレージノード１０３を複数備えたストレージシステムであって、前記ストレージコントローラ１０８３は、前記データの書き込みに関するデータを前記メモリ１０３２に格納し、前記メモリ１０３２に格納したデータのうち、不揮発化が必要なデータを前記記憶デバイス１０３３にログデータとして格納し、前記記憶デバイス１０３３に格納したログデータを複数のストレージノード間で冗長化し、いずれかのストレージノードの記憶デバイス１０３３に格納したログデータに問題が生じた場合に、前記ログデータの回復処理を行う。
この構成及び動作によれば、ログデータが拡幅可能となることにより、性能と信頼性の高さを兼ね備えたストレージシステムを実現することができる。

また、前記複数のストレージノードは、前記メモリ１０３２に格納したデータを冗長化し、いずれかのストレージノードの前記記憶デバイス１０３３に障害が発生した場合に、各ストレージノードのストレージコントローラ１０８３は、自ノードのメモリに格納されたデータから前記ログデータの再度作成する。
このため、ドライブアクセスおよびネットワーク通信を伴わないログ再冗長化を実現できる。

また、いずれかのストレージノードの前記記憶デバイス１０３３に障害が発生した場合に、当該ストレージノードのストレージコントローラ１０８３は、他のストレージノードの前記記憶デバイス１０３３に格納されたログデータを取得して前記ログデータを再度冗長化することもできる。
このため、記憶デバイス１０３３のログを確実に保護することができる。

また、前記複数のストレージノードは、アクティブ状態のアクティブノードとスタンバイ状態のスタンバイノードとを含み、前記アクティブノードのストレージコントローラ１０８３は、制御情報及びキャッシュデータをログバッファに格納し、ログバッファの制御情報及びキャッシュデータから前記ログデータを作成するとともに、前記ログバッファの制御情報及びキャッシュデータを前記スタンバイノードに転送し、前記スタンバイノードのストレージコントローラ１０８３は、前記アクティブノードから受信した制御情報及びキャッシュデータを用いて前記メモリの状態を前記アクティブノードに一致させるとともに、前記アクティブノードから受信した制御情報及びキャッシュデータを用いて前記ログデータを生成する。
このため、複数のストレージノードのメモリの状態を同期させることができる。

また、前記アクティブノードのストレージコントローラ１０８３は、前記制御情報及びキャッシュデータについて不揮発化の要否を判定し、不揮発化を要する前記制御情報及びキャッシュデータを前記ログバッファに格納することを特徴とする。
このため、制御情報及びキャッシュデータを効率的に不揮発化できる。

また、前記アクティブノードのストレージコントローラ１０８３は、前記キャッシュデータについて、ログ単位で前記記憶デバイス１０３３に書き出して空き領域を回収するガベージコレクションを行う。
このため、キャッシュデータを効率的に不揮発化できる。

また、同一のグループに属する複数のストレージノードのいずれかで前記ログデータが消失した場合には、前記グループに属する全てのストレージノードが前記制御情報のベースイメージを前記ログデータの少なくとも一部として自ノードの前記記憶デバイスに格納する。
このため、同一のグループに属する複数のストレージノードが有する制御情報のログデータを同期することができる。

前記ストレージコントローラ１０８３は、前記ストレージノードの数が変化した場合に前記メモリ１０３２に格納したデータの不揮発化を実行する。
このため、ストレージノードの数が変化した場合にも、ログデータを同期することができる。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

１００：ストレージシステム、１０１：ホスト装置、１０２：ネットワーク、１０３：ストレージノード、１０４：管理ノード、１０３１：ＣＰＵ、１０３２：メモリ、１０３３：ドライブ、１０８３：ストレージコントローラ

Claims (9)

1. 不揮発性の記憶デバイスと、前記記憶デバイスに対するデータの読み書きを処理するストレージコントローラと、揮発性のメモリと、を有するストレージノードを複数備えたストレージシステムであって、
   前記ストレージコントローラは、
   前記データの書き込みに関するデータを前記メモリに格納し、
   前記メモリに格納したデータのうち、不揮発化が必要なデータを前記記憶デバイスにログデータとして格納し、
   前記記憶デバイスに格納したログデータを複数のストレージノード間で冗長化し、いずれかのストレージノードの記憶デバイスに格納したログデータに問題が生じた場合に、前記ログデータの回復処理を行う
   ことを特徴とするストレージシステム。
2. 請求項１に記載のストレージシステムであって、
   前記複数のストレージノードは、前記メモリに格納したデータを冗長化し、
   いずれかのストレージノードの前記記憶デバイスに障害が発生した場合に、各ストレージノードのストレージコントローラは、自ノードのメモリに格納されたデータから前記ログデータの再度作成することを特徴とするストレージシステム。
3. 請求項１に記載のストレージシステムであって、
   いずれかのストレージノードの前記記憶デバイスに障害が発生した場合に、当該ストレージノードのストレージコントローラは、他のストレージノードの前記記憶デバイスに格納されたログデータを取得して前記ログデータを再度冗長化することを特徴とするストレージシステム。
4. 請求項１に記載のストレージシステムであって、
   前記複数のストレージノードは、アクティブ状態のアクティブノードとスタンバイ状態のスタンバイノードとを含み、
   前記アクティブノードのストレージコントローラは、制御情報及びキャッシュデータをログバッファに格納し、ログバッファの制御情報及びキャッシュデータから前記ログデータを作成するとともに、前記ログバッファの制御情報及びキャッシュデータを前記スタンバイノードに転送し、
   前記スタンバイノードのストレージコントローラは、前記アクティブノードから受信した制御情報及びキャッシュデータを用いて前記メモリの状態を前記アクティブノードに一致させるとともに、前記アクティブノードから受信した制御情報及びキャッシュデータを用いて前記ログデータを生成する
   ことを特徴とするストレージシステム。
5. 請求項４に記載のストレージシステムであって、
   前記アクティブノードのストレージコントローラは、前記制御情報及びキャッシュデータについて不揮発化の要否を判定し、不揮発化を要する前記制御情報及びキャッシュデータを前記ログバッファに格納することを特徴とするストレージシステム。
6. 請求項４に記載のストレージシステムであって、
   前記アクティブノードのストレージコントローラは、前記キャッシュデータについて、ログ単位で前記記憶デバイスに書き出して空き領域を回収するガベージコレクションを行うことを特徴とするストレージシステム。
7. 請求項４に記載のストレージシステムであって、
   同一のグループに属する複数のストレージノードのいずれかで前記ログデータが消失した場合には、前記グループに属する全てのストレージノードが前記制御情報のベースイメージを前記ログデータの少なくとも一部として自ノードの前記記憶デバイスに格納することを特徴とするストレージシステム。
8. 請求項１に記載のストレージシステムであって、
   前記ストレージコントローラは、前記ストレージノードの数が変化した場合に前記メモリに格納したデータの不揮発化を実行することを特徴とするストレージシステム。
9. 不揮発性の記憶デバイスと、前記記憶デバイスに対するデータの読み書きを処理するストレージコントローラと、揮発性のメモリと、を有するストレージノードを複数備えたストレージシステムにおけるストレージ制御方法であって、
   前記ストレージコントローラが、
   前記データの書き込みに関するデータを前記メモリに格納し、
   前記メモリに格納したデータのうち、不揮発化が必要なデータを前記記憶デバイスにログデータとして格納し、
   前記記憶デバイスに格納したログデータを複数のストレージノード間で冗長化し、いずれかのストレージノードの記憶デバイスに格納したログデータに問題が生じた場合に、前記ログデータの回復処理を行う
   ことを特徴とするストレージ制御方法。
   

Images