JP7273669B2 - ストレージシステム及びその制御方法 - Google Patents

Description

本発明は、記憶ドライブの故障リスクを予測できるようにしたストレージシステム、及び、その制御方法に関する。

記録媒体としてのハードディスクは、表面に磁性体が蒸着された回転体であって、移動する磁気ヘッドが、ハードディスクに磁気情報を記録し、又は、ハードディスクから磁気情報を読み出す。ハードディスクドライブは、ハードディスクを回転させる機構、磁気ヘッドを駆動させる機構など多くの機械モジュールを備え、したがって、機構モジュールの故障や、機構モジュールに生じる僅かな歪みや、振動などにより、ハードディスクが損傷して、データ喪失のおそれがあることが知られている。

そこで、ストレージシステムは、複数の記憶ドライブによってRAIDグループを構成し、グループの記憶ドライブに故障が生じても、グループの他の記憶ドライブに格納された、データとパリティデータとに基づいて、故障した記憶ドライブのデータをスペアディスクに再現させるようにしている（縮退運転）。

しかしながら、ストレージシステムは、縮退運転の際の演算負荷によって、ストレージシステムの性能を低下させてしまうことと、縮退運転期間中、RAIDグループに属する記憶ドライブがさらに故障してしまうと、故障したハードディスクドライブのデータを復元できないという課題がある（多重障害）。

そこで、ハードディスクドライブが故障してしまう前に、ハードディスクドライブのデータをスペアディスクに退避させようとするこころみが知られている。

特許文献１には、ハードディスクドライブに読み書きのエラーなど何らかの事象が発生したとき、ドライブにその事象に応じた数値を加算して割当て、その加算結果が一定値を超えたリスクを高リスクと判断することが記載されている。

特許文献２には、冗長性を備える複数のドライブから構成される同一RAIDグループ内に複数（ｍ基)の高リスクドライブが存在した場合に、それぞれのドライブの１／ｍずつのデータをスペアディスクにコピーする手段が記載されている。

特開２０１５-５２９６０公報 特開２００９－２１１６１９公報

近年、半導体技術の進歩により、フラッシュメモリの高集積化と低価格化が進み、記憶媒体としてフラッシュメモリを使用した記憶ドライブも広く知られるようになっている。フラッシュメモリは、メモリセルを多層化してドライブの容量を増大させているため、一部のメモリセルが寿命により劣化しても、他のメモリセルによってこれを代用できることから、ハードディスクドライブのように、記憶ドライブの急な故障ということはなく、ストレージシステムは、フラッシュメモリドライブの交換が必要になるまで、これを継続的に使用し続けることができる。

したがって、ストレージシステムには、フラッシュメモリドライブの故障リスクを正確に評価することが望まれる。何故なら、故障リスクの評価を厳しくすると、継続使用可能な記憶ドライブを交換しなければならなくなる等の過剰保守を招き、一方、評価が甘くなると、既述の縮退運転をしなければならない状況に追い込まれてしまう。

特許文献１に記載の技術では、リスクが記憶ドライブの劣化による進行性のものなのか、また、他の装置のリスクが影響したものなのかが不明で、フラッシュメモリドライブのリスクを正確に評価できない。

特許文献２に記載の技術では、スペアドライブの容量は限られており、故障リスクが高いドライブのデータ量が他のドライブに対して多い場合、高リスクドライブのデータを全てスペアドライブに退避できないおそれがある。

本発明は、記憶媒体としてのフラッシュメモリを有する記憶ドライブの故障リスクを正確に評価できる、ストレージシステム、及び、その制御方法を提供することを目的とする。

前記目的を達成するために、本発明は、RAIDグループを備えるストレージと、前記ストレージに対するデータのリード、及び、ライトを制御する制御装置と、を備えるストレージシステムであって、前記RAIDグループは、記憶媒体としてのフラッシュメモリを有する記憶ドライブを複数有し、前記制御装置は、前記記憶ドライブの稼働ログを検出することと、前記記憶ドライブの周辺装置の稼働ログを検出することと、前記記憶ドライブを評価する第１のモデルを設定することと、前記周辺装置を評価する第２のモデルを設定することと、前記記憶ドライブの稼働ログを前記第１のモデルに適用することと、前記周辺装置の稼働ログを前記第２のモデルに適用することと、前記第１のモデルに基づいて、前記記憶ドライブの故障を予測するための第１の予測値を得ることと、前記第２のモデルに基づいて、前記周辺装置の故障を予測するための第２の予測値を得ることと、前記第１の予測値に基づいて、前記記録ドライブの故障リスクを判定することと、前記第２の予測値に基づいて、前記周辺装置の故障リスクを判定することと、を備えるストレージシステムである。

本発明によれば、記憶媒体としてのフラッシュメモリを有する記憶ドライブの故障リスクを正確に評価できる、ストレージシステム、及び、その制御方法を提供することができる。

本発明に係るストレージシステムの一実施形態のハードウェアブロックである。 図１の稼働ログ記録モジュール、そして、障害・保守情報記録モジュールの機能ブロック図である。 図１の予測モデル生成モジュールの機能ブロック図である。 予測モデル生成モジュールのモデル評価モジュール２２９の機能ブロック図である。 予測モデルを生成する工程図である。 生成した予測モデルの確度を評価する工程図である。 予測値分布の一例を示すグラフである。 図８における閾値の大小と、正答率と失報率の推移の関係を示すグラフである。 図１に係る稼動ログの一例を示すテーブルである。 図１に係る障害・保守記録の一例を示すテーブルである。 冗長性を備えるRAIDグループのドライブに生じた障害を回復するための動作を説明するためのブロック図である。 図１に係る故障リスク判定モジュールの機能ブロック図である。 故障リスク判定モジュールの他の実施形態に係る機能ブロック図である。 予測モデル１の予測値と、予測モデル２の予測値との相関を示すグラフである。 同じRAIDグループに属するドライブ１の予測値とドライブ２の予測値との相関を示すグラフである。 故障リスク判定モジュールによる、故障リスクの判定の複数の態様を説明するテーブルである。 フラッシュメモリドライブの交換の流れの一例に係る工程図である。

以下、本発明の実施の形態を、図面を参照して説明する。図１に、ストレージシステムのハードウェアブロックの一例を示す。ストレージシステムは、制御装置１００と、ストレージ１０１と、一つまたは複数のスペアドライブ１０７、１０８と、を備える。ストレージ１０１は、夫々、冗長性を備える、一つまたは複数のRAIDグループ１０１を備える。一つのRAIDグループは、１０２～１０６で示される、記憶媒体としてフラッシュメモリを備える記憶ドライブを５台備えている。

制御装置１００のRAID制御モジュール１１３は、ホストコントローラ１３０とのインタフェース（図示省略）を備え、ホストコントローラ１３０からの書き込みリクエスト１３１、読み込みリクエスト１３２により、ストレージ１０１への書き込み、読み込みを行う。

RAID制御モジュール１１３は、ホストコントローラ１３０からの書き込みデータを分割し（１４１、１４３、１４５、１４７）、更に、誤り訂正が可能な冗長データ１４９を加えて、複数のドライブ１０２～１０６に並列してデータを書き込む。

ホストコントローラ１３０からの読み込みリクエストに対しては、RAID制御モジュール１１３は、複数のドライブ１０２～１０６から、分割されたデータ１４０、１４２、１４４、１４６、および、冗長データ１４８を並列して読み込み、リードデータを構成して、ホストコントローラ１３０へ応答する（１３２）。

制御装置１００は、記憶ドライブに、リードエラー、又は、ライトエラー等を診断し、そして、記憶ドライブの周辺装置を診断するモジュール１１２、診断結果を、記憶ドライブ、又は、周辺装置の稼働ログとして記憶する稼働ログ記憶モジュール１１１と、を備える。更に、制御装置１００は、記憶ドライブ、及び、周辺装置の障害、修理等の情報を障害／保守記録モジュール１１０に記録する。

制御装置１００は、ストレージ１０１を構成するドライブの個体番号や、それぞれの個体がどのRAIDグループに属するかの情報を、RAID構成情報１１９として記録している。なお、障害、保守記録、ならびにRAID構成情報を、制御装置１００以外が管理、記録してもよい。

制御装置１００は、予測モデル生成モジュール１１４を備える。モジュールとは、制御装置１００のコントローラによって実行されるプログラム、及び／又は、ハードウェアとから実現される機能であって、部、手段、回路、ユニット、又は、単位とも称される。予測モデル生成モジュール１１４は、稼働ログ記録モジュール１１１に記録された稼働ログと、障害・保守情報記録モジュールに記録された障害、修理の情報に基づいて機械学習を行い、故障種別ごとに、故障リスクの予測モデル群１１５を生成する。

故障種別には、フラッシュメモリドライブのように、フラッシュメモリのセルの一部に障害が生じても、故障して交換しなければならなくなる迄使用を継続できるタイプ（経年劣化）と、フラッシュメモリドライブへのデータの入出力を補助する等の周辺装置、例えば、代表的には、ASIC、RAM、インタフェース（I/F）のように、突然して故障し交換されることを免れ得ないタイプがある。そこで、予測モデル群１１５は、フラッシュメモリ（NANDフラッシュメモリ）の故障予測モデル１２０と、一つまたは複数の周辺装置の故障予測モデル（ASIC故障予測モデル１２１、RAM故障予測モデル１２２、I/F故障予測モデル１２３）とを有する。

複数のモデルの夫々は、故障を予測したい期間の稼働ログに基づいて、その期間における予測対象が故障する度合いを表す特性値（予測値）を出力する。予測モデルは、故障に関連する稼働ログ項目の多項式で表現され、予測値を出力する。

NANDフラッシュメモリ故障予測モデル１２０、ASIC故障予測モデル１２１、RAM故障予測モデル１２２、I/F故障予測モデル１２３の４つの故障予測モデルによって、夫々算出された故障予測値１５０～１５３は、故障リスク判定モジュール１１６に出力される。故障リスク判定モジュール１１６は、複数のRAIDグループ夫々のドライブの故障リスクを判定し、判定結果１５９をスペアドライブ制御モジュール１１７に出力する。スペアドライブ制御モジュール１１７は、高リスクドライブのデータをスペアドライブ１０７、１０８へコピーして退避させる。

故障リスク判定モジュール１１６は、障害リスクの判定を、ドライブ単体について行うこともできるし、RAIDグループ内での偏在を考慮したリスク判定をすることもできる。故障リスク判定モジュール１１６は、RAIDグループ内でのドライブの障害リスクを判断するために、どのドライブがどこのRAIDグループに属するかの情報を得る必要があり、そこで、RAID構成情報１１９を参照する。

図２Ａ、２Ｂ，２Ｃ、図３、図４に基づいて、稼働ログ記録モジュール１１１、障害・保守情報記録モジュール１１０、そして、予測モデル生成モジュール１１４の詳細に触れながら、故障予測モデルを生成するための動作を説明し、次いで、生成した故障予測モデルの確からしさ（確度）を評価する動作を説明する。

図２Ａは、稼働ログ記録モジュール１１１、そして、障害・保守情報記録モジュール１１０の機能ブロック図である。図２Ｂは、予測モデル生成モジュール１１４の機能ブロック図であり、図２Ｃは、予測モデル生成モジュール１１４のモデル評価モジュール２２９の機能ブロック図である。図３は、予測モデルを生成する工程図であり、図４は、生成した予測モデルの確度を評価する工程図である。

図２Ａに示す様に、RAIDグループの記憶ドライブ１０２～１０６の稼働状態、そして、記憶ドライブの周辺装置である、ASIC、RAM、インタフェース（I/F）の夫々の稼働状態を、診断モジュール１１２が診断すると、診断結果１５８を、一旦、稼働ログ２０１として蓄積記憶する。

一般的に、収集される、装置の稼動ログには、装置の動作状況や、収集経路によって、重複や欠損があると同時に、ほとんど記録のない項目や、分析に不適切なデータが含まれる場合がよくある。そこで、稼働ログ記録モジュール１１１は、有効データを抽出する（１４０１）ため、稼働ログスクリーニング２０２として、ログをクレンジング（除去、補正、補完）する。

稼動ログの種類によっては、適切な集計処理を施すことが必要なこともある。たとえば、装置稼働ログ記録モジュール１１１が、一定期間で、稼働ログを平均化したり、絶対値ではなく、百分率や分布で、装置ログを参照することもある。次いで、稼働ログ記録モジュール１１１は、装置の製番毎に、日々、時間毎の稼働ログの特徴量を演算する（図２Ａ：２１３、図３：１４０３）。

障害・保守記録記憶モジュール１１０は、フラッシュメモリドライブ、ASIC、RAM、そして、I/Fを含む障害・保守情報をメモリに記録して蓄積し（２０３）、この情報をスクリーニングする（図２Ａ：２０４、図３：１４００）。スクリーニングは、障害・保守情報をクレンジング（除去、補正、補完）することと、障害・保守情報は連続データではなくイベントなので、障害・保守記録記憶モジュール１１０は、障害の発生日時、障害内容、保守実施を摘出し、これを、障害派生日時２０５、障害内容２０６、保守実施日時２０７に分類して記憶することを含む。

稼働ログ記憶モジュール１１１は、稼動ログ（特徴量）２２４を予測モデル生成モジュール１１４に送り、障害・保守情報記憶モジュール１１０は、障害発生日時２２１、障害内容２２２、保守日時２２３を予測モデル生成モジュール１１４に送る。

図２Ｂに示すように、予測モデル生成モジュール１１４の目的変数生成モジュール２０９は、目的変数を、障害に関連する稼動ログ、及び／又は、障害・保守情報に基づいて、故障種別ごとの故障発生有無として複数生成し（図３：１４０２）、故障種別ごとに複数のモデルを生成できるようにしている。

故障予測の対象機器に何等かのダメージが生じたり、保守が行われたりすると、それを境にして対象の状態が変化する。機械学習がこの状態変化の前後を混在すると、故障予測精度が悪化する。そこで、予測モデル生成モジュール１１４は、対象の稼働状態の変化を検出する（図２Ｂ：２０７、図３：１４０４）。

予測モデル生成モジュール１１４の説明変数生成モジュール２０８は、装置状態の変換点を加味して適切な稼働ログを摘出し、当該ログに基づいて、説明変数を生成する（図２Ｂ：２０８、図３：１４０５）を行う。機器状態の変化点は、例えば、障害・保守情報の保守実施日や、稼働ログの時系列データにおける統計的変化点である。

予測モデル生成モジュール１１４の目的変数生成モジュール２０９は、図２Ｂに示すように、NANDフラッシュメモリ故障（障害）の有無２２５、ASIC故障の有無２２６、SDRAM故障の有無２２７、I/F故障の有無２２８の４種類の故障に関連する目的変数を設定し（２０９）、故障に先立つ学習用稼動ログを故障の予兆の説明変数２１０として生成し、機械学習モジュール２１２は、目的変数、及び、説明変数に基づいて機械学習を実行、即ち、故障要因別に、故障有無を予測する回帰式を生成する（図３：１４０６）。

機械学習モジュール２１２は、NANDフラッシュメモリ故障予測モデル１２０、ASIC故障予測モデル１２１、RAM故障予測モデル１２２、I/F故障予測モデル１２３の４つの故障予測モデルを設定するための、夫々の故障有無に関連する稼働ログ項目の特徴量による多項式１５４、１５５、１５６、１５７を生成する。

さらに、モデル評価モジュール２２９は、それぞれのモデルにおいて、予測値に基づいて、故障リスクを判定するための閾値１６４、１６５、１６６、１６７と、その閾値で判断したときの、確度情報１６０、１６１、１６２、１６３を出力する。夫々のモデルの確度は、例えば、学習に用いたデータをモデルに入力し、学習データが、モデルにより故障と正しく分別される割合でよい。閾値、モデル確度の情報は、予測結果に基づいて、故障リスクを判断する障害リスク判定モジュール１１６で利用される。

次に、モデル評価モジュール２２９の機能ブロックである図２Ｃと、モデルの確度を評価する工程を示す図４とに基づいて、NAND故障予測モデルの確度を評価することを詳しく説明する。なお、他の故障予測モデルでも同じである。

モデル評価モジュール２２９は、モデル予測値２３０を導出（図４：１５０１）するために、NAND故障予測モデル１５４に、モデル生成に使った説明変数（稼働ログ）２１０を入力して、NAND故障に対するリスクをモデル予測値２３０として計算する。予測値２３０は、対象となるNAND障害のリスクが高ければより大きい数値に、低ければより小さい数値になる。

一般に、予測対象の稼働ログであって、任意の期間の稼働ログを予測モデルに入力し、予測モデルから出力されたモデル予測値に対して、閾値を適用して閾値を超過するか否かで、リスク判定モジュール１１６は故障リスクの判断を行い、その結果、保守対象を決定する。モデル評価モジュール２２９は、機械学習に使用した、目的変数と説明変数とを使って、閾値１６４を設定し、予測モデルの確度１６０を計算する。

モデル評価モジュール２２９は、予測値分布２３１を計算し、閾値決定２３３において閾値を変化させて、実際の故障リスク情報の正解値である目的変数と予測値分布２３１とを照合することにより正答・失報評価２３２を行い、当該評価に基づいて閾値を決定し、閾値の値によって予測モデルの精度を計算する。

正答率とは、母集団から摘出された閾値以上の対象群のうち、目的の対象（故障対象）が当該群にどのくらいの割合で含まれていたかの割合である。失報率とは、母集団から摘出されなかった閾値以下の対象群のうち、目的とする対象（故障）が当該群にどのくらいの割合で含まれていたかの割合である。正答率は高い方が、正常な対象を誤って故障と判定することが少なく、失報率は低い方が、故障の対象を正常とみなしてしまうことが少ない。

モデル評価モジュール２２９は、故障群モデル予測値、正常群モデル予測値を使って、予測値ヒストグラムを作成し、予測値分布を導出する（１５０２）。モデル評価モジュール２２９は、この故障群の予測値分布、正常群の予測値分布から、判定閾値を変化させた場合における正答率、失報率推移を導出できる（１５０３）。

モデル評価モジュール２２９は、例えば、正答率を制約して、失報率が最も低くなるところに閾値を決定する（１５０４）。モデル評価モジュール２２９は、閾値に基づいて、予測モデルの、学習用データに対する正答率、失報率を計算でき、これをモデル確度として決定する（１５０５）。

予測値の分布の例を図５に示す。横軸に予測値、縦軸に頻度分布（分布率）をとると、一般的には母集団のうち、正常群の予測値は左寄りの分布８００となり、故障群の予測値は右寄りの分布８０１となる。例えば、故障か正常かの判定閾値を、予測値に対して８０７で示す境界に設定すると、判定閾値以上には故障群しか含まれていないので、正答率は１００％である。しかし、閾値８０６～８０７までの領域は、正常、故障それぞれの群が混在している領域であり、摘出したい故障群の大半もここに含まれている。つまり、失報率（とり逃しの割合）が高い。一方で、故障か正常かの判定閾値を、予測値に対して８０６で示す境界に設定すると、閾値以下には故障群が含まれていないので、失報率（取り逃し）が０%となる。しかし、同様に閾値８０６～８０７までの領域は、正常、故障それぞれの群が混在している領域であるから、正常群の大半を故障と誤判別することになり、正答率が悪くなる。

図６に、図５における閾値の大小と、正答率９００と失報率９０１の推移の特性図を示す。一般に、閾値を高く設定すると、摘出数が減るので、正答率、失報率が１００%に近づく。閾値を低くするに従い、失報率が低くなって改善されていくが、同時に、正答率も低くなって悪化する。正常群を故障と誤検出することは過剰保守になるため、保守コストの増大を招く。従って、正答率は高い水準が要求されるため、正答率が、現場ニーズに応じた高い水準を維持できる条件（正当率制約：９０２）で、失報率が最も良い（低い）点９０３に最適閾値９０５が設定されればよい。

稼動ログ１１１の一例を図７に示す。稼動ログ１１１は、装置を構成するドライブをユニークに識別できるドライブＩＤ（３０１）と稼動ログが記録された日時３０２とともに、診断結果としての、稼動に伴う各種記録から構成される。稼動に伴う各種記録には、装置の不調などの検出記録である特定事象ごとの発生回数３０３、装置の動作を監視するセンサの値３０４、オペレータやユーザが当該装置を操作した履歴３０５、ドライブの設定パラメータ３０６を含む。センサとしては、温度センサ、電流センサ、電圧センサ等でよい。

障害・保守記録は、監視対象の装置に発生した障害の発生日時と、当該装置に対する保守、修理の記録とを備える。当該装置自身が自動的に記録するもののほか、保守作業員が作業記録として記録してもよい。図８に障害・保守記録の一例を示す。障害・保守記録は、装置をユニークに識別できる機器ＩＤ４０１、障害の発生日時４０２、保守実施の日時４３、障害が発生して保守が行われた対象４０４、保守の内容４０５を有する。保守内容を、保守現場で作業員が手書きで記録する場合、表記のゆれや欠落が生じることもある。障害の内容と保守の内容を表す記号４０６は、障害と保守の内容を分類、集計を容易にする。

図９は、冗長性を備えるRAIDグループ１０１（図１）のドライブに生じた障害を回復するための動作を説明するためのブロック図である。RAIDグループは、冗長性を備えるドライブ１～ドライブ５の５台のドライブ５１０～５１４と、１台のスペアドライブ５１５によって構成されている。ドライブ３（５１２）が故障し、データを読み出せなくなった場合、ディスクアレイ制御装置１００（図１）は、ドライブ３のData３（５０２）をホストコントローラ１３０（図１）に読み出し結果として出力することができない。

そこで、RAID制御モジュール１１３（図１）は、ドライブ３以外のData１（５００）、Data２（５０１）、Data４（５０３）と、冗長データ（Parity）５０４を使って、誤り訂正復号を行い、Data３（５０７）を復元してホストコントローラ１３０へ応答する（縮退リード）。

同時に、RAID制御モジュール１１３は、ドライブ３以外の残りのドライブのデータを使って、ドライブ３に格納されていた全データをスペアドライブ５１５へ復元する（縮退復旧）。RAID制御モジュール１１３が、ドライブ３のデータを全てスペアド５１５に再構築するためには、ドライブ３以外全てのドライブのデータを読み出す必要があり、かつ、誤り訂正復号の演算を必要とするので、制御装置１００の負荷を高めながら長い時間を要するという問題があった。さらに、縮退復旧中は、冗長度が低下しているため、更に他のドライブが故障すると、多重障害としてデータ喪失に至ってしまう。

制御装置１００は、ドライブを交換しなければならなくなる以前に、ドライブの故障予測によって、リスクの高いドライブのデータをスペアドライブにコピーできるので、縮退復旧から解放される。制御装置１００は、コピー開始後のドライブへのアクセス内容をスペアドライブに同期させておけば、そのドライブが故障した場合、当該ドライブをスペアドライブと差し替えればよく、障害復旧までの期間を短縮でき、そして、多重障害リスクを低減できる。

次に、故障リスク判定モジュール１１６の動作を説明する。図１０は、故障リスク判定モジュール１１６の機能ブロック図である。モデル評価モジュール２２９（図２Ｂ）は、各モデルの予測値に基づいて、夫々に閾値を決定する（図５，６）。機械学習モジュール２１２（図２Ｂ）は、故障予測モデルを学習する際、例えば、故障が予測される対象について“１”を、正常な対象について“０”を目的変数に入力する。生成されたモデルに予測対象の稼働ログを入力すると、故障リスクが高い対象ほど予測値は“１”に近く、正常な対象ほど予測値は“０”に近い。

閾値判定モジュール６０７は、モデル評価モジュール２２９で決定された、モデル毎の閾値（１６４～１６７）で、モデル毎の故障予測値（１５０～１５３）を判定して、高リスクな対象を抽出する。閾値判定モジュール６０７は、この抽出結果に基づいて、高リスクとして、注意が優先して適用されるべき、記憶ドライブ、そして、周辺装置の並び（優先順位）６０８を決定して、これをリスト６０９として出力する。管理者は、このリストに基づいて、記憶ドライブ、そして、周辺装置の交換の要否を判定する。

図１１は、故障リスク判定モジュール１１６の他の実施形態に係る機能ブロック図であって、閾値判定モジュール６０７が、複数モデル毎の予測値６０１～６０４に、当該モデルの確度１６０～１６３を加重させて、即ち、乗じることによってし、優先順位６０８を決定している。こうすることによって、故障リスク判定モジュール１１６（図１）は、単一のモデルの予測値としては閾値を超えなくても、複数のモデルの予測値を加味し、リスクが高い対象を判定することができる。

故障リスク判定モジュール１１６は、NAND予測値６０１、ASIC予測値６０２、RAM予測値６０３、I/F予測値６０４に基づいて、故障リスクを判定しているため、夫々の故障のリスク、任意の組み合わせの故障リスクを判定することができる。即ち、故障リスク判定モジュール１１６は、RAIDグループに於ける、複数の記憶ドライブ毎の故障リスクばかりでなく、複数の記憶ドライブを関連させた故障リスク、そして、記憶ドライブと周辺装置とを関連させた故障リスクを判定することができる。

次に、障害リスク判定モジュール１１６が、複数モデルの予測値を活用して故障判別を行う例を示す。図１２は、予測モデル１の予測値と、予測モデル２の予測値との相関を示す。予測モデル１の予測値が、予測モデル１閾値（１００５）を超えた場合、または予測モデル２の予測値が、予測モデル２閾値（１００４）を超えた場合、つまり、単体ＮＧ領域（１００１、１００２）に予測値が存在すれば、予測モデル１の対象１と予測モデル２の対象２とが個別に故障と判断される。

予測モデル１と予測モデル２の予測値の組合せ１００８は、単体NGとなる領域１００２，１００８にはないが、全ての予測モデルの予測値がゼロ点であるゼロリスク点１００７からの正規化距離（ゼロリスク点から各予測モデルの閾値までの距離を“１”としたときの、空間的距離)は“１”を超えている。したがって、対象体１と対象体２との組み合わせに故障リスクがあり、管理者は、対象体１と対象体２との少なくとも一方を交換対象としてよい。対象体１と対象体２とは、同一装置でもよいし、異なる装置でもよい。

図１３は、同じRAIDグループに属するドライブ１の予測値とドライブ２の予測値との相関を示す特性図である。縦軸に、ドライブ１の予測値を、横軸に、ドライブ２の予測値を示している。故障リスク判定モジュール１１６は、ドライブ１の予測値が閾値１１０５を超えると、ドライブ２の予測値が閾値１１０４を超えると、つまり、単体NG領域１１０１、１１０２に夫々の予測値が存在すれと、ドライブ１とドライブ２とを、個別に、故障と判断する。

ドライブ１とドライブ２の予測値の組合せ１１０８は、単体でNGとなる範囲に存在しないが、全てのドライブの予測値がゼロ点であるゼロリスク点１１０７からの正規化距離を超えた領域に存在するため、故障リスク判定モジュール１１６は、ドライブ１と２との予測値が比較的高い場合、その組合せの故障リスクは高いと判定して、ドライブ１，２の少なくとも一方、好ましは、予測値が高い方ドライブ、又は、両方を、交換対象として、スペアドライブにデータのコピーを開始すればよい。

故障リスク判定モジュール１１６による、故障リスクの判定の複数の態様について説明する。図１４は、複数の態様を具体的に説明するテーブルである。“単一モデル”は図１０に対応し、“加重判定”は図１１に対応し、“複数モデル”は、図１２,１３に示す、正規化距離を利用した判定に対応する。

NANDフラッシュメモリ、ASIC、SDRAM、I/Fの４つのモデルの予測値は、Ａ列１２０１に示す通り、夫々、０．６５、０．２０、０．６０、０．８０である。閾値はＢ列１２０２に示す通り、全モデルで０．７である。Ｃ列（１２０３）に、故障リスクの判定結果を示す。単体で閾値を超過するのは、I/Fの故障予測モデルの０．８０である。

Ｄ列１２０４に、既述の予測モデル毎の確度１６０～１６３を示す。確度とは、故障予測モデルの性能を示すものであり、寿命部品であるNANDフラッシュメモリは、稼働ログ１５８に予兆が現れやすいため、確度を高くでき、突発故障の多い、記憶ドライブの周辺装置である、ASIC等の論理LSIの確度を高くできない。予測モデルの予測値に確度を加重、例えば、予測値に確度を乗じることにより、故障リスクをより高い精度に補正することができる。Ｅ列１２０５に加重後の値を示す。加重値で閾値を超過するものは無いため、全ての予測対象について、故障リスクはないことになる。

Ｇ列１２０７は、NANDフラッシュメモリ、ASIC、SDRAM、そして、I/F夫々の予測モデルの予測値（加重値）を組み合わせた点について、４次元空間に於けるゼロリスク点からの正規化距離の値を示す。この値は、加重値が高い、NANDフラッシュメモリ予測モデル、SDRAMの予測モデルがより重視されたものとなり、その結果、閾値を超過することがなる（Ｈ列：１２０８）。即ち、加重値によって、記憶ドライブ、そして、その周辺装置が夫々交換リスクがないと判定されたものが、実のところ、記憶ドライブは周辺装置の組み合わせにおいて、故障リスクがあると判断される。従って、フラッシュメモリドライブの故障リスクの判定がより正しく実現されることになる。

次に、フラッシュメモリドライブの故障、及び、フラッシュメモリドライブの故障リスクに伴って必要になる、フラッシュメモリドライブの交換の流れについて説明する。図１５は、その一例に係る工程図である。

（Ａ）は、故障リスクが判定されることなく、フラッシュメモリドライブが故障するフェーズを示し、（Ｂ）は、故障リスクが判定されたドライブが故障するフェーズを示し、（Ｃ）は、故障リスクが判定されたドライブより先に他のドライブが故障するフェーズを示し、（Ｄ）は、故障リスクが判定されたドライブとは別のドライブに故障リスクが判定されるフェーズを示す。

RAIDグループの全てのドライブに於いて、故障リスクが無い健全な状態で、制御装置１００は工程をスタートさせる（１３００）。制御装置１００は、全てのドライブについて、故障リスクのチェックを実行し（１３０１）、故障リスクのあるドライブが無いことを判定すると、ステップ１３０２に移行する。

ステップ１３０２において、制御装置１００は、故障したドライブがあるか否かを判定し、故障ドライブが無いと、ステップ１３０１に戻り、故障ドライブがあるとステップ１３０３に進む。故障ドライブは、予兆、即ち、故障リスクが判定されることなく、突発的に故障したものであるため、制御装置１００は、故障ドライブの縮退復旧を行い、故障したドライブのデータをスペアドライブに復元した後、管理者が故障ドライブから交換したドライブに、スペアドライブから交換したデータを復旧（１３０４）し、ステップ１３０１に戻る。

制御装置１００が、ステップ１３０１において、故障リスクのドライブを判定すると、ステップ１３０５に進み、故障リスクのドライブのデータをスペアドライブにコピーして、故障リスクのドライブをスペアドライブに同期させる。

制御装置１００が、ステップ１３０６において、故障リスクのドライブが実際に故障したことを判定すると、ステップ１３０７に進み、交換されたドライブに、スペアドライブからデータをコピーして復旧させて、ステップ１３０１に戻る。コピーは、縮退運転とは異なり、高速で進むために、既述の多重障害を避けることができる。

制御装置１００が、ステップ１３０６において、故障リスクのドライブが未だ故障していないことを判定すると、ステップ１３０８に進み、故障ドライブがあるか否かを判定する。制御装置１００が、故障ドライブを判定すると、このドライブについて縮退運転を適用すると、ステップ１３０１において、故障リスクがあると判定されたドライブが多重障害に至るおそれがあるため、このドライブの交換を求め、交換されたドライブにスペアドライブからデータを復旧させる（１３０９）。この間、冗長性は低下しているが、所要時間は短くて済むため、実害は無いと云える。

制御装置１００は、ステップ１３１０に進み、ステップ１３０８で判定された故障ドライブに対して縮退運転を行い（１３１０）、交換されたドライブにスペアドライブからデータを復旧させて（１３１１）、ステップ１３０１に戻る。

制御装置１００は、ステップ１３０８において、故障ドライブが無いことを判定すると、ステップ１３１２に移行し、ステップ１３０１で故障リスクありと判定された第１ドライブ以外に、故障リスクがある第２のドライブの有無を判定する。

制御装置１００は、第２ドライブがあることを判定すると、ステップ１３１３に移行し、第１ドライブが故障し得る度合い（予測値）と第２ドライブが故障し得る度合い（予測値）とを比較し、第２ドライブが第１ドライブより低リスクであることを判定すると、RAIDグループの冗長度は維持されているため、対応を採ることなく、ステップ１３０６に戻る。制御装置１００は、ステップ１３１２において、第２ドライブの存在を判定しない場合にも、ステップ１３０６に戻る。

ステップ１３１３において、制御装置１００が、第２ドライブが第１ドライブより高リスクであることを判定すると、ステップ１３１４において、第２ドライブのデータをスペアドライブにコピーして、第２ドライブをスペアドライブに同期させて、ステップ１３０６に戻る。制御装置１００は、ステップ１３０６において、第２ドライブの故障の有無を判定する。

図１５に示す工程図によれば、故障リスクがあるフラッシュメモリドライブのデータは、ドライブが実際に故障する前に、スペアドライブに退避させることができるために、縮退運転が必要なフラッシュメモリドライブは、故障リスクが判定されることなく故障するという稀なドライブに限られるために、多重障害のリスクを低減させることができる。

以上説明した実施形態は、本発明の一例であって、本発明は実施形態に限定されるものではない。例えば、記憶デバイスの周辺装置としては、ASIC、SDRAM、I/Fに限られない。

Claims (11)

1. RAIDグループを備えるストレージと、
   前記ストレージに対するデータのリード、及び、ライトを制御する制御装置と、
   を備えるストレージシステムであって、
   前記RAIDグループは、記憶媒体としてのフラッシュメモリを有する記憶ドライブを複数有し、
   前記制御装置は、
   前記記憶ドライブの稼働ログを検出することと、
   前記記憶ドライブの周辺装置の稼働ログを検出することと、
   前記記憶ドライブを評価する第１のモデルを設定することと、
   前記周辺装置を評価する第２のモデルを設定することと、
   前記記憶ドライブの稼働ログを前記第１のモデルに適用することと、
   前記周辺装置の稼働ログを前記第２のモデルに適用することと、
   前記第１のモデルに基づいて、前記記憶ドライブの故障を予測するための第１の予測値を得ることと、
   前記第２のモデルに基づいて、前記周辺装置の故障を予測するための第２の予測値を得ることと、
   前記第１の予測値に基づいて、前記記憶ドライブの故障リスクを判定することと、
   前記第２の予測値に基づいて、前記周辺装置の故障リスクを判定することと、
   を備えるストレージシステム。
2. 前記制御装置は、
   前記第１の予測値と前記第２の予測値とに基づいて、
   前記記憶ドライブの故障リスクを判定することと、
   をさらに備える請求項１記載のストレージシステム。
3. 前記制御装置は、
   複数の記憶ドライブの夫々について前記第１の予測値を得ることと、
   前記複数の記憶ドライブ夫々の前記第１の予測値に基づいて、前記複数の記憶ドライブの少なくとも一つの故障リスクを判定することと、
   をさらに備える請求項１記載のストレージシステム。
4. 前記制御装置は、
   前記記憶ドライブに生じた障害と当該障害に対する保守の履歴を記憶することと、
   前記周辺装置の障害に生じた障害と当該障害に対する保守の履歴を記憶することと、
   をさらに備える請求項１記載のストレージシステム。
5. 前記制御装置は、
   前記記憶ドライブに対する前記履歴と前記記憶ドライブの前記稼働ログとに基づく機械学習によって、前記第１のモデルを作成することと、
   前記周辺装置に対する前記履歴と前記周辺装置の前記稼働ログとに基づく機械学習によって、前記第２のモデルを作成することと、
   をさらに備える請求項４記載のストレージシステム。
6. 前記制御装置は、
   前記故障リスクが判定された記憶ドライブのデータをスペアドライブに多重化させること、
   をさらに備える請求項１記載のストレージシステム。
7. 前記制御装置は、
   前記第１の予測値の第１の確度を得ることと、
   前記第２の予測値の第２の確度を得ることと、
   前記第１の予測値に前記第１の確度を加重させた結果に基づいて、前記記憶ドライブの故障リスクを判定することと、
   前記第２の予測値に前記第２の確度を加重させた結果に基づいて、前記周辺装置の故障リスクを判定することと、
   をさらに備える請求項１記載のストレージシステム。
8. 前記制御装置は、
   前記第１の予測値が閾値を超える場合に、前記記憶ドライブに故障リスクがあると判定することと、
   前記第２の予測値が閾値を超える場合に、前記周辺装置に故障リスクがあると判定することと、
   をさらに備える請求項１記載のストレージシステム。
9. 前記制御装置は、
   前記記憶ドライブが故障リスクがあると判定され、その後に故障に至る率が高く、そして、
   前記記憶ドライブに故障リスクがないと判定されながら、その後、故障に至る率が低く、
   なるように、前記第１の予測値に対する閾値を決定する、
   請求項８記載のストレージシステム。
10. 前記記憶ドライブの稼働ログは、当該記憶ドライブの診断結果を含み、
    前記周辺装置の稼働ログは、当該周辺装置の診断結果を含む、
    請求項１記載のストレージシステム。
11. RAIDグループを備えるストレージに対するデータのリード、及び、ライトを制御装置が制御し、前記RAIDグループは、記憶媒体としてのフラッシュメモリを有する記憶ドライブを複数有する、ストレージシステムの制御方法であって、
    前記制御装置は、
    前記記憶ドライブの稼働ログを検出し、
    前記記憶ドライブの周辺装置の稼働ログを検出し、
    前記記憶ドライブを評価する第１のモデルを設定し、
    前記周辺装置を評価する第２のモデルを設定し、
    前記記憶ドライブの稼働ログを前記第１のモデルに適用し、
    前記周辺装置の稼働ログを前記第２のモデルに適用し、
    前記第１のモデルに基づいて、前記記憶ドライブの故障を予測するための第１の予測値を取得し、
    前記第２のモデルに基づいて、前記周辺装置の故障を予測するための第２の予測値を取得し、
    前記第１の予測値に基づいて、前記記憶ドライブの故障リスクを判定し、そして、
    前記第２の予測値に基づいて、前記周辺装置の故障リスクを判定する、
    ストレージシステムの制御方法。

Images