JP7491545B2

JP7491545B2 - 情報処理方法

Info

Publication number: JP7491545B2
Application number: JP2019238200A
Authority: JP
Inventors: 諒庄司
Original assignee: NEC Corp; NEC Solution Innovators Ltd
Current assignee: NEC Corp; NEC Solution Innovators Ltd
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2024-05-28
Anticipated expiration: 2039-12-27
Also published as: JP2021105964A

Description

本発明は、情報処理方法、ストレージノード、プログラムに関する。

データを複数ノード上の複数ディスクに分散して格納するストレージが知られている。

上記のようなデータを分散して格納するストレージの一例として、例えば、特許文献１がある。特許文献１には、複数の記憶手段（記憶装置）と、分散記憶処理手段と、データ再生成手段と、を備えるストレージシステムが記載されている。特許文献１によると、分散記憶処理手段は、分割データおよび冗長データからなる複数のフラグメントデータを生成して、生成した複数のフラグメントデータを複数の記憶手段に分散して記憶する。また、データ再生成手段は、障害が発生した記憶手段に記憶されていた記憶対象データを構成するフラグメントデータを、障害が発生していない他の記憶手段に記憶されている記憶対象データを構成する他のフラグメントデータに基づいて再生成する。具体的には、データ再生成手段は、記憶対象データを構成するフラグメントデータのうちの冗長データの数に基づく優先順位にて、記憶対象データを構成するフラグメントデータの再生成を行う。

特開２０１３－１７４９８４号公報

特許文献１に記載の技術の場合、故障が発生した後にデータの再生成を行う。そのため、データの再生成が完了するまでの間、ストレージシステムの耐障害性、読み込み性能、書き込み性能、などの各種性能が悪化してしまう。

このように、記憶装置に障害が発生した際に、復元処理が完了するまでの間ストレージシステムの性能が悪化するおそれがある、という課題が生じていた。

そこで、本発明の目的は、記憶装置に障害が発生した際に、復元処理が完了するまでの間ストレージシステムの性能が悪化するおそれがある、という課題を解決する情報処理方法、ストレージノード、プログラムを提供することにある。

かかる目的を達成するため本発明の一形態である情報処理方法は、
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、
計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる
という構成をとる。

また、本発明の他の形態であるストレージノードは、
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を有する
という構成をとる。

また、本発明の他の形態であるプログラムは、
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を実現するためのプログラムである。

本発明は、以上のように構成されることにより、記憶装置に障害が発生した際に、復元処理が完了するまでの間ストレージシステムの性能が悪化するおそれがある、という課題を解決する情報処理方法、ストレージノード、プログラムを提供することが可能となる。

本発明の第１の実施形態におけるシステム全体の構成の一例を示すブロック図である。図１で示すアクセラレータノードの構成の一例を示すブロック図である。分散記憶処理の一例を説明するための図である。図１で示すストレージノードの構成の一例を示すブロック図である。データ移動処理の一例を説明するための図である。故障時期リストの一例を示す図である。データ移動処理の一例を説明するための図である。ストレージノードが故障時期リストを生成する際の動作の一例を示すフローチャートである。ストレージノードがフラグメントデータの移動または複製を行う際の動作の一例を示すフローチャートである。本発明の第２の実施形態におけるストレージノードのハードウェア構成を示すブロック図である。本発明の第２の実施形態におけるストレージノードの構成の一例を示すブロック図である。

［第１の実施形態］
本発明の第１の実施形態を図１から図９までを参照して説明する。図１は、システム全体の構成の一例を示すブロック図である。図２は、アクセラレータノード１１０の構成の一例を示すブロック図である。図３は、ストレージシステム１００において行われる分散記憶処理の一例を説明するための図である。図４は、ストレージノード１２０の構成の一例を示すブロック図である。図５は、データ移動処理の一例を説明するための図である。図６は、故障時期リスト１２６の一例を示す図である。図７は、データ移動処理の一例を説明するための図である。図８は、ストレージノード１２０が故障時期リスト１２６を生成する際の動作の一例を示すフローチャートである。図９は、ストレージノード１２０がフラグメントデータの移動または複製を行う際の動作の一例を示すフローチャートである。

本発明の第１の実施形態においては、記憶対象のデータを複数ディスクに分散して格納するストレージシステム１００について説明する。ストレージシステム１００は、記憶対象のデータを分割したブロックデータから、当該ブロックデータをさらに分割した複数のフラグメントデータ（冗長データを含む）を生成して、複数ディスクに分散して記憶する。また、ストレージシステム１００は、ディスクやストレージノード１２０が故障する可能性に応じた情報として、ディスクやストレージノード１２０の故障時期を計算する。そして、ストレージシステム１００は、計算した結果に基づいて、ディスクに格納したフラグメントデータを他のディスクに移動させる。

図１は、ストレージシステム１００を含むシステムの構成の一例を示している。図１を参照すると、ストレージシステム１００は、ネットワークなどを介して、データ格納・参照装置２００と互いに通信可能に接続されている。データ格納・参照装置２００は、外部装置などから記憶対象のデータを取得する。すると、データ格納・参照装置２００は、取得した記憶対象のデータを記憶するようストレージシステム１００に対して要求する。この要求に応じて、ストレージシステム１００は、要求された記憶対象のデータを記憶する。

ストレージシステム１００は、記憶対象のデータを分割、冗長化、分散して複数の記憶装置に記憶する。また、ストレージシステム１００は、記憶するデータの内容に応じて設定される固有のコンテンツアドレスによって、当該データを格納した格納位置を特定する。上記のような処理を行うため、ストレージシステム１００は、コンテンツアドレスストレージシステムとも呼ばれうる。

図１で示すように、ストレージシステム１００は、例えば、複数のサーバ装置が接続された構成を有している。具体的には、ストレージシステム１００は、１つまたは複数のアクセラレータノード１１０と、１つまたは複数のストレージノード１２０と、が接続された構成を有している。なお、本実施形態においては、ストレージシステム１００が有するアクセラレータノード１１０の数やストレージノード１２０の数は特に限定しない。ストレージシステム１００は、任意の数のアクセラレータノード１１０やストレージノード１２０を有することが出来る。

アクセラレータノード１１０は、ストレージシステム１００における記憶再生動作を制御するサーバ装置である。図２は、アクセラレータノード１１０の構成の一例を示している。図２を参照すると、アクセラレータノード１１０は、例えば、ファイルシステムサービス部１１１と、ブロック分割処理部１１２と、重複排除処理部１１３と、分散処理部１１４と、を有している。

例えば、アクセラレータノード１１０は、ＣＰＵ（Central Processing Unit）などの演算装置と、記憶装置と、を有している。例えば、アクセラレータノード１１０は、記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。

ファイルシステムサービス部１１１は、データ格納・参照装置２００から受信した記憶対象のデータをストレージノード１２０に格納する動作やデータをストレージノード１２０から読み出す動作を制御するファイルシステムとして機能する。

例えば、ファイルシステムサービス部１１１は、データ格納・参照装置２００から記憶対象のデータを受信する。すると、ファイルシステムサービス部１１１は、受信した記憶対象のデータの格納処理を開始する。

また、例えば、ファイルシステムサービス部１１１は、データ格納・参照装置２００からデータの読み出し要求を受信する。すると、ファイルシステムサービス部１１１は、データを読み出す処理を開始する。例えば、ファイルシステムサービス部１１１は、記憶対象となるデータのファイル名などの識別情報と、コンテンツアドレスなどのデータの格納位置を示す情報と、を対応付けて管理している。ファイルシステムサービス部１１１は、データ格納・参照装置２００からファイルの読み出し要求を受けると、上記対応付けて管理する情報を参照して、要求されたファイルに対応するコンテンツアドレスを特定するとともに、特定したコンテンツアドレスにて指定される格納位置を特定する。そして、ファイルシステムサービス部１１１は、特定された格納位置に格納されている各フラグメントデータを、読み出し要求されたデータとして読み出す。

なお、後述するように、記憶対象のデータを分割したブロックデータ１つから冗長データを含む複数のフラグメントデータが生成される。ファイルシステムサービス部１１１は、冗長データを含むすべてのフラグメントデータに対して読み込み要求を発行して、先行して結果が返ってきたフラグメントデータを利用するよう構成することが出来る。ファイルシステムサービス部１１１は、データを復元するために必要な最低限の数のフラグメントデータのみを読み込むよう構成しても構わない。例えば、ファイルシステムサービス部１１１は、後述するストレージノード１２０で作成される故障時期リスト１２６が示す各ディスクの故障時期などに基づいて、フラグメントデータの読込先を絞るよう構成しても構わない。

図３は、データの格納処理を行う際のブロック分割処理部１１２、重複排除処理部１１３、分散処理部１１４の処理の一例を説明するための図である。図３を参照すると、ブロック分割処理部１１２は、記憶対象のデータを固定長（例えば、６４ＫＢ）または可変長のブロックデータに分割する。

重複排除処理部１１３は、ブロック分割処理部１１２が分割したブロックデータのデータ内容に基づいて、当該データ内容を代表するハッシュ値を算出する。例えば、重複排除処理部１１３は、予め設定されたハッシュ関数（例えば、SHA-2などの暗号学的ハッシュ関数など）を用いて、ブロックデータのデータ内容からハッシュ値を算出する。

また、重複排除処理部１１３は、算出したブロックデータのハッシュ値を用いて、重複排除処理を行う。例えば、アクセラレータノード１１０は、既に格納したブロックデータの内容に基づいて算出したハッシュ値と、格納位置を表す情報と、を組み合わせたコンテンツアドレスなどの重複排除情報を記憶している。重複排除処理部１１３は、重複排除情報を参照することで、同一内容のブロックデータが既にストレージノード１２０に格納されているか否か判断する。例えば、記憶対象のブロックデータに基づいて算出したハッシュ値が重複排除情報に含まれる場合、重複排除処理部１１３は、既に同一内容のブロックデータがストレージノード１２０に格納されていると判断する。この場合、重複排除処理部１１３は、算出したハッシュ値と一致するハッシュ値を有するコンテンツアドレスを重複排除情報から取得する。そして、重複排除処理部１１３は、取得したコンテンツアドレスを、記憶対象のブロックデータのコンテンツアドレスとしてファイルシステムサービス部１１１などに返却する。このような処理により、重複排除処理部１１３は、既に記憶していると判断したブロックデータをストレージノード１２０に再度格納しないようにする。

また、例えば、記憶対象のブロックデータに基づいて算出したハッシュ値が重複排除情報に含まれない場合、重複排除処理部１１３は、記憶対象のブロックデータがストレージノード１２０にまだ格納されていないと判断する。この場合、分散処理部１１４などにて、かかるブロックデータをストレージノード１２０に格納する処理を行う。

分散処理部１１４は、ブロックデータを複数のフラグメントデータに分割する。例えば、分散処理部１１４は、ブロックデータを９個のフラグメントデータに分割する。また、分散処理部１１４は、分割したフラグメントデータのうちいくつかが欠けた場合であっても、元となるブロックデータを復元可能なよう、冗長データを生成する。例えば、分散処理部１１４は、３個の冗長データを生成する。例えば、以上のような処理により、分散処理部１１４は、９個の分割データと３個の冗長データとにより構成される１２個のフラグメントデータを生成する（図３参照）。なお、分散処理部１１４が生成するフラグメントデータの数や冗長データの数は、上記例示した以外であっても構わない。

また、分散処理部１１４は、後述するストレージノード１２０が有するデータ保存部１２１と協同して、各ストレージノード１２０に形成された各コンポーネントに、フラグメントデータを分散記憶させる。例えば、分散処理部１１４は、ストレージノード１２０に形成されたデータ格納領域である各コンポーネントに、各フラグメントデータを１個ずつそれぞれ格納する。

例えば、以上のように、アクセラレータノード１１０が有するブロック分割処理部１１２、重複排除処理部１１３、分散処理部１１４と、ストレージノード１２０が有するデータ保存部１２１とは、協働して、記憶対象のデータを分割したブロックデータから、当該ブロックデータをさらに分割した複数のフラグメントデータ（冗長データを含む）を生成すして、複数の記憶装置に分散して記憶する分散記憶処理手段として機能する。

ストレージノード１２０は、データを格納する記憶装置を備えたサーバ装置である。図４は、ストレージノード１２０の構成の一例を示している。図４を参照すると、ストレージノード１２０は、例えば、データ保存部１２１と、故障時期計算部１２２と、故障時期同期部１２３と、優先度計算部１２４と、データ移動部１２５と、を有している。また、ストレージノード１２０は、記憶装置１２７である複数のディスクを有するとともに、故障時期リスト１２６を記憶している。

例えば、ストレージノード１２０は、ＣＰＵなどの演算装置と、記憶装置と、を有している。例えば、ストレージノード１２０は、記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。

データ保存部１２１は、上述したように、アクセラレータノード１１０が有する分散処理部１１４と協同して、フラグメントデータをコンポーネントに格納する。なお、コンポーネントとは、ハッシュ値などに基づいてフラグメントデータをまとめるグループのことをいう。ストレージノード１２０が有する複数のディスクそれぞれにはコンポーネントの格納領域が１つまたは複数形成されており、フラグメントデータは、コンポーネントに格納される。

なお、データ保存部１２１は、フラグメントデータをコンポーネントに格納する際、フラグメントデータと関連する情報を含むメタデータをフラグメントデータと関連付けて、同一のコンポーネントに格納するよう構成しても構わない。フラグメントデータと関連付けられるメタデータには、例えば、フラグメントデータの元となるブロックデータが所属するコンポーネントの構成を表すコンポーネント構成情報、ブロックデータからフラグメントデータを生成する際に生成した冗長データの数を表すパリティ数、同一のデータ内容であると判断され他のブロックデータとして参照されている数（つまり、重複するハッシュ値が算出された回数）を表す被参照数、などを含むことが出来る。メタデータには、上記例示した情報以外を含んでも構わない。

故障時期計算部１２２は、ストレージノード１２０が有する記憶装置１２７であるディスクやストレージノード１２０自体が故障する可能性に応じた情報を計算する。例えば、故障時期計算部１２２は、故障する可能性に応じた情報として、ディスクやストレージノード１２０自体が故障する時期を示す故障時期を計算する。

例えば、故障時期計算部１２２は、記憶装置１２７に含まれる各ディスクからS.M.A.R.T（Self-Monitoring, Analysis and Reporting Technology）情報を取得する。そして、故障時期計算部１２２は、取得したS.M.A.R.T情報に基づいて、ディスクの故障時期を計算する。また、例えば、故障時期計算部１２２は、BMC（Baseboard Management Controller）などを介して、ストレージノード１２０が有するOS（Operating System）、ディスクのエラー、警告情報などを取得する。そして、故障時期計算部１２２は、取得した情報の内容および出力頻度などに基づいて、ディスクやストレージノード１２０の故障時期を計算する。また、例えば、故障時期計算部１２２は、定期的に各ディスクへ読み込み要求を行い、応答時間遅延の推移などからディスクの故障時期を計算する。

故障時期計算部１２２は、上述したような情報のうちの一つ、または、複数の組み合わせにより、ディスクやストレージノード１２０の故障時期を計算する。これにより、故障時期計算部１２２は、自装置が有するディスクや自装置自身であるストレージノード１２０の故障時期を示す自装置の故障時期リスト１２６（故障時期情報）を生成する。

なお、本実施形態においては、故障時期計算部１２２が取得した各種情報に基づいて故障時期を計算する際の処理の詳細については特に限定しない。例えば、故障時期計算部１２２は、過去に起きた実際の故障例に基づいて用意した正例サンプルと負例サンプルとを機械学習することによって生成した判別モデルに基づいて故障時期を計算するなど、既知の方法を用いて故障時期を計算するよう構成して構わない。

故障時期同期部１２３は、故障時期計算部１２２が計算・生成した自装置の故障時期リスト１２６を他のストレージノード１２０における計算結果と同期する。例えば、故障時期同期部１２３は、自装置の故障時期リスト１２６を他のストレージノード１２０に対して送信するとともに、ストレージシステム１００に含まれる他のストレージノード１２０から各ストレージノード１２０における故障時期リスト１２６を受信する。このような同期処理を行うことで、故障時期同期部１２３は、ストレージシステム１００に含まれる各ストレージノード１２０が有する各ディスクの故障時期、各ストレージノード１２０の故障時期、を示す故障時期リスト１２６を生成する。

優先度計算部１２４は、ディスクに格納された各フラグメントデータの優先度を計算する。

例えば、優先度計算部１２４は、直近の書き込み・読み出しからの経過時間に基づいて、各フラグメントデータの優先度を計算する。例えば、直近に利用したデータは再び使われる可能性がある（LRU（Least Recently Used））と想定される。そこで、優先度計算部１２４は、フラグメントデータの読み出しまたは書き込み時に、読み出しまたは書き込みを行ったフラグメントデータに対応する優先度を所定値上げる。また、優先度計算部１２４は、例えば、一定時間経過するごとに全ての優先度を均一に下げる。例えば、以上のように、優先度計算部１２４は、直近で使用頻度の高いフラグメントデータほど優先度が高くなるように、各フラグメントデータに対応する優先度を計算する。なお、フラグメントデータの書き込み時には、新規にフラグメントデータを書き込む場合の他に、ブロックデータが重複していると判断された場合を含むことが出来る。

また、優先度計算部１２４は、上記例示した以外の方法でフラグメントデータの優先度を計算するよう構成しても構わない。例えば、優先度計算部１２４は、パリティ数、被参照数、などのメタデータが示す情報に応じて優先度を計算するよう構成しても構わない。例えば、優先度計算部１２４は、パリティ数が少ないほど高い優先度を計算するよう構成することが出来る。また、例えば、優先度計算部１２４は、被参照数が多くなるほど高い優先度を計算するように構成することが出来る。

例えば、優先度計算部１２４は、上記例示した方法のうちのいずれか、または、組み合わせにより、各フラグメントデータの優先度を計算するよう構成することが出来る。優先度計算部１２４は、上記例示した以外の方法により優先度を計算するよう構成しても構わない。

データ移動部１２５は、故障時期同期部１２３が同期した故障時期リスト１２６と優先度計算部１２４による計算結果とに基づいて、データの移動または複製を行う。

例えば、データ移動部１２５は、故障時期リスト１２６を参照して、故障時期が予め定められた閾値以下となるディスク、または、ストレージノード１２０が故障時期リスト１２６に含まれるか否か確認する。そして、故障時期が予め定められた閾値以下となるディスク、または、ストレージノード１２０が故障時期リスト１２６に含まれる場合、データ移動部１２５は、故障時期が予め定められた閾値以下となるディスク、または、ストレージノード１２０は移動が必要な記憶装置であると判断して、当該記憶装置に格納されるフラグメントデータが移動の対象となる可能性があるフラグメントデータであると判断する。また、移動の対象となる可能性があるフラグメントデータがあると判断される場合、データ移動部１２５は、フラグメントデータの移動先を選定、フラグメントデータの移動方式を決定した後、優先度計算部１２４による計算結果に応じたフラグメントデータの移動処理を行う。

移動先の選定は、例えば、所定の条件を満たすディスクの中からラウンドロビン方式で選定することにより行われる。例えば、データ移動部１２５は、故障時期リスト１２６から故障時期が予め定められた第２閾値以上あるディスクを移動が不要なディスクと判断して抽出する。そして、データ移動部１２５は抽出したディスクの中からラウンドロビン方式で移動先となるディスクを選定する。なお、データ移動部１２５は、上記選定を行う際、各ディスクの空き容量を示す情報を活用しても構わない。例えば、データ移動部１２５は、故障時期が予め定められた第２閾値以上あるディスクのうち空き容量が容量閾値以上であるディスクの中からラウンドロビン方式で選定するよう構成しても構わないし、例えば、最も空き容量があるディスクを選定するよう構成しても構わない。また、データ移動部１２５は、自装置以外のストレージノード１２０が有するディスクよりも自装置であるストレージノード１２０が有するディスクを優先して選定するよう構成しても構わない。例えば、データ移動部１２５は、自装置が有するディスクの中に上記条件を満たすディスクが存在しない場合に、自装置以外のストレージノード１２０が有するディスクから移動先を選定するよう構成しても構わない。

また、移動方式の決定は、例えば、ストレージシステム１００全体の空き容量に基づいて行われる。ここで、移動方式とは、例えば、データを移動するか、複製するかのうちのいずれかの方式を示している。例えば、ストレージノード１２０は、他のストレージノード１２０などと通信を行って、ストレージシステム１００全体の空き容量を示す情報を取得する。そして、ストレージシステム１００全体の空き容量（または割合）が予め定められた基準値以上の場合、データ移動部１２５は、フラグメントデータを複製すると決定する。この場合、データ移動部１２５は、複製元のディスクから複製対象のフラグメントデータを削除しない。一方、ストレージシステム１００全体の空き容量が予め定められた基準値未満の場合、データ移動部１２５は、フラグメントデータを移動すると決定する。この場合、データ移動部１２５は、移動元のディスクから移動対象のフラグメントデータを削除する。例えば、このように、データ移動部１２５は、ストレージシステム１００全体の空き容量が少ないと判断される場合に、複製ではなくフラグメントデータの移動を行うよう構成することが出来る。

以上説明したように、移動の対象となる可能性があるフラグメントデータがあると判断される場合、データ移動部１２５は、移動先の選定、移動方式の決定を行う。その後、データ移動部１２５は、優先度計算部１２４による計算結果に応じたフラグメントデータの移動処理を行う。例えば、データ移動部１２５は、選定した移動先に対して決定した移動方式で、優先度の高いフラグメントデータから順番にフラグメントデータの移動・複製を行う。この際、データ移動部１２５は、事前に定めた単位時間あたりのディスクへの要求数を超えない範囲内でデータの移動・複製を行うよう構成することが出来る。このように、データの移動・複製を単位時間あたりのディスクへの要求数を超えない範囲内で予め行うことで、データ移動処理の負荷による読み出し要求の応答遅延を抑制しつつ、課題を解決することが出来る。なお、データ移動部１２５は、故障時期が予め定められた閾値以下となるディスク、または、ストレージノード１２０に格納されたフラグメントデータのうち、全てのフラグメントデータを優先度に応じて移動または複製するよう構成しても構わないし、例えば、優先度が所定値以上のフラグメントデータのみを優先度に応じて移動または複製するよう構成しても構わない。なお、データ移動部１２５が移動させるフラグメントデータを決める際に用いる上記所定値は、予め定められていても構わないし、例えば、ストレージシステム１００全体の空き容量などに応じて適宜調整可能であっても構わない。

以上が、データ移動部１２５の処理の一例である。例えば、データ移動部１２５は、上述したような処理によりデータの移動・複製を行った後、移動先を示す情報などをアクセラレータノード１１０などに返却することが出来る。ここで、データ移動部１２５によるフラグメントデータの移動・複製について、図５から図７までを参照してより具体的に説明する。

図５は、フラグメントデータ移動・複製前の状況の一例を示している。図５を参照すると、例えば、ストレージシステム１００は、ストレージノード１２０－１、ストレージノード１２０－２、ストレージノード１２０－３、ストレージノード１２０－４の４つのストレージノード１２０を有している。また、ストレージノード１２０－１は、コンポーネントＤ１が形成されたディスク１、コンポーネントＤ２が形成されたディスク２、コンポーネントＤ３が形成されたディスク３、コンポーネントが形成されていないディスク４を有している。同様に、ストレージノード１２０－２は、コンポーネントＤ４が形成されたディスク１、コンポーネントＤ５が形成されたディスク２、コンポーネントＤ６が形成されたディスク３、コンポーネントが形成されていないディスク４を有している。また、ストレージノード１２０－３は、コンポーネントＤ７が形成されたディスク１、コンポーネントＤ８が形成されたディスク２、コンポーネントＤ９が形成されたディスク３、コンポーネントが形成されていないディスク４を有している。また、ストレージノード１２０－４は、コンポーネントＤ１０が形成されたディスク１、コンポーネントＤ１１が形成されたディスク２、コンポーネントＤ１２が形成されたディスク３、コンポーネントが形成されていないディスク４を有している。

上記のような状況で、故障時期リスト１２６に図６で示すような情報が含まれるとする。図６は、故障時期リスト１２６に含まれる情報の一例を示している。例えば、図６の１行目は、ストレージノード１２０－１が有するディスク１の故障時期が３００日後であることを示している。図６で示す場合において、例えば故障時期と比較する閾値として５０日が予め定められているとすると、ストレージノード１２０－１が有するディスク３とストレージノード１２０－４が有するディスク３とが閾値以下のディスクになる。そのため、データ移動部１２５は、ストレージノード１２０－１が有するディスク３内のコンポーネントＤ３に格納されたフラグメントデータと、ストレージノード１２０－４が有するディスク３内のコンポーネントＤ１２に格納されたフラグメントデータと、が移動の対象となる可能性があるフラグメントデータであると判断する。

上記判断に応じて、データ移動部１２５は、移動先の選定、移動方式の決定を行う。例えば、第２閾値が１５０日であるとすると、データ移動部１２５は、データの移動・複製先として、例えば、ストレージノード１２０－１が有するディスク４と、ストレージノード１２０－２が有するディスク４とを選定する。また、ストレージシステム１００全体の空き容量が基準値以上であるため、データ移動部１２５は、フラグメントデータを複製すると決定したとする。この場合、図７で示すように、データ移動部１２５は、ストレージノード１２０－１が有するディスク３からディスク４へと、優先度の高い順にフラグメントデータの複製を行う。また、データ移動部１２５は、ストレージノード１２０－４が有するディスク３からストレージノード１２０－２が有するディスク４へと、優先度の高い順にフラグメントデータの複製を行う。その結果、図７で示すように、ストレージノード１２０－１が有するディスク３に形成されたコンポーネントＤ３内に格納されたフラグメントデータと、ストレージノード１２０－４が有するディスク３に形成されたコンポーネントＤ１２内に格納されたフラグメントデータと、が、他のディスクに複製された状態となる。

以上が、データ移動部１２５によるフラグメントデータの移動・複製の一例である。

故障時期リスト１２６は、ディスクやストレージノード１２０が故障する時期を計算、推定した結果を示している。一般に、故障時期が近いほど故障する可能性も高いといえる。そのため、故障時期リスト１２６は、ディスクやストレージノード１２０が故障する可能性に応じた情報を示している、ということも出来る。例えば、図６で示したように、故障時期リスト１２６には、ディスクやストレージノード１２０を識別するための情報と、ディスクやストレージノード１２０の故障時期を示す情報と、が含まれている。

記憶装置１２７は、フラグメントデータを格納するディスクを例えば複数含んでいる。例えば、フラグメントデータは、ディスクに形成されるコンポーネントの内部に格納される。

以上が、ストレージノード１２０の構成の一例である。

続いて、図８、図９を参照して、ストレージノード１２０の動作の一例について説明する。まずは、図８を参照して、ストレージノード１２０が故障時期リスト１２６を生成する際の動作の一例について説明する。

図８を参照すると、故障時期計算部１２２は、ストレージノード１２０が有する記憶装置１２７であるディスクやストレージノード１２０自体の故障時期を計算する（ステップＳ１０１）。例えば、故障時期計算部１２２は、各ディスクから取得したS.M.A.R.T情報、BMCなどを介して取得した情報、ディスクに対する読み込み要求の結果、などに基づいて、自装置が有する各ディスクや自装置であるストレージノード１２０の故障時期を計算する。これにより、故障時期計算部１２２は、自装置の故障時期リスト１２６を生成する。

故障時期同期部１２３は、故障時期計算部１２２が計算・生成した自装置の故障時期リスト１２６を他のストレージノード１２０における計算結果と同期する（ステップＳ１０２）。例えば、故障時期同期部１２３は、自装置の故障時期リスト１２６を他のストレージノード１２０に対して送信するとともに、ストレージシステム１００に含まれる他のストレージノード１２０から各ストレージノード１２０における故障時期リスト１２６を受信する。このような処理により、故障時期同期部１２３は、ストレージシステム１００に含まれる各ストレージノード１２０が有する各ディスクの故障時期、各ストレージノード１２０の故障時期、を示す故障時期リスト１２６を生成する。

以上が、ストレージノード１２０が故障時期リスト１２６を生成する際の動作の一例である。続いて、図９を参照して、ストレージノード１２０がフラグメントデータの移動または複製を行う際の動作の一例について説明する。

図９を参照すると、データ移動部１２５は、故障時期リスト１２６を参照して、故障時期が予め定められた閾値以下となるディスク、または、ストレージノード１２０が故障時期リスト１２６に含まれるか否か確認する（ステップＳ２０１）。

故障時期が閾値以下となるディスク、または、ストレージノード１２０が故障時期リスト１２６に含まれる場合（ステップＳ２０１、Ｙｅｓ）、データ移動部１２５は、移動先の選定、および、移動方式の決定を行う（ステップＳ２０２）。例えば、データ移動部１２５は、故障時期リスト１２６から故障時期が予め定められた第２閾値以上あるディスクを抽出して、抽出したディスクの中からラウンドロビン方式で移動先となるディスクを選定する。データ移動部１２５は、上記選定を行う際、各ディスクの空き容量を示す情報や、自装置が有するディスクであるか否かなどの情報、などを参照しても構わない。また、例えば、データ移動部１２５は、ストレージシステム１００全体の空き容量に基づいて、データを移動するか、複製するかのうちのいずれかを示す移動方式を決定する。

また、データ移動部１２５は、移動先の選定、および、移動方式の決定を受けて、フラグメントデータの移動を行う。例えば、データ移動部１２５は、優先度の高いフラグメントデータから順番にフラグメントデータの移動・複製を行う（ステップＳ２０３）。なお、データ移動部１２５は、優先度に応じて移動・複製するフラグメントデータを絞り込むよう構成しても構わない。

以上が、ストレージノード１２０がフラグメントデータの移動または複製を行う際の動作の一例である。

このように、ストレージノード１２０は、故障時期計算部１２２と故障時期同期部１２３とデータ移動部１２５とを有している。このような構成により、故障時期計算部１２２と故障時期同期部１２３とは、故障時期リスト１２６を生成することが出来る。また、データ移動部１２５は、故障時期リスト１２６に基づくフラグメントデータの移動・複製を行うことが出来る。その結果、データ移動部１２５は、例えば、故障する時期が近い（または、故障する可能性が高い）と判断されるディスクやストレージノード１２０に格納されているフラグメントデータを、ディスクやストレージノード１２０が実際に故障する前に他のディスクなどに移動・複製することが出来る。これにより、ディスクやストレージノード１２０に障害が発生した場合に性能が劣化するおそれを低減させることが出来る。

また、ストレージノード１２０は、優先度計算部１２４を有している。このような構成により、データ移動部１２５は、優先度が高いフラグメントデータから順番に移動・複製するなど、優先度計算部１２４が計算した結果に応じたデータの移動・複製処理を行うことが出来る。その結果、より優先度の高いフラグメントデータを優先的に他のディスクなどに移動させることが出来る。これにより、ディスクやストレージノード１２０に障害が発生した場合に性能の低下が問題となるおそれをより低減させることが出来る。

なお、本実施形態においては、ストレージシステム１００が複数のサーバ装置を有する場合について説明した。しかしながら、ストレージシステム１００が有する各機能は、例えば、１台のサーバ装置により実現されても構わない。

また、本実施形態においては、ストレージノード１２０は、故障する可能性に応じた情報として故障時期リスト１２６を生成する場合について例示した。しかしながら、ストレージノード１２０は、例えば、所定時間経過するまでに故障する確率などを故障時期の代わりに計算するよう構成しても構わない。このように、故障する可能性に応じた情報は、故障時期に限定されない。

また、ストレージノード１２０は、必ずしも優先度計算部１２４としての機能を有していなくても構わない。ストレージノード１２０が優先度計算部１２４としての機能を有さない場合、データ移動部１２５は、優先度を考慮せずにフラグメントデータの移動・複製を行うことが出来る。

また、本実施形態において、優先度計算部１２４は、フラグメントデータごとの優先度を計算するとした。しかしながら、優先度計算部１２４は、コンポーネントごとの優先度を計算するよう構成しても構わない。例えば、優先度計算部１２４は、コンポーネント内に含まれるフラグメントデータの優先度に基づいて、優先度の平均値などを計算することにより、コンポーネントの優先度を計算するよう構成しても構わない。また、データ移動部１２５は、各コンポーネントの優先度に応じたデータの移動・複製を行うよう構成しても構わない。

［第２の実施形態］
次に、本発明の第２の実施形態について、図１０、図１１を参照して説明する。図１０、図１１は、ストレージノード３００の構成の一例を示している。

図１０は、ストレージノード３００のハードウェア構成の一例を示している。図１０を参照すると、ストレージノード３００は、１台又は複数台のサーバ装置にて構成されており、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１（演算装置）
・ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０２（記憶装置）
・ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０３（記憶装置）
・ＲＡＭ３０３にロードされるプログラム群３０４
・プログラム群３０４を格納する記憶装置３０５
・情報処理装置外部の記録媒体３１０の読み書きを行うドライブ装置３０６
・情報処理装置外部の通信ネットワーク３１１と接続する通信インタフェース３０７
・データの入出力を行う入出力インタフェース３０８
・各構成要素を接続するバス３０９

また、ストレージノード３００は、プログラム群３０４をＣＰＵ３０１が取得して当該ＣＰＵ３０１が実行することで、図１１に示す計算部３２１、移動部３２２としての機能を実現することが出来る。なお、プログラム群３０４は、例えば、予め記憶装置３０５やＲＯＭ３０２に格納されており、必要に応じてＣＰＵ３０１がＲＡＭ３０３にロードして実行する。また、プログラム群３０４は、通信ネットワーク３１１を介してＣＰＵ３０１に供給されてもよいし、予め記録媒体３１０に格納されており、ドライブ装置３０６が該プログラムを読み出してＣＰＵ３０１に供給してもよい。なお、計算部３２１、移動部３２２としての機能は、電子回路などにより実現されても構わない。

なお、図１０は、ストレージノード３００であるサーバ装置のハードウェア構成の一例を示しており、サーバ装置のハードウェア構成は上述した場合に限定されない。例えば、サーバ装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。

ストレージノード３００は、記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納する。図１１で示すように、ストレージノード３００は、計算部３２１と、移動部３２２と、を有している。

計算部３２１は、フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する。

移動部３２２は、計算部３２１が計算した結果に基づいて、フラグメントデータを他の記憶装置に移動させる。

このように、ストレージノード３００は、計算部３２１と移動部３２２とを有している。このような構成により、移動部３２２は、計算部３２１による計算の結果に基づいて、フラグメントデータを移動させることが出来る。その結果、移動部３２２は、例えば、故障する可能性が高いと判断される記憶装置に格納されているフラグメントデータを、記憶装置が実際に故障する前に他の記憶装置に移動・複製することが出来る。これにより、記憶装置に障害が発生した場合に性能が劣化するおそれを低減させることが出来る。

なお、上述したストレージノード３００は、当該ストレージノード３００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノード３００に、フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部３２１と、計算部３２１が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部３２２と、を実現するためのプログラムである。

また、上述したストレージノード３００により実行される情報処理方法は、記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノード３００が、フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、計算した結果に基づいて、フラグメントデータを他の記憶装置に移動させる、という方法である。

上述した構成を有する、プログラム、又は、情報処理方法、の発明であっても、上記ストレージノード３００と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、
計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。
（付記２）
付記１に記載の情報処理方法であって、
計算した結果に基づいて移動が必要であると判断される記憶装置から、移動が必要でないと判断される他の記憶装置へと、前記フラグメントデータを移動させる
情報処理方法。
（付記３）
付記１または付記２に記載の情報処理方法であって、
計算した結果と、記憶装置の空き容量を示す情報と、に基づいて、移動先の記憶装置を選択する
情報処理方法。
（付記４）
付記１から付記３までのいずれか１項に記載の情報処理方法であって、
事前に定めた記憶装置への要求数を超えないように、前記フラグメントデータの移動を行う
情報処理方法。
（付記５）
付記１から付記４までのいずれか１項に記載の情報処理方法であって、
記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する
情報処理方法。
（付記６）
付記１から付記５までのいずれか１項に記載の情報処理方法であって、
前記フラグメントデータの優先度を計算し、
計算した前記フラグメントデータの優先度に応じて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。
（付記７）
付記６に記載の情報処理方法であって、
優先度の高い前記フラグメントデータから順番に他の記憶装置に移動させる
情報処理方法。
（付記８）
付記１から付記７までのいずれか１項に記載の情報処理方法であって、
ストレージノードは、複数の記憶装置を有するとともに、他のストレージノードと通信可能に接続されており、
ストレージノード自身が有する他の記憶装置と、他のストレージノードが有する記憶装置と、のうちのいずれかに、前記フラグメントデータを移動させる
情報処理方法。
（付記９）
付記１から付記８までのいずれか１項に記載の情報処理方法であって、
ストレージノードは、複数の他のストレージノードと通信可能に接続されることでストレージシステムを構成しており、
ストレージシステム全体の空き容量を示す容量情報を取得し、
取得した前記容量情報に基づいて、前記フラグメントデータを移動した後、移動元の前記フラグメントデータを削除するか否か判断する
情報処理方法。
（付記１０）
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を有する
ストレージノード。
（付記１１）
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を実現するためのプログラム。

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。

１００ストレージシステム
１１０アクセラレータノード
１１１ファイルシステムサービス部
１１２ブロック分割処理部
１１３重複排除処理部
１１４分散処理部
１２０ストレージノード
１２１データ保存部
１２２故障時期計算部
１２３故障時期同期部
１２４優先度計算部
１２５データ移動部
１２６故障時期リスト
１２７記憶装置
２００データ格納・参照装置
３００ストレージノード
３０１ＣＰＵ
３０２ＲＯＭ
３０３ＲＡＭ
３０４プログラム群
３０５記憶装置
３０６ドライブ装置
３０７通信インタフェース
３０８入出力インタフェース
３０９バス
３１０記録媒体
３１１通信ネットワーク
３２１計算部
３２２移動部

Claims

記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算し、
計算した結果に基づいて、前記故障時期情報が示す故障する時期が所定値以下となる記憶装置から前記フラグメントデータを他の記憶装置に移動させ、
書き込みまたは読み出しからの経過時間に基づいて判断される前記フラグメントデータの使用頻度と、前記フラグメントデータと予め関連づけられたメタデータに含まれる、前記フラグメントデータを生成する際に生成した冗長データの数を表すパリティ数と同一のデータ内容であると判断され参照されている数を表す被参照数とのうちの少なくとも一方と、に応じて、前記フラグメントデータの優先度を計算し、
計算した前記フラグメントデータの優先度と、前記故障時期情報と、に応じて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。
請求項１に記載の情報処理方法であって、
計算した結果に基づいて移動が必要であると判断される記憶装置から、移動が必要でないと判断される他の記憶装置へと、前記フラグメントデータを移動させる
情報処理方法。
請求項１または請求項２に記載の情報処理方法であって、
計算した結果と、記憶装置の空き容量を示す情報と、に基づいて、移動先の記憶装置を選択する
情報処理方法。
請求項１から請求項３までのいずれか１項に記載の情報処理方法であって、
事前に定めた記憶装置への要求数を超えないように、前記フラグメントデータの移動を行う
情報処理方法。
請求項１に記載の情報処理方法であって、
優先度の高い前記フラグメントデータから順番に他の記憶装置に移動させる
情報処理方法。
請求項１から請求項５までのいずれか１項に記載の情報処理方法であって、
ストレージノードは、複数の記憶装置を有するとともに、他のストレージノードと通信可能に接続されており、
ストレージノード自身が有する他の記憶装置と、他のストレージノードが有する記憶装置と、のうちのいずれかに、前記フラグメントデータを移動させる
情報処理方法。
請求項１から請求項６までのいずれか１項に記載の情報処理方法であって、
ストレージノードは、複数の他のストレージノードと通信可能に接続されることでストレージシステムを構成しており、
ストレージシステム全体の空き容量を示す容量情報を取得し、
取得した前記容量情報に基づいて、前記フラグメントデータを移動した後、移動元の前記フラグメントデータを削除するか否か判断する
情報処理方法。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記故障時期情報が示す故障する時期が所定値以下となる記憶装置から前記フラグメントデータを他の記憶装置に移動させる移動部と、
書き込みまたは読み出しからの経過時間に基づいて判断される前記フラグメントデータの使用頻度と、前記フラグメントデータと予め関連づけられたメタデータに含まれる、前記フラグメントデータを生成する際に生成した冗長データの数を表すパリティ数と同一のデータ内容であると判断され参照されている数を表す被参照数とのうちの少なくとも一方と、に応じて、前記フラグメントデータの優先度を計算する優先度計算部と、
を有し、
前記移動部は、計算した前記フラグメントデータの優先度と、前記故障時期情報と、に応じて、前記フラグメントデータを他の記憶装置に移動させる
ストレージノード。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記故障時期情報が示す故障する時期が所定値以下となる記憶装置から前記フラグメントデータを他の記憶装置に移動させる移動部と、
書き込みまたは読み出しからの経過時間に基づいて判断される前記フラグメントデータの使用頻度と、前記フラグメントデータと予め関連づけられたメタデータに含まれる、前記フラグメントデータを生成する際に生成した冗長データの数を表すパリティ数と同一のデータ内容であると判断され参照されている数を表す被参照数とのうちの少なくとも一方と、に応じて、前記フラグメントデータの優先度を計算する優先度計算部と、
を実現させ、
前記移動部は、計算した前記フラグメントデータの優先度と、前記故障時期情報と、に応じて、前記フラグメントデータを他の記憶装置に移動させる
プログラム。