JP5900096B2 - レプリケーションシステム、レプリケーションプログラム及びレプリケーション構成の再構築方法 - Google Patents

Description

本発明は、レプリケーションシステムと、レプリケーションプログラムと、レプリケーション構成の再構築方法とに、関する。

ストレージシステムとして、同じデータが複数の記憶装置に記憶されるシステム（以下、レプリケーションシステムと表記する）が、知られている。以下、図１乃至図４を用いて、既存のレプリケーションシステムの構成及び機能を説明する。

図１に模式的に示してあるように、既存のレプリケーションシステムは、Ｎ（図１では、Ｎ＝４）個の記憶装置と、ホスト（ホストコンピュータ）とネットワーク接続され、互いに異なる記憶装置と接続されたＮ個のノードとを、含む。このレプリケーションシステム内の各ノードは、基本的には、ホストからのリード／ライト要求に応じた内容の制御（リード／ライトアクセス）を、自身に接続されている記憶装置に対して行うコンピュータである。ただし、各ノードは、「レプリケーション数＝３」という設定がなされている状況下、或るデータのライト要求を受信した場合には、当該データの識別情報のハッシュ値等から定まる次ノードにそのデータの記憶装置への記憶を指示する。次ノードも、自身の次ノードにそのデータの記憶装置への記憶を指示する。そして、ライト要求を受信したノードと他ノードから指示を受けた２個のノードとにより３個の記憶装置に同一のデータが記憶される。

また、既存のレプリケーションシステムは、或る記憶装置又は或るノードに障害が発生した場合に、全データのレプリケーション数が設定値となるように、データをコピーする機能（以下、レプリケーション再構成機能と表記する）も有している。

具体的には、図１に示したレプリケーションシステムのノードＢ又は記憶装置Ｂに障害が発生した場合、図２に示したように、データ１、２、４のレプリケーション数が２に減ってしまうことになる。

そのような場合、既存のレプリケーションシステムでは、図３に模式的に示したように、各ノードにより、記憶装置Ｂに記憶されていた特定のデータを自身の記憶装置から読み出して、読み出したデータの記憶装置への記憶を他のノードに依頼する処理が行われる。そして、図４に示したように、レプリケーションシステムの状態が、全データのレプリケーション数が３となっている状態に戻される。

特開２００５−３５３０３５号公報 特開２００２−２１５５５４号公報 国際公開第０８／１１４４４１号パンフレット 特開２０１１−９５９７６号公報

上記した機能から明らかなように、レプリケーションシステムは、信頼性やフォールトトレラント性が高いシステムとなっている。

ただし、既存のレプリケーションシステムでは、レプリケーション構成の再構築時（図３）に、ホストとシステムとを繋ぐネットワークがコピーするデータの授受のために使用される。そのため、既存のレプリケーションシステムは、レプリケーション構成の再構築中に、ホストからのリード／ライト要求に対する応答速度が低下するものとなっている。

１つの側面において、本発明は、ホストとの間のネットワークの帯域を消費することなくレプリケーション構成を再構築できる技術を提供する。

一態様のレプリケーションシステムは、
Ｎ（Ｎ≧３）台の記憶装置と、
ホストと第１ネットワークを介して接続され、Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のノードであって、それぞれ、自ノードに対応づけられている記憶装置に対するアクセス要求をホストから受信し、受信したアクセス要求に応じた内容のアクセスを対応する記憶装置に対して行うＮ台のノードと、
を、含み、
Ｎ台のノードのうち、いずれか１つのノードがホストからデータのライト要求を受信した場合に、いずれかの１つのノードを含むＭ（１＜Ｍ＜Ｎ）台のノードのそれぞれは、自ノードに対応づけられている記憶装置にデータを記憶し、
Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、他の記憶装置内に記憶されている第１のデータを第２ネットワークを介して伝送して第１のデータを記憶していない第１の記憶装置に記憶するシステムである。

一態様のレプリケーションプログラムは、
Ｎ（Ｎ≧３）台の記憶装置と、ホストと第１ネットワークを介して接続され、Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のコンピュータとを含むレプリケーションシステム用のレプリケーションプログラムであって、
Ｎ台のコンピュータのそれぞれで実行されることにより、レプリケーションシステムを、
各コンピュータが、自身に対応づけられている記憶装置に対するアクセス要求をホストから受信して受信したアクセス要求に応じた内容のアクセスを当該記憶装置に対して行い、
いずれか１つのコンピュータがホストからデータのライト要求を受信した場合に、いずれかの１つのコンピュータを含むＭ（１＜Ｍ＜Ｎ）台のコンピュータのそれぞれが、自ノードに対応づけられている記憶装置にデータを記憶し、
Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、第１の記憶装置に対応づけられているコンピュータが、他の記憶装置内に記憶されている第１のデータが、第２ネットワークを介して伝送して第１のデータを記憶していない第１の記憶装置に記憶する、
システムとして機能させるプログラムである。

一態様のレプリケーション構成の再構築方法は、
Ｎ（Ｎ≧３）台の記憶装置と、ホストと第１ネットワークを介して接続され、Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のノードであって、それぞれ、自ノードに対応づけられている記憶装置に対するアクセス要求をホストから受信し、受信したアクセス要求に応じた内容のアクセスを対応する記憶装置に対して行うＮ台のノードとを含むレプリケーションシステムにおけるレプリケーション構成の再構築方法において、
Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、他の記憶装置内に記憶されている第１のデータを第２ネットワークを介して伝送して第
１のデータを記憶していない第１の記憶装置に記憶する方法である。

ホストとの間のネットワークの帯域を消費することなくレプリケーション構成を再構築できる技術を提供できる。

図１は、既存のレプリケーションシステムの構成図である。 図２は、既存のレプリケーションシステムの機能を説明するための図（その１）である。 図３は、既存のレプリケーションシステムの機能を説明するための図（その２）である。 図４は、既存のレプリケーションシステムの機能を説明するための図（その３）である。 図５は、実施形態に係るレプリケーションシステムの構成図である。 図６Ａは、実施形態に係るレプリケーションシステムが備える各記憶装置の記憶領域の使用形態の説明図である。 図６Ｂは、実施形態に係るレプリケーションシステム内の各ノードのハードウェア構成の説明図である。 図７は、実施形態に係るレプリケーションシステムが備える各ノードの機能ブロック図である。 図８は、実施形態に係る各記憶装置内に記憶されているエントリテーブルの説明図である。 図９は、実施形態に係る各記憶装置内に記憶されているクラスタ管理テーブルの説明図である。 図１０は、エントリテーブル及びクラスタ管理テーブル上の情報が表している状態の説明図である。 図１１は、実施形態に係る各ノードが備える配置パタンテーブルの説明図である。 図１２は、実施形態に係る各ノードが備える割当テーブルの説明図である。 図１３は、１台のノード又は記憶装置に障害が発生しているレプリケーションシステムの状態の説明図である。 図１４は、レプリケーション構成の再構築後のレプリケーションシステムの状態の説明図である。 図１５は、１台のノード又は記憶装置に障害が発生した場合に、配置パターンテーブルに対して行われる処理の説明図である。 図１６は、１台のノード又は記憶装置に障害が発生した場合に、割当テーブルに対して行われる処理の説明図である。 図１７は、データ管理部が実行するコピー処理の流れ図である。 図１８は、図１７のコピー処理の説明図である。 図１９は、コピー処理の完了前に更新要求が送信されてきた場合におけるノード間の情報の授受手順を示したシーケンス図である。 図２０は、コピー処理の実行中に更新要求を受信した場合に実行される処理の流れ図である。 図２１は、ＡＣＫ受信時に実行される処理の流れ図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。尚、以下で説明する実施形態の構成は、本発明の例示に過ぎず、本発明は、実施形態の構成に限定されないものである。

まず、図５、図６Ａ及び図６Ｂを用いて、実施形態に係るレプリケーションシステムの概要を説明する。尚、これらの図のうち、図５は、本実施形態に係るレプリケーションシステムの構成図である。図６Ａは、レプリケーションシステム内の各記憶装置３０Ｘ（Ｘ＝Ａ〜Ｄ）の記憶領域の使用形態の説明図であり、図６Ｂは、レプリケーションシステム内の各ノード１０Ｘのハードウェア構成の説明図である。

図５に示してあるように、本実施形態に係るレプリケーションシステムは、第１ネットワーク５０を介してホスト１００に接続される４台のノード１０Ａ〜１０Ｄ、４台の記憶装置２０Ａ〜２０Ｄ、及び、第２ネットワーク３０を備える。

第１ネットワーク５０は、ホスト１００及び４台のノード１０Ａ〜１０Ｄ間を相互に接続するネットワーク（バックボーンネットワーク）である。この第１ネットワーク５０（以下、第１ＮＷ５０とも表記する）としては、インターネット自体や、ノード１０側のローカルエリアネットワークとインターネットとを組み合わせたネットワークが、利用される。

第２ネットワーク３０は、４台のノード１０Ａ〜１０Ｄ及び４台の記憶装置２０Ａ〜２０Ｄ間を相互に接続するネットワークである。この第２ネットワーク３０（以下、第２ＮＷ３０とも表記する）としては、例えば、幾つかのＳＡＳ（Serial Attached SCSI(Small
Computer System Interface)）エクスパンダにより構成されたネットワークや、ファイバーチャネルネットワークが使用される。

各記憶装置２０Ｘ（Ｘ＝Ａ〜Ｄ）は、第２ＮＷ３０用の通信インタフェースを備えた記憶装置（ＨＤＤ（Hard Disk Drive）等）である。図６Ａに模式的に示してあるように、記憶装置２０Ｘの記憶領域は、Ｎｃ個のクラスタ（固定長の記憶領域）、エントリテーブル２５Ｘ及びクラスタ管理テーブル２６Ｘとして使用されている。

ノード１０Ｘ（Ｘ＝Ａ〜Ｄ）は、図６Ｂに示したような、第１ＮＷ５０用のインタフェース回路６１と第２ＮＷ３０用のインタフェース回路６２とを備えたコンピュータ６０に、ＯＳ（Operating System）、レプリケーションプログラム１８等をインストールした装置である。尚、レプリケーションプログラム１８とは、２つの通信アダプタを備えたコンピュータ内のＣＰＵにより実行されることにより、当該コンピュータを、以下で説明する機能を有するノード１０Ｘとして動作させるプログラムのことである。

各ノード１０Ｘ（図５）は、基本的には、記憶装置２０Ｘに対するリード／ライト要求をホスト１００から受信し、記憶装置２０Ｘを制御することにより受信したリード／ライト要求に応答する装置である。

ただし、各ノード１０Ｘは、４台の記憶装置２０Ａ〜２０Ｄ中の３台に同一のデータ（“データ１”、“データ２”等；以下、エクステントとも表記する）が記憶されている状態を形成する機能を有している。また、各ノード１０Ｘは、或る１台のノード１０又は記憶装置２０に障害が発生した場合に、システム内の各データ（エクステント）のレプリケーション数を“３”に戻す機能も有している。

以上のことを前提に、以下、本実施形態に係るレプリケーションシステムの構成及び動作をさらに具体的に説明する。

図７に、ノード１０Ｘ（Ｘ＝Ａ〜Ｄ）の機能ブロック図を示す。この図７に示してあるように、ノード１０Ｘは、配置パタンテーブル１５と割当テーブル１６とを保持したデー
タ管理部１１Ｘ、及び、領域管理部１２Ｘを備えた装置として動作するように構成（プログラミング）されている。

まず、領域管理部１２Ｘの機能を説明する。

領域管理部１２Ｘは、第１要求、第２要求及び書込完了通知を自ノード１０Ｘ内のデータ管理部１１Ｘから受信し、第２要求及び書込完了通知を第１ＮＷ５０経由で他ノード１０Ｙ内のデータ管理部１１Ｙから受信するユニット（機能ブロック）である。

第１要求は、記憶装置２０Ｘ内の或るエクステントについてのリード要求をホスト１００から受信したデータ管理部１１Ｘが、当該エクステントに関する領域情報を得るために、領域管理部１２Ｘに対して送信する要求である。尚、上記説明及び以下の説明において、或るエクステントに関する領域情報とは、『或るエクステントが既に格納されている／これから格納される１個のクラスタのクラスタ番号』又は『或るエクステントが既に格納されている／これから格納される複数のクラスタのクラスタ番号をクラスタの使用順通りに並べた情報』のことである。また、エクステントのキーとは、エクステントのユニークな識別情報のことである。

データ管理部１１Ｘがホスト１００から受信するリード要求には、記憶装置２０Ｘから読み出すべきエクステントのキーが含まれている。以下、ホスト１００からのリード要求にて読み出しが要求されているエクステントのことを、読出対象エクステントと表記する。また、読出対象エクステントのキー（リード要求に含まれるキー）のことを、読出対象キーと表記する。

ホスト１００からのリード要求を受信したデータ管理部１１Ｘは、受信したリード要求中の読出対象キーを含めた第１要求を、領域管理部１２Ｘに対して送信する。

第１要求を受信した領域管理部１２Ｘは、まず、エントリテーブル２５Ｘから、受信した第１要求中の読出対象キーに対応づけられているクラスタ番号を読み出す。

図８に、エントリテーブル２５Ｘの一例を示す。
このエントリテーブル２５Ｘは、或るエクステントの記憶装置２０Ｘへの新規書込完了時に、そのエクステントのキー及びサイズと、そのエクステントの先頭データが格納されたクラスタのクラスタ番号とを設定したレコードが追加されるテーブルである。すなわち、エントリテーブル２５Ｘは、記憶装置２０Ｘ内に既に格納されている各エクステントについて、そのエクステントのキー及びサイズと、そのエクステントの先頭データが格納されたクラスタのクラスタ番号とを含むレコードを記憶したテーブルとなっている。尚、エクステントの先頭データとは、１クラスタサイズよりも大きなエクステントの、先頭から１クラスタ分のデータ、又は、１クラスタサイズよりも小さなエクステントの全データのことである。

読出対象キーに対応づけられているクラスタ番号をエントリテーブル２５Ｘから読み出した領域管理部１２Ｘは、当該クラスタ番号に対応づけられている状況値をクラスタ管理テーブル２６Ｘから読み出す。

図９に示したように、クラスタ管理テーブル２６Ｘは、記憶装置２０Ｘ内の各クラスタのクラスタ番号に対応づけた形で、各クラスタに関する状況値（本実施形態では、正の整数を表す値）を保持したテーブルである。

このクラスタ管理テーブル２６Ｘに保持される状況値には、以下の３種のものが存在し
ている。
・対応するクラスタ（自状況値に対応づけられているクラスタ番号を有するクラスタ）が未使用クラスタ（データの記憶のために使用されていないクラスタ）であることを示す状況値０
・対応するクラスタに記憶されているデータ（エクステントの一部）に続くデータが記憶されているクラスタのクラスタ番号自体である状況値１〜Ｎｃ
・対応するクラスタが、エクステントの最後のデータを記憶したクラスタであることを示す、Ｎｃ（＝記憶装置２０Ｘの最大クラスタ番号）よりも大きな状況値“ＥＮＤ”

上記条件を満たす状況値をクラスタ管理テーブル２６Ｘから読み出した領域管理部１２Ｘは、読み出した状況値が、クラスタ番号（１〜Ｎｃのいずれか）であるか、“ＥＮＤ”（Ｎｃよりも大きな整数値）であるかを判断する。

クラスタ管理テーブル２６Ｘから読み出した状況値がクラスタ番号であった場合、領域管理部１２Ｘは、読み出した状況値（クラスタ番号）と同じクラスタ番号に対応づけられている状況値をクラスタ管理テーブル２６Ｘから読み出す。領域管理部１２Ｘは、そのような処理を、クラスタ管理テーブル２６Ｘから“ＥＮＤ”が読み出されるまで繰り返す。

クラスタ管理テーブル２６Ｘから“ＥＮＤ”が読み出された場合、領域管理部１２Ｘは、テーブル２５Ｘ及び２６Ｘから読み出してある一連のクラスタ番号を読出順通りに並べた領域情報を生成する。

具体的には、読出対象キーがαであった場合には、エントリテーブル２５Ｘ（図８）からクラスタ番号“１”が読み出される。そして、図９に示したクラスタ管理テーブル２６Ｘには、クラスタ１（クラスタ番号１のクラスタ；以下、同様）に関する状況値として２が記憶されている。さらに、クラスタ管理テーブル２６Ｘには、クラスタ２に関する状況値として４が、クラスタ４に関する状況値として３が、クラスタ４に関する状況値として“ＥＮＤ”が記憶されている。従って、読出対象キーがαであった場合、領域管理部１２Ｘは、クラスタ番号１、２、４、３をこの順に並べた領域情報、すなわち、エクステントαが、図１０に模式的に示したように、クラスタ１、２、４、３に格納されていることを示す領域情報を、生成する。

また、図８に示したエントリテーブル２５Ｘには、“β”というキーに対応づけてクラスタ番号６が記憶されている。そして、図９に示したクラスタ管理テーブル２６Ｘには、クラスタ６に関する状況値として“ＥＮＤ”が記憶されている。従って、読出対象キーがβであった場合、領域管理部１２Ｘは、クラスタ番号６のみを含む領域情報、すなわち、エクステントβが、図１０に模式的に示したように、クラスタ６のみに格納されていることを示す領域情報を、生成する。

上記のようにして領域情報を生成した領域管理部１２Ｘは、生成した領域情報をデータ管理部１１Ｘに送信（返送）してから、受信した第１要求に対する処理を終える。

第２要求は、データ管理部１１Ｘ又は１１Ｙが、或るエクステントを記憶装置２０Ｘ内に書き込む必要が生じた際に、当該エクステント（以下、書込対象エクステントと表記する）に関する領域情報を得るために、領域管理部１２Ｘに対して送信する要求である。この第２要求には、書込対象エクステントのキー（以下、書込対象キーと表記する）及びサイズ（以下、要求サイズと表記する）が含まれている。

第２要求を受信した場合、領域管理部１２Ｘは、まず、受信した第２要求中の書込対象キーと同じキーがエントリテーブル２５Ｘに登録（記憶）されているか否かを判断する。

既に説明したように、エントリテーブル２５Ｘ（図８）には、或るエクステントの記憶装置２０Ｘへの新規書込完了時に、そのエクステントのキー及びサイズと、そのエクステントの先頭データが記憶されているクラスタのクラスタ番号とからなるレコードが追加される。従って、書込対象キーと同じキーがエントリテーブル２５Ｘに登録されていた場合、書込対象エクステントが、“記憶装置２０Ｘ内に既に存在している既存エクステントの内容を更新した更新エクステント”であることになる。また、書込対象キーと同じキーがエントリテーブル２５Ｘに登録されていなかった場合、書込対象エクステントが、“それまで記憶装置２０Ｘ内に記憶されていなかった新エクステント”であることになる。

書込対象エクステントが新エクステントであった場合、領域管理部１２Ｘは、書込対象エクステントに関する領域情報を生成する領域情報生成処理を行ってから、生成した領域情報と書込対象キー及び要求サイズとを含めた書込未完了領域情報を内部に記憶する。尚、“内部に記憶する”とは、“ノード１０Ｘ内のメモリ（図６Ｂ参照）上の、書込未完了領域情報用の記憶領域に記憶する”ということである。

領域情報生成処理は、基本的には、『要求サイズのデータを記憶できる数の未使用クラスタのクラスタ番号をクラスタ管理テーブル２６Ｘから読み出し、読み出したクラスタ番号を読出順通りに並べた領域情報を生成する処理』である。ただし、領域情報生成処理は、領域管理部１２Ｘ内に幾つかの書込未完了領域情報が存在していた場合、各書込未完了領域情報中の領域情報にそのクラスタ番号が含まれているクラスタを、未使用クラスタではないクラスタ（生成する領域情報中にそのクラスタ番号を含めないクラスタ）として取り扱う処理となっている。

以下、領域情報生成処理が生成する領域情報中にそのクラスタ番号が含められるクラスタのことを、割当可能クラスタと表記する。すなわち、そのクラスタ番号に対応づけられているクラスタ管理テーブル２６Ｘ上の状況値が“０”であり、そのクラスタ番号がいずれの書込未完了領域情報にも含まれていないクラスタのことを、割当可能クラスタと表記する。

領域情報生成処理を行い、書込未完了領域情報を内部に記憶した領域管理部１２Ｘは、領域情報生成処理により生成した領域情報を、第２要求の送信元（データ管理部１１Ｘ又は１１Ｙ）に送信する。そして、領域管理部１２Ｘは、受信した第２要求に対する処理を終える。

一方、書込対象エクステントが更新エクステントであった場合、領域管理部１２Ｘは、まず、処理対象キーに対応付けられているクラスタ番号及びサイズをエントリテーブル２５Ｘから読み出す。次いで、領域管理部１２Ｘは、エントリテーブル２５Ｘから読み出したサイズのデータを記憶するのに必要なクラスタ数（以下、現クラスタ数と表記する）と、要求サイズのデータを記憶するのに必要なクラスタ数（以下、新クラスタ数と表記する）とを、算出して比較する。

“新クラスタ数≦現クラスタ数”が成立していた場合、領域管理部１２Ｘは、上記した第１要求に対する応答時の手順と同様の手順で、新クラスタ数と同数のクラスタ番号をテーブル２５Ｘ及び２６Ｘから読み出す。換言すれば、領域管理部１２Ｘは、“ＥＮＤ”が読み出される前にクラスタ番号（状況値）の読み出しを終える点のみが第１要求に対する応答時の手順と異なる手順で、新クラスタ数と同数のクラスタ番号をテーブル２５Ｘ及び２６Ｘから読み出す。

次いで、領域管理部１２Ｘは、読み出したクラスタ番号を並べた領域情報を生成し、生
成した領域情報と書込対象キー及び要求サイズとを含めた書込未完了領域情報を内部に記憶する。その後、領域管理部１２Ｘは、生成した領域情報を、第２要求の送信元（データ管理部１１Ｘ又は１１Ｙ）に送信する。そして、領域管理部１２Ｘは、受信した第２要求に対する処理を終える。

“新クラスタ数＞現クラスタ数”が成立していた場合、領域管理部１２Ｘは、上記した第１要求に対する応答時の手順と同手順で、書込対象キーで識別されるエクステントが記憶されていた１つ以上のクラスタのクラスタ番号をテーブル２５Ｘ及び２６Ｘから読み出す。次いで、領域管理部１２Ｘは、クラスタ管理テーブル２６上の情報及び自身が保持している各書込未完了領域情報に基づき、“新クラスタ数−現クラスタ数”と同数の割当可能クラスタのクラスタ番号を特定する。

上記した数の割当可能クラスタのクラスタ番号を特定した領域管理部１２Ｘは、テーブル２５Ｘ及び２６Ｘから読み出してあるクラスタ番号群と新たに特定したクラスタ番号群とを並べた領域情報を生成する。次いで、領域管理部１２Ｘは、生成した領域情報と書込対象キー及び要求サイズとを含めた書込未完了領域情報を内部に記憶する。そして、領域管理部１２Ｘは、生成した領域情報を第２要求の送信元に送信してから、受信した第２要求に対する処理を終える。

書込完了通知は、第２要求の送信により領域管理部１２Ｘから或る領域情報を得たデータ管理部１１が、当該領域情報が示している記憶装置２０Ｘ内のクラスタ群への書込対象エクステントの書き込みを行った後に、領域管理部１２Ｘに対して送信する通知である。この書込完了通知には、書込が完了した書込対象エクステントのキー（以下、書込完了キーと表記する）が含まれている。

書込完了通知を受信した領域管理部１２Ｘは、まず、書込完了キーと同じキーを含む書込未完了領域情報を自身が保持している書込未完了領域情報の中から検索する。そして、領域管理部１２Ｘは、検索した書込未完了領域情報に基づき、テーブル２５Ｘ及び２６Ｘの内容を現状を表すものに更新する処理であるテーブル更新処理を行う。

以下、このテーブル更新処理の内容を説明する。尚、以下では、説明の便宜上、検索した書込未完了領域情報に含まれるキー（＝書込完了キー）、サイズのことを、それぞれ、処理対象キー、処理対象サイズと表記する。また、検索した書込未完了領域情報に含まれる領域情報中のクラスタ番号の総数のことをＬと表記し、領域情報中のｎ（１≦ｎ≦Ｌ）番目のクラスタ番号のことを、クラスタ番号＃ｎと表記する。

テーブル更新処理を開始した領域管理部１２Ｘは、まず、書込完了キーと同じキーがエントリテーブル２５Ｘに登録されているか否かを判断する。

書込完了キーと同じキーがエントリテーブル２５Ｘに登録されていなかった場合、領域管理部１２Ｘは、処理対象キー及び処理対象サイズと、クラスタ番号＃１とを設定したレコードをエントリテーブル２５Ｘに追加する。

次いで、領域管理部１２Ｘは、クラスタ番号＃１〜＃Ｌに対応付けられているクラスタ管理テーブル２６Ｘ上の状況値を、それぞれ、クラスタ番号＃２〜＃Ｌ、“ＥＮＤ”に書き換える。より具体的には、領域管理部１２Ｘは、Ｌ＝１の場合には、クラスタ番号＃１に対応付けられているクラスタ管理テーブル２６Ｘ上の状況値を“ＥＮＤ”に書き換える。また、領域管理部１２Ｘは、Ｌ＞１の場合には、クラスタ番号＃１〜＃Ｌ−１に対応付けられているクラスタ管理テーブル２６Ｘ上の状況値を、それぞれ、クラスタ番号＃２〜＃Ｌに書き換え、クラスタ番号＃Ｌに対応付けられているクラスタ管理テーブル２６上の
状況値を“ＥＮＤ”に書き換える。

そして、領域管理部１２Ｘは、処理した書込未完了領域情報（書込完了キーと同じキーを含む書込未完了領域情報）を破棄してから、テーブル更新処理を終了する。

一方、書込完了キーと同じキーがエントリテーブル２５Ｘに登録されていた場合、領域管理部１２Ｘは、書込完了キーに対応づけられているエントリテーブル２５Ｘ上のサイズを読み出してから、エントリテーブル２５Ｘ上の当該サイズを処理対象サイズに書き換える。尚、読み出したサイズが処理対象サイズと一致していた場合、エントリテーブル２５Ｘ上のサイズの書き換え（同じデータの書き込み）が行われないようにしておくことも出来る。

次いで、領域管理部１２Ｘは、エントリテーブル２５Ｘから読み出したサイズのデータを記憶するのに必要なクラスタ数（以下、旧クラスタ数と表記する）と、処理対象サイズのデータを記憶するのに必要なクラスタ数（以下、現クラスタ数と表記する）とを算出して比較する。

“旧クラスタ数≦現クラスタ数”が成立していた場合、領域管理部１２Ｘは、クラスタ番号＃１〜＃Ｌに対応付けられているクラスタ管理テーブル２６Ｘ上の状況値を、それぞれ、クラスタ番号＃２〜＃Ｌ、“ＥＮＤ”に書き換える。そして、領域管理部１２Ｘは、処理した書込未完了領域情報を破棄してから、テーブル更新処理を終了する。

“旧クラスタ数≦現クラスタ数”が成立していなかった場合にも、領域管理部１２Ｘは、クラスタ番号＃１〜＃Ｌに対応付けられているクラスタ管理テーブル２６Ｘ上の状況値を、それぞれ、クラスタ番号＃２〜＃Ｌ、“ＥＮＤ”に書き換える。ただし、この場合、領域管理部１２Ｘは、クラスタ番号＃Ｌに対応付けられている状況値を読み出してから、当該状況値を“ＥＮＤ”に書き換える。その後、領域管理部１２Ｘは、読み出した状況値と一致するクラスタ番号に対応付けられている状況値を読み出してから当該状況値を“０”に書き換える処理を、“ＥＮＤ”が読み出されるまで繰り返す。

そして、“ＥＮＤ”が読み出されたときに、領域管理部１２Ｘは、処理した書込未完了領域情報を破棄してから、テーブル更新処理を終了する。

以下、データ管理部１１Ｘ（Ｘ＝Ａ〜Ｄ）の機能を説明する。

データ管理部１１Ｘ（図５）は、ホスト１００からのリード／ライト要求や、他のデータ管理部１１からの更新要求（詳細は後述）を受信するユニット（機能ブロック）である。

まず、データ管理部１１Ｘの、ホスト１００からのリード要求に対する動作を説明する。

ホスト１００からのリード要求には、読み出すべきエクステントのキー（以下、読出対象キーと表記する）が含まれている。或るリード要求を受信したデータ管理部１１Ｘは、そのリード要求中の読出対象キーを含めた第１要求を領域管理部１２Ｘに対して送信する。その後、データ管理部１１Ｘは、第１要求に対する応答情報として上記した領域情報が返送されてくるのを待機する。

領域情報が返送されてくきた場合には、データ管理部１１Ｘは、その領域情報中の各クラスタ番号で識別されるクラスタ上のデータ（図１０参照）を記憶装置２０Ｘから読み出
す。そして、データ管理部１１Ｘは、読み出したデータを繋げたデータをホスト１００に返送してから、受信したリード要求に対する処理を終える。

次に、データ管理部１１Ａ〜１１Ｄのホスト１００からのライト要求に対する動作を説明する。

各データ管理部１１Ａ〜１１Ｄは、通常は、メモリ上に、図１１に示したような内容の配置パタンテーブル１５と図１２に示したような内容の割当テーブル１６とを保持した状態で動作している。尚、“通常”とは、“ノード１０Ａ〜１０Ｄ及び記憶装置２０Ａ〜２０Ｄが全て正常に機能している場合”のことである。

すなわち、各データ管理部１０Ｘ（Ｘ＝Ａ〜Ｄ）は、通常は、『４台の記憶装置２０（及び／又はノード１０）の識別情報（Ａ〜Ｄ）の総計２４通りの順列をパタン識別子（Ｐ１〜Ｐ２４）で識別可能なように記憶した配置パタンテーブル１５』（図１１）を保持している。また、各データ管理部１０Ｘは、通常は、『ハッシュ値（例えば、ＳＨＡ（Secure Hash Algorithm）−１によるハッシュ値）の各範囲を、Ｐ１〜Ｐ２４のいずれかのパタン識別子に対応づけるための割当テーブル１６』（図１２）を保持している。

一方、ホスト１００からのライト要求には、記憶装置２０Ｘ内に書き込むべきエクステント（以下、書込対象エクステントと表記する）のキー及びサイズが含まれている。

ライト要求をホスト１００から受信したデータ管理部１１Ｘは、まず、当該ライト要求に含まれる書込対象エクステントのキーのハッシュ値を算出し、算出したハッシュ値に対応づけられているパタン識別子を割当テーブル１６から検索する。次いで、データ管理部１１Ｘは、配置パタンテーブル１５から、検索したパタン識別子と同じパタン識別子が設定されているレコードを読み出す。尚、各データ管理部１１Ｘがホスト１００から受信するライト要求は、この際、読み出されるレコードのＲ１値（Ｒ１フィールドの値）が、自身の識別情報と一致することになるものである。

そして、データ管理部１１Ｘは、読み出したレコードのＲ２値にて識別されるノード１０Ｙ内のデータ管理部１１Ｙに対して、第１ＮＷ５０経由で、受信したライト要求と同内容の更新要求を送信する。

更新要求を受信したデータ管理部１１Ｙは、更新要求に含まれるキーのハッシュ値を算出し、算出したハッシュ値に対応づけられているパタン識別子を割当テーブル１６から検索する。次いで、データ管理部１１Ｙは、配置パタンテーブル１５から、検索したパタン識別子と同じパタン識別子が設定されているレコードを読み出し、自身の識別子が、読み出したレコードのＲ２値と一致しているか否かを判断する。

自身の識別子が読み出したレコードのＲ２値と一致していた場合、データ管理部１１Ｙは、読み出したレコードのＲ３値にて識別されるノード１０Ｚ内のデータ管理部１１Ｚに対して、第１ＮＷ５０経由で、受信した更新要求と同内容の更新要求を送信する。

更新要求を受信したデータ管理部１１Ｚは、更新要求に含まれるキーのハッシュ値を算出し、算出したハッシュ値に対応づけられているパタン識別子を割当テーブル１６から検索する。次いで、データ管理部１１Ｚは、配置パタンテーブル１５から、検索したパタン識別子と同じパタン識別子が設定されているレコードを読み出し、自身の識別子が、読み出したレコードのＲ２値と一致しているか否かを判断する。そして、自身の識別子が、読み出したレコードのＲ２値と一致していない（この場合、Ｒ３値が“Ｚ”となっている）、ため、データ管理部１１Ｚは、受信した更新要求が要求している内容のデータの書込を
自身が管理している記憶装置２０Ｚに対して行う。

すなわち、データ管理部１１Ｚは、第２要求の送信により領域管理部１２Ｚから領域情報を取得し、取得した領域情報が示している記憶装置２０Ｚの１つ以上のクラスタに書込対象エクステントを書き込み、書込完了通知を領域管理部１２Ｚに対して送信する。

その後、データ管理部１１Ｚは、処理した更新要求に対するＡＣＫ（確認応答）を、当該更新要求の送信元（この場合、データ管理部１１Ｙ）に対して送信する。

送信した更新要求に対するＡＣＫを受信したデータ管理部１１Ｙは、受信済みの更新要求が要求している内容のデータの書込を記憶装置２０Ｙに対して行う。その後、データ管理部１１Ｙは、処理した更新要求に対するＡＣＫを、当該更新要求の送信元（この場合、データ管理部１１Ｘ）に対して送信する。

送信した更新要求に対するＡＣＫを受信したデータ管理部１１Ｘは、ホスト１００から受信したライト要求が要求している内容のデータの書込を記憶装置２０Ｘに対して行う。そして、データ管理部１１Ｘは、ホスト１００に対してＡＣＫを送信し、受信したライト要求に対する処理を終える。

以下、ノード１０Ｂ又は記憶装置２０Ｂに障害が発生し、記憶装置２０Ｂ内のデータが読み出せなくなった場合を例に、１台の記憶装置２０内のデータが読み出せなくなった場合における他の各ノード１０の動作を説明する。

尚、以下の説明において、第３レプリケーションとは、ホスト１００からのライト要求が或るノード１０により受信された場合に、最初に更新されるシステム内のデータ（エクステント）のことである。第２レプリケーションとは、ホスト１００からのライト要求が或るノード１０により受信された場合に、２番目に更新されるシステム内のデータのことであり、第１レプリケーションとは、ホスト１００からのライト要求が或るノード１０により受信された場合に、最後に更新されるシステム内のデータのことである。さらに、第１乃至第３記憶装置とは、それぞれ、第１乃至第３レプリケーションが記憶される記憶装置２０のことであり、第１乃至第３ノードとは、それぞれ、第１乃至第３記憶装置からのデータの読み出しを行うノード１０のことである。

記憶装置２０Ｂからデータが読み出せなくなった場合、図１３に模式的に示してあるように、システム内の幾つかのデータのレプリケーション数が“２”となってしまうことになる。そのため、記憶装置２０Ｂからデータが読み出せなくなった場合、各ノード１０Ｘ（Ｘ＝Ａ、Ｃ、Ｄ）は、システムの状態を、図１４に示してあるような状態（各データのレプリケーション数が“３”である状態）とするためのレプリケーション構成再構築処理を開始する。

レプリケーション構成再構築処理を開始した各ノード１０Ｘは、まず、配置パタンテーブル１５を加工することにより、図１５の右側に示してあるような内容の配置パタンテーブル１５′を得る。

すなわち、各ノード１０Ｘは、配置パタンテーブル１５に対して以下の（１）〜（４）の処理を順々に行ったものに相当する配置パタンテーブル１５′を生成する。
（１）配置パタンテーブル１５から障害が発生した記憶装置２０（又はノード１０）の識別情報“Ｂ”を消去し、“Ｂ”より右側に位置していた１個乃至３個の識別情報を左側にシフト。
（２）“Ｂ”がＲ４値ではなかった各レコードに、『第２ノードによる第２レプリケーシ
ョンの第３記憶装置へのコピー』（詳細は後述）が必要であることを示す情報（図１５における“要”及び“Ｄ′”等の“′”）を追加。
（３）（１）の処理の結果としてＲ１値〜Ｒ３値が同一となった２レコードを１レコードに縮退させる。
（４）各レコードにパタン識別子を付け直す。

また、各ノード１０Ｘは、割当テーブル１６を、図１６に示してあるような内容の割当テーブル１６′に変更する処理も行う。すなわち、各ノード１０Ｘは、割当テーブル１５を、縮退させた配置パタンテーブル１５（１５′）の各レコードにそれまで対応づけられていたハッシュ値の範囲に、縮退後のレコードのパタン識別子が対応づけられている割当テーブル１６′に変更する処理を行う。

そして、各第２ノードは、配置パタンテーブル１５′と割当テーブル１６′上の情報に基づき、第３記憶装置へのコピーが必要な第２記憶装置内の第２レプリケーションを第２ＮＷ３０を介して第３記憶装置内にコピーするコピー処理を実行する。

具体的には、データ管理部１１Ａは、記憶装置２０Ｃへのコピーが必要な記憶装置２０Ａ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ｃにコピーするコピー処理を行う。さらに、データ管理部１１Ａは、記憶装置２０Ｄへのコピーが必要な記憶装置２０Ａ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ｄにコピーするコピー処理も行う。

また、データ管理部１１Ｃは、記憶装置２０Ａへのコピーが必要な記憶装置２０Ｃ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ａにコピーするコピー処理を行う。さらに、データ管理部１１Ｃは、記憶装置２０Ｄへのコピーが必要な記憶装置２０Ｃ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ｄにコピーするコピー処理も行う。

同様に、データ管理部１１Ｄは、記憶装置２０Ａへのコピーが必要な記憶装置２０Ｄ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ａにコピーするコピー処理と、記憶装置２０Ｃへのコピーが必要な記憶装置２０Ａ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ｃにコピーするコピー処理とを行う。

各データ管理部１１Ｘ（Ｘ＝Ａ〜Ｄ）が行うコピー処理は、本質的には、同内容の処理である。そのため、以下では、ノード１０Ｃ内のデータ管理部１１Ｃが実行する、記憶装置２０Ｄへのコピーが必要な記憶装置２０Ｃ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ｄにコピーするコピー処理の内容のみを説明することにする。

図１７に、データ管理部１１Ｃが実行する、記憶装置２０Ｄへのコピーが必要な記憶装置２０Ｃ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ｄにコピーするコピー処理の流れ図を示す。また、図１８に、このコピー処理時における各部間の情報の授受手順を示す。

図１７に示してあるように、このコピー処理を開始したデータ管理部１１Ｃは、まず、記憶装置２０Ｄへのコピーが必要な第２レプリケーション（図１７では、要コピーデータ）が記憶装置２０Ｃ内に残っているか否かを判断する（ステップＳ１１）。ここで、説明しているコピー処理は、記憶装置２０Ｄへのコピーが必要な記憶装置２０Ｃ内の第２レプリケーションを第２ＮＷ３０を介して記憶装置２０Ｄにコピーする処理、つまり、配置パタンテーブル１５′の先頭のレコードに従って第１〜第３記憶装置が決定される第２記憶装置内のデータをコピーする処理である。従って、ステップＳ１１では、そのキーのハッ
シュ値と割当テーブル１６′とによりパタン識別子Ｐ１に対応づけられることになるデータの有無が判断される。

要コピーデータが記憶装置２０Ｃ内に残っていた場合（ステップＳ１１；ＹＥＳ）、データ管理部１１Ｃは、１つの要コピーデータを処理対象データとして選択する（ステップＳ１２）。そして、データ管理部１１Ｘは、処理対象データが、そのキーが処理中リストに登録されている処理中データであるか否かを判断する（ステップＳ１３）。ここで、処理中リストとは、ステップＳ１４の処理時と後述する図２０のステップＳ２２の処理時に、処理対象データのキーが登録されるリストのことである。

選択した処理対象データが処理中データであった場合（ステップＳ１３；ＹＥＳ）、データ管理部１１Ｃは、処理対象データが処理中データでなくなる（ステップＳ１３；ＮＯ）のを待機する。そして、データ管理部１１Ｃは、処理対象データが処理中データでなくなったとき（ステップＳ１３；ＮＯ）に、処理対象データのキーを処理中リストに登録する（ステップＳ１４）。

また、データ管理部１１Ｘは、処理対象データが初めから処理中データでなかった場合（ステップＳ１３；ＮＯ）には、即座に、ステップＳ１４の処理を行う。

ステップＳ１４の処理を終えたデータ管理部１１Ｃは、処理対象データを記憶装置２０Ｃから読み出す（ステップＳ１５）。尚、既に説明したように、データ管理部１１Ｃは、処理対象データの記憶装置２０Ｃへの記憶に必要とされる領域情報を領域管理部１２Ｃから取得する。従って、このステップＳ１５の実行前に、データ管理部１１Ｃは、図１８に模式的に示してあるように、領域管理部１２Ｃに第１要求を送信する（ステップＳ１５′）。また、第１要求を受信した領域管理部１２Ｃは、記憶装置２０Ｃにアクセスして領域情報を生成（ステップＳ１５″）し、データ管理部１１Ｃに領域情報を返送する（ステップＳ１５′）。

ステップＳ１５の処理を終えたデータ管理部１１Ｃは、処理対象データのキー、サイズを含めた第２要求を第１ＮＷ５０経由で送信することにより、領域管理部１１Ｄから処理対象データに関する領域情報を取得する（図１７、図１８；ステップＳ１６）。尚、第２要求を受信した領域管理部１２Ｄは、記憶装置２０Ｄにアクセスして領域情報を生成（図１８；ステップＳ１６′）し、データ管理部１１Ｃに領域情報を返送する（ステップＳ１６）。

その後、データ管理部１１Ｃは、領域管理部１１Ｄから取得した領域情報を用いて、第２ＮＷ３０経由で、記憶装置２０Ｄ内への処理対象データの書き込みを行う（図１７，図１８；ステップＳ１７）。

処理対象データの書き込みが完了したデータ管理部１１Ｃは、領域管理部１１Ｄに対して第１ＮＷ５０経由で書込完了通知を送信する（ステップＳ１８）。

書込完了通知を受信した領域管理部１１Ｄは、記憶装置２０Ｄ内のテーブル２５Ｄ及び２６Ｄを更新する（図１８；ステップＳ１８′）。尚、コピー処理時にデータ管理部１１Ｃにより記憶装置２０Ｃに書き込まれる処理対象データは、通常、それまで記憶装置２０Ｃ内に存在していなかったデータである。従って、ステップＳ１８′では、エントリテーブル２５Ｄに処理対象データに関するレコードが追加され、クラスタ管理テーブル２６Ｄ上の幾つかの状況値が“０”から“０”以外の値に書き換えられる。

ステップＳ１８（図１７）の処理を終えたデータ管理部１１Ｃは、処理対象データのキ
ーを処理中リストから削除（ステップＳ１９）してから、ステップＳ１１に戻って要コピーデータが残っているか否かを判断する。

データ管理部１１Ｃは、要コピーデータが無くなるまで、このような処理を繰り返す。そして、データ管理部１１Ｃは、要コピーデータが無くなったとき（ステップＳ１１；ＮＯ）に、配置パタンテーブル１５′の内容を、Ｐ１に関するコピーが完了していることを示すもの更新すると共に、Ｐ１に関するコピーが完了したことを他の各ノード１０内のデータ管理部１１に通知する。そして、データ管理部１１Ｃは、このコピー処理を終了する。

次に、上記内容のコピー処理が完了する前に、そのキーのハッシュ値がＲＮＧ１（図１６）内に入る既存エクステントについての更新要求（ライト要求）が、ホスト１００からノード１０Ａに送信された場合における各部の動作を説明する。

この場合、更新要求を受信したデータ管理部１１Ａは、更新対象エクステントのキーのハッシュ値に対応付けられている割当テーブル１６′（図１６）上のパタン識別子がＰ１であるため、配置パタンテーブル１５′（図１５）から、Ｐ１が含まれるレコードを読み出す。そして、当該レコードのＲ２値がＣであるため、図１９に示したように、データ管理部１１Ａ（“Ａ（Ｒ１）”）は、データ管理部１１Ｃ（“Ｃ（Ｒ２）”）に対して受信した更新要求と同内容の更新要求を送信する。

更新要求を受信したデータ管理部１１Ｃは、割当テーブル１６′と配置パタンテーブル１５′と更新対象エクステントのキーから、受信した更新要求がデータ管理部１１Ｄに送信すべきものであることを把握する。そして、データ管理部１１Ｃは、データ管理部１１Ｄに対するコピー処理を実行中であるため、図２０に示した手順の処理を開始し、まず、更新対象データが処理中データであるか否かを判断する（ステップＳ２１）。

更新対象データが処理中データであった場合（ステップＳ２１；ＹＥＳ）、データ管理部１１Ｃは、更新対象データが処理中データでなくなる（ステップＳ２１；ＮＯ）のを待機する。そして、データ管理部１１Ｃは、更新対象データが処理中データでなくなったとき（ステップＳ２１；ＮＯ）に、更新対象データのキーを処理中リストに登録する（ステップＳ２２）。

また、データ管理部１１Ｃは、更新対象データが初めから処理中データでなかった場合（ステップＳ２１；ＮＯ）には、即座に、ステップＳ２２の処理を行う。

ステップＳ２２の処理を終えたデータ管理部１１Ｃは、ノード１０Ｄ内のデータ管理部１１Ｄに対して更新要求を送信（ステップＳ２３）してから、この図２０の処理を終了する。

データ管理部１１Ｃからの更新要求を受信したデータ管理部１１Ｄは、割当テーブル１６′と配置パタンテーブル１５′と更新対象エクステントのキーから、自ノード１０Ｃが、更新要求を他ノードに送信する必要がない第３ノードであることを把握する。そして、データ管理部１１Ｄは、領域管理部１２Ｄを利用することにより更新対象エクステントを記憶装置２０Ｃ内に書き込んでから、データ管理部１１Ｃに対してＡＣＫを送信する。

ＡＣＫを受信したデータ管理部１１Ｃは、図２１に示した手順の処理を開始して、まず、更新対象データに関する領域情報を領域管理部１２Ｄから取得する（ステップＳ３１）。次いで、データ管理部１１Ｃは、取得した領域情報を用いて、更新対象エクステントを記憶装置２０Ｃ内に書き込む（ステップＳＳ３２）。その後、データ管理部１１Ｃは、更
新対象エクステントのキーを処理中リストから削除する（ステップＳ３３）。そして、データ管理部１１Ｃは、データ管理部１１Ａに対してＡＣＫを送信（ステップＳ３４）してから、この図２１の処理を終了する。

以上、説明したように、本実施形態に係るレプリケーションシステムは、或る記憶装置２０内のデータが読み出せなくなった場合、他の記憶装置２０内の当該データが第２ＮＷ３０を介して授受されることにより当該データがコピー先記憶装置２０にコピーされる構成を有する。従って、本実施形態に係るレプリケーションシステムによれは、ホスト１００との間の第１ＮＷ５０の帯域を消費することなくレプリケーション構成を再構築できることになる。

《変形形態》
上記した実施形態に係るレプリケーションシステムは、各種の変形を行うことが出来るものである。例えば、実施形態に係るレプリケーションシステムを、『ノード１０Ｘが、記憶装置２０Ｙ内にコピーすべきデータを記憶装置２０Ｘから読み出し、そのデータの書き込み要求をノード１０Ｙに第２ＮＷ３０を経由で送信し、ノード１０Ｙが書き込み要求を処理することによりデータを記憶装置２０Ｙ内に格納するシステム』に変形することが出来る。ただし、レプリケーションシステムをそのようなシステムに変形すると、上記したレプリケーションシステムよりも、第２ＮＷ３０を介して授受されるデータ量が多いシステムが得られてしまうことになる。従って、上記した構成（記憶装置２０Ｘからデータを読み出したノード１０Ｘが、記憶装置２０Ｙ（≠Ｘ）にデータを書き込む構成）を採用しておくことが好ましい。

実施形態に係るレプリケーションシステムを、データ管理部１１Ｘから領域管理部１２Ｙへデータ管理部１１Ｙを経由して第２要求、書込完了通知が送信されるシステムに変形することも出来る。また、実施形態に係るレプリケーションシステムを、上記したものとは異なるアルゴリズムで、レプリケーションの配置が決定されるシステムに変形することも出来る。さらに、実施形態に係るレプリケーションシステムを、レプリケーション数が“３”ではないシステムや、ノード１０／記憶装置２０の台数が４台ではないシステムに変形しても良いことなどは当然のことである。

以上、開示した技術に関し、更に以下の付記を開示する。

（付記１） Ｎ（Ｎ≧３）台の記憶装置と、
ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のノードであって、それぞれ、自ノードに対応づけられている記憶装置に対するアクセス要求を前記ホストから受信し、受信したアクセス要求に応じた内容のアクセスを対応する記憶装置に対して行うＮ台のノードと、
を、含み、
前記Ｎ台のノードのうち、いずれか１つのノードが前記ホストからデータのライト要求を受信した場合に、前記いずれかの１つのノードを含むＭ（１＜Ｍ＜Ｎ）台のノードのそれぞれは、自ノードに対応づけられている記憶装置に前記データを記憶し、
前記Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、他の記憶装置内に記憶されている前記第１のデータを前記第２ネットワークを介して伝送して前記第１のデータを記憶していない前記第１の記憶装置に記憶する、
ことを特徴とするレプリケーションシステム。

（付記２） 前記Ｎ台のノードのそれぞれは、
或る記憶装置から読み出せなくなったデータと同じデータを自ノードに対応づけられている記憶装置から読み出し、読み出したデータを記憶すべき記憶装置である記憶先装置に
対応づけられているノードに、読み出したデータ用の記憶領域の割り当てを依頼し、割り当てられた前記記憶先装置の記憶領域に前記第２ネットワークを利用して読み出したデータを記憶する機能、及び、
他のノードから、或るデータの記憶領域の割り当てが依頼された場合に、自ノードに対応付けられている記憶装置に当該データ用の記憶領域を割り当てる機能、
を有する
ことを特徴とする付記１に記載のレプリケーションシステム。

（付記３） Ｎ（Ｎ≧３）台の記憶装置と、ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のコンピュータとを含むレプリケーションシステム用のレプリケーションプログラムであって、
前記Ｎ台のコンピュータのそれぞれで実行されることにより、前記レプリケーションシステムを、
各コンピュータが、自身に対応づけられている記憶装置に対するアクセス要求を前記ホストから受信して受信したアクセス要求に応じた内容のアクセスを当該記憶装置に対して行い、
いずれか１つのコンピュータが前記ホストからデータのライト要求を受信した場合に、前記いずれかの１つのコンピュータを含むＭ（１＜Ｍ＜Ｎ）台のコンピュータのそれぞれが、自ノードに対応づけられている記憶装置に前記データを記憶し、
前記Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、前記第１の記憶装置に対応づけられているコンピュータが、他の記憶装置内に記憶されている前記第１のデータが、前記第２ネットワークを介して伝送して前記第１のデータを記憶していない前記第１の記憶装置に記憶する、
システムとして機能させることを特徴とするレプリケーションプログラム。

（付記４） 前記レプリケーションシステムを、
各コンピュータが、
或る記憶装置から読み出せなくなったデータと同じデータを自ノードに対応づけられている記憶装置から読み出し、読み出したデータを記憶すべき記憶装置である記憶先装置に対応づけられているコンピュータに、読み出したデータ用の記憶領域の割り当てを依頼し、割り当てられた前記記憶先装置の記憶領域に第２ネットワークを利用して読み出したデータを記憶する処理、及び、
他のコンピュータから、或るデータの記憶領域の割り当てが依頼された場合に、自コンピュータに対応付けられている記憶装置に当該データ用の記憶領域を割り当てる処理、
を実行可能なシステムとして機能させることを特徴とする付記３に記載のレプリケーションプログラム。

（付記５） Ｎ（Ｎ≧３）台の記憶装置と、ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のノードであって、それぞれ、自ノードに対応づけられている記憶装置に対するアクセス要求を前記ホストから受信し、受信したアクセス要求に応じた内容のアクセスを対応する記憶装置に対して行うＮ台のノードとを含むレプリケーションシステムにおけるレプリケーション構成の再構築方法において、
前記Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、他の記憶装置内に記憶されている前記第１のデータを前記第２ネットワークを介して伝送して前記第１のデータを記憶していない前記第１の記憶装置に記憶する、
ことを特徴とするレプリケーション構成の再構築方法。

（付記６） Ｎ（Ｎ≧３）台の記憶装置と、ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のコンピュータとを含
むレプリケーションシステム用のレプリケーションプログラムを記録したコンピュータ可読媒体であって、
前記Ｎ台のコンピュータのそれぞれで実行されることにより、前記レプリケーションシステムを、
各コンピュータが、自身に対応づけられている記憶装置に対するアクセス要求を前記ホストから受信して受信したアクセス要求に応じた内容のアクセスを当該記憶装置に対して行い、
いずれか１つのコンピュータが前記ホストからデータのライト要求を受信した場合に、前記いずれかの１つのコンピュータを含むＭ（１＜Ｍ＜Ｎ）台のコンピュータのそれぞれが、自ノードに対応づけられている記憶装置に前記データを記憶し、
前記Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、前記第１の記憶装置に対応づけられているコンピュータが、他の記憶装置内に記憶されている前記第１のデータが、前記第２ネットワークを介して伝送して前記第１のデータを記憶していない前記第１の記憶装置に記憶する、
システムとして機能させるレプリケーションプログラムを記録したコンピュータ可読媒体。

（付記７） Ｎ（Ｎ≧３）台の記憶装置と、
ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のノードであって、それぞれ、自ノードに対応づけられている記憶装置に対するアクセス要求を前記ホストから受信し、受信したアクセス要求に応じた内容のアクセスを当該記憶装置に対して行うＮ台のノードと、
を、含み、
或るノードが前記ホストから或るデータのライト要求を受信した場合に、Ｍ（Ｍ＜Ｎ）台のノードのそれぞれにより当該データが各ノードに対応づけられている記憶装置に記憶され、
各ノードが、自ノードに対応づけられている記憶装置内のデータを前記第２ネットワークを介して送信することにより他の記憶装置内にコピーする機能を有する
前記Ｎ台のノードのうち、いずれか１つのノードが前記ホストからデータのライト要求を受信した場合に、前記いずれかの１つのノードを含むＭ（１＜Ｍ＜Ｎ）台のノードのそれぞれは、自ノードに対応づけられている記憶装置に前記データを記憶し、
各ノードが、自ノードに対応づけられている記憶装置内のデータを前記第２ネットワークを介して送信することにより他の記憶装置内にコピーする機能を有する
ことを特徴とするレプリケーションシステム。

１０ ノード
１１ データ管理部
１２ 領域管理部
１５、１５′ 配置パタンテーブル
１６、１６′ 割当テーブル
１８ レプリケーションプログラム
２０ 記憶装置
２５ エントリテーブル
２６ クラスタ管理テーブル
３０ 第２ネットワーク
５０ 第１ネットワーク
６０ コンピュータ
６１、６２ インタフェース回路
１００ ホスト

Claims (5)

1. Ｎ（Ｎ≧３）台の記憶装置と、
   ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のノードであって、それぞれ、自ノードに対応づけられている記憶装置に対するアクセス要求を前記ホストから受信し、受信したアクセス要求に応じた内容のアクセスを対応する記憶装置に対して行うＮ台のノードと、
   を、含み、
   前記の各ノードは、第１配置パターンテーブルと第１割当テーブルとを有し、第１配置パターンテーブルに前記Ｎ台の記憶装置の識別情報の順列と前記それぞれの順列の識別子とを格納し、前記第１割当表にアクセス先を示すキー情報のハッシュ値の範囲と前記順列の識別子とを関連付けて格納し、
   前記Ｎ台のノードのうち、いずれか１つのノードが前記ホストからデータのライト要求を受信した場合に、前記いずれかの１つのノードを含むＭ（１＜Ｍ＜Ｎ）台のノードのそれぞれは、自ノードに対応づけられている記憶装置に前記データを記憶するために、前記ライト要求に含まれるキー情報のハッシュ値と前記割当表とによって特定される前記配置パターンテーブルの順列に基づいてレプリケーションを実行し、
   前記Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、各ノードは、第１の配置パターンテーブルのそれぞれの順列から前記第１の記憶装置の識別情報を除外した順列で重複を除去した順列と前記重複を除去したそれぞれの順列の識別子とを格納する第２配置パターンテーブルと、前記重複を除去したそれぞれの順列の識別子と前記アクセス先を示すキー情報のハッシュ値の範囲とを対応づけた第２割当表とを生成してレプリケーションを実行し、一の記憶装置内に記憶されている前記第１のデータを前記第２ネットワークを介して伝送して前記第１のデータを記憶していない前記第２の記憶装置に記憶する、
   ことを特徴とするレプリケーションシステム。
2. 前記Ｎ台のノードのそれぞれは、
   或る記憶装置から読み出せなくなったデータと同じデータを自ノードに対応づけられている記憶装置から読み出し、読み出したデータを記憶すべき記憶装置である記憶先装置に対応づけられているノードに、読み出したデータ用の記憶領域の割り当てを依頼し、割り
   当てられた前記記憶先装置の記憶領域に前記第２ネットワークを利用して読み出したデータを記憶する機能、及び、
   他のノードから、或るデータの記憶領域の割り当てが依頼された場合に、自ノードに対応付けられている記憶装置に当該データ用の記憶領域を割り当てる機能、
   を有する
   ことを特徴とする請求項１に記載のレプリケーションシステム。
3. Ｎ（Ｎ≧３）台の記憶装置と、ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のコンピュータとを含むレプリケーションシステム用のレプリケーションプログラムであって、
   前記Ｎ台のコンピュータのそれぞれで実行されることにより、前記レプリケーションシステムを、
   各コンピュータが、第１配置パターンテーブルと第１割当テーブルとを有し、第１配置パターンテーブルに前記Ｎ台の記憶装置の識別情報の順列と前記それぞれの順列の識別子とを格納し、前記第１割当表にアクセス先を示すキー情報のハッシュ値の範囲と前記順列の識別子とを関連付けて格納し、
   自身に対応づけられている記憶装置に対するアクセス要求を前記ホストから受信して受信したアクセス要求に応じた内容のアクセスを当該記憶装置に対して行い、
   いずれか１つのコンピュータが前記ホストからデータのライト要求を受信した場合に、前記いずれか１つのコンピュータを含むＭ（１＜Ｍ＜Ｎ）台のコンピュータのそれぞれが、自ノードに対応づけられている記憶装置に前記データを記憶するために、前記ライト要求に含まれるキー情報のハッシュ値と前記割当表とによって特定される前記配置パターンテーブルの順列に基づいてレプリケーションを実行し、
   前記Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、各コンピュータは、第１の配置パターンテーブルのそれぞれの順列から前記第１の記憶装置の識別情報を除外した順列で重複を除去した順列と前記重複を除去したそれぞれの順列の識別子とを格納する第２配置パターンテーブルと、前記重複を除去したそれぞれの順列の識別子と前記アクセス先を示すキー情報のハッシュ値の範囲とを対応づけた第２割当表とを生成してレプリケーションを実行し、一の記憶装置内に記憶されている前記第１のデータを前記第２ネットワークを介して伝送して前記第１のデータを記憶していない前記第２の記憶装置に記憶する、
   システムとして機能させることを特徴とするレプリケーションプログラム。
4. 前記レプリケーションシステムを、
   各コンピュータが、
   或る記憶装置から読み出せなくなったデータと同じデータを自ノードに対応づけられている記憶装置から読み出し、読み出したデータを記憶すべき記憶装置である記憶先装置に対応づけられているコンピュータに、読み出したデータ用の記憶領域の割り当てを依頼し、割り当てられた前記記憶先装置の記憶領域に第２ネットワークを利用して読み出したデータを記憶する処理、及び、
   他のコンピュータから、或るデータの記憶領域の割り当てが依頼された場合に、自コンピュータに対応付けられている記憶装置に当該データ用の記憶領域を割り当てる処理、
   を実行可能なシステムとして機能させることを特徴とする請求項３に記載のレプリケーションプログラム。
5. Ｎ（Ｎ≧３）台の記憶装置と、ホストと第１ネットワークを介して接続され、前記Ｎ台の記憶装置と第２ネットワークを介して接続されたＮ台のノードであって、それぞれ、自ノードに対応づけられている記憶装置に対するアクセス要求を前記ホストから受信し、受信したアクセス要求に応じた内容のアクセスを対応する記憶装置に対して行うＮ台のノードとを含むレプリケーションシステムにおけるレプリケーション構成の再構築方法におい
   て、
   前記の各ノードは、第１配置パターンテーブルと第１割当テーブルとを有し、第１配置パターンテーブルに前記Ｎ台の記憶装置の識別情報の順列と前記それぞれの順列の識別子とを格納し、前記第１割当表にアクセス先を示すキー情報のハッシュ値の範囲と前記順列の識別子とを関連付けて格納し、
   前記Ｎ台のノードのうち、いずれか１つのノードが前記ホストからデータのライト要求を受信した場合に、前記いずれか１つのノードを含むＭ（１＜Ｍ＜Ｎ）台のノードのそれぞれは、自ノードに対応づけられている記憶装置に前記データを記憶するために、前記ライト要求に含まれるキー情報のハッシュ値と前記割当表とによって特定される前記配置パターンテーブルの順列に基づいてレプリケーションを実行し、
   前記Ｎ台の記憶装置のうち、第１の記憶装置内の第１のデータが読み出せなくなった場合に、各ノードは、第１の配置パターンテーブルのそれぞれの順列から前記第１の記憶装置の識別情報を除外した順列で重複を除去した順列と前記重複を除去したそれぞれの順列の識別子とを格納する第２配置パターンテーブルと、前記重複を除去したそれぞれの順列の識別子と前記アクセス先を示すキー情報のハッシュ値の範囲とを対応づけた第２割当表とを生成してレプリケーションを実行し、一の記憶装置内に記憶されている前記第１のデータを前記第２ネットワークを介して伝送して前記第１のデータを記憶していない前記第２の記憶装置に記憶する、
   ことを特徴とするレプリケーション構成の再構築方法。

Images